秦、漢、晉國時期，屬江乘縣。

隋朝時期，屬江寧縣。

唐代先后，屬江寧縣、歸化縣、金陵縣、白下縣、江寧郡、上元縣等。

宋至清朝時期，屬上元縣。

民國元年（1912年）后屬江寧縣；民國三十八年（1949年）4月，分屬南京市第十三區(qū)和江寧縣第六區(qū)。

1953年，屬江寧縣第六區(qū)。

1955年，屬江寧縣湯山區(qū)。

1957年，為江寧縣湯山鎮(zhèn)、上峰鄉(xiāng)。

1958年，為江寧縣湯山人民公社、上峰人民公社。

1961年，析湯山人民公社置湯山鎮(zhèn)。

1982年，湯山、上峰2人民公社改鄉(xiāng)。

1983年5月，湯山鄉(xiāng)并入湯山鎮(zhèn)。

1996年2月，上峰鄉(xiāng)改鎮(zhèn)。

2005年12月，湯山鎮(zhèn)改置街道。

2010年5月，原麒麟鎮(zhèn)區(qū)域析出。