明初時(shí)期，衡山縣設(shè)崇岳、紫蓋、義城、武陽(yáng)、永平、興樂(lè)6個(gè)鄉(xiāng)。

洪武十一年（1378年），下編32都1坊。

洪武十四年（1381年），縮編為16都1坊，清康熙四十三年（1704年），知縣李長(zhǎng)祚將6鄉(xiāng)16都1坊改編成朝、宗、于、海等17字，期間南岳區(qū)的南岳鎮(zhèn)屬紫蓋鄉(xiāng)七都、海字區(qū)域。

民國(guó)二十一年（1932年），撤字建區(qū)屬衡山縣第一區(qū)。

民國(guó)二十五年（1936年）7月，廢區(qū)，實(shí)行鄉(xiāng)、縣兩級(jí)自治制，衡山縣設(shè)義安、南岳2個(gè)鎮(zhèn)和55個(gè)鄉(xiāng)。

1956年，南岳鎮(zhèn)為衡山縣3個(gè)縣轄鎮(zhèn)（城關(guān)、南岳、石灣）之一。

1958年，建南岳人民公社，1960年4月，南岳人民公社劃分為南岳公社和南岳鎮(zhèn)，屬南岳管理局和衡山縣雙重領(lǐng)導(dǎo)。

1983年，政社分設(shè)，南岳公社建南岳鄉(xiāng)。

1984年8月，設(shè)立南岳區(qū)南岳鄉(xiāng)、南岳鎮(zhèn)及后山10村從衡山縣成建制析出。

1985年3月，設(shè)南岳鎮(zhèn)。

1987年1月，南岳鄉(xiāng)并入南岳鎮(zhèn)。

2010年，白龍村更名南山村。