1949年前為哨馬鄉(xiāng)4保。

1950年為哨馬鄉(xiāng)4村。

1952年為香山鄉(xiāng)1村。

1956年農(nóng)業(yè)合作化時為大佛鄉(xiāng)聯(lián)合1、2、3社，1958年為大佛公社2大隊(duì)。

1962年為香山公社3大隊(duì)。

1966年文革時改名光華公社3大隊(duì)。

1981年地名普查時為香山公社香山大隊(duì)。

1984年公社改鄉(xiāng)為香山鄉(xiāng)香山村，屬羅渡區(qū)。

1992年，撤羅渡區(qū)，香山鄉(xiāng)并入大佛鄉(xiāng)，為大佛鄉(xiāng)香山寺村。

2019年大佛鄉(xiāng)并入羅渡鎮(zhèn)，為羅渡鎮(zhèn)香山村。

2020年5月，趙家溝村并入。