清末屬山陽一里；民國初年，漢陽縣建立十八個區(qū)，屬第十五區(qū)；1945年全縣分四鎮(zhèn)十九鄉(xiāng)，屬黃陵鄉(xiāng)；1949年全縣劃分為五區(qū)一鎮(zhèn)，屬一區(qū)；1952年組成同建一、三社，翌年轉為兩個高級社；1958年人民公社化時，改名小軍大隊，屬東風人民公社；1961年轉為國營東城垸農場，翌年劃為軍山公社，分為小軍、中嶺、磨子石、徐家堡4個大隊；1965年小軍、中嶺合并為小軍大隊；1984年改小軍村，設小軍村村民委員會，屬軍山鎮(zhèn)；2004年屬軍山街道；2014年因經濟開發(fā)，全村計劃拆遷，村委會和村民搬遷至小軍山社區(qū)。