今武山轄域，古代為豲（huán）戎部落所居。

秦孝公元年(前361年）“西斬戎之豲（huán）（huán）王”豲（huán）部落被滅，并以其族名為地名，置豲（huán）道，其地始入秦，秦昭王時，置隴西郡，今武山為隴西郡豲（huán）道縣地。

西漢時，分隴西郡地另設(shè)置天水郡，分豲（huán）道縣地另設(shè)置襄武縣，豲（huán）道屬天水郡，襄武縣屬隴西郡。

三國魏更名武城縣，不久即廢，復(fù)名新興縣。

1913年1月30日，更寧遠縣為武山縣，為今名之始，屬渭川道所轄；一直沿用至今。