秦昭王滅義渠戎，置隴西、北地、上郡，此地入秦版圖，屬北地郡，漢武帝元鼎三年(前114)分北地郡置安定郡，改屬安定郡，秦惠文王十一年（前316）伐義渠后在崆峒境內置烏氏縣，為中國最早的縣之一，也是境內設置最早、有文字記載的第一個縣級區(qū)劃。

西漢武帝元鼎三年（前114），分北地郡置安定郡，分隴西郡置天水郡。

安定郡置高平（今固原市），領21縣。

今崆峒區(qū)境有涇陽（在崆峒區(qū)西部，治所在安國鎮(zhèn)北油坊莊）烏氏（今平涼城十里鋪附近）、月支（崆峒區(qū)東南部白水、花所與崇信縣北部，治所在白水附近），崆峒區(qū)北部屬朝那（固原市彭陽）。

三國時曹魏于郡上設州，此地屬雍州安定郡，恢復了涇陽縣。

西晉又廢涇陽縣，新置都盧縣，東部屬朝那縣，西部屬都盧縣。

十六國南北朝時期，此地先后為前趙、后趙、前秦、后秦、夏、北魏、西魏、北周所領有，建制變化很大。

前秦永興二年(358)苻堅進攻前涼，置平涼郡(初治高平鎮(zhèn)，后治鶉陰)，376年前秦滅前涼，夏赫連定曾即皇帝位于平涼。

北周武帝建德元年(572)于今市境的西北部治平涼縣，屬長城郡。

隋開皇三年(584)廢郡置州，平涼屬原州。

大業(yè)初又廢州置郡，平涼縣屬平涼郡。

唐武德元年(618)復置原州，治平高。

天寶元年(742)再改平涼郡，旋復為原州，平涼屬原州。

代宗廣德元年（763）吐蕃入侵，河湟隴右盡陷，平涼沒于吐蕃。

德宗貞元四年(788)復置平涼縣，舊城已被毀。

貞元七年(791)涇原節(jié)度使劉昌筑平涼城扼彈箏峽口，奠定今平涼市城址。

憲宗元和四年(809)移行渭州于平涼。

廣明初復陷吐蕃，中和四年收復為渭州治。

唐末，李茂貞據鳳翔稱岐王，渭州屬于岐，歷后梁。

后唐明宗天成元年（926）滅岐，渭州屬后唐。

清太二年（935）以原平涼縣的安國、耀武二鎮(zhèn)復置平涼縣，屬涇州，后晉天富五年（940）改屬渭州。

宋代，仍為渭州治所，屬涇原路，為涇原路經略安撫使駐地。

金代開六盤道，大定二十七年（1187）始置平涼府。

元代仍以平涼為府，轄三縣，屬鞏昌總帥府。

潘原縣并入平涼縣后，平涼縣仍為府治所。

自此，平涼縣的轄境再未有大的變動。

明代，平涼府轄三州七縣，屬陜西布政使司關內道，平涼縣仍為府治所。

清初沿明制，屬陜西布政使司。

康熙八年(1669)改屬甘肅布政使司，平涼仍為府，府上設道。

1912年廢府，仍設道。

1913年改平慶涇固化道為隴東道，設觀察使，后改為涇原道，設道尹。

1927年改設涇原區(qū)行政長，1935年改為甘肅省第二區(qū)行政督察專員公署。

平涼為道、署駐地。

建國后一直為平涼地委、行署、軍分區(qū)所在地。

1949年成立平涼縣，1950年設平涼市，1961年12月，原華亭縣析出恢復華亭縣建置。

1964年6月，撤平涼市恢復平涼縣。

1983年7月29日，國務院批準撤銷平涼縣，恢復平涼市。

2002年6月2日，國務院（國函〔2002〕46號）批準同意撤銷平涼地區(qū)和縣級平涼市，設立地級平涼市，原平涼市改稱崆峒區(qū)。