秦昭王灭义渠戎，置陇西、北地、上郡，此地入秦版图，属北地郡，汉武帝元鼎三年(前114)分北地郡置安定郡，改属安定郡，秦惠文王十一年（前316）伐义渠后在崆峒境内置乌氏县，为中国最早的县之一，也是境内设置最早、有文字记载的第一个县级区划。
西汉武帝元鼎三年（前114），分北地郡置安定郡，分陇西郡置天水郡。
安定郡置高平（今固原市），领21县。
今崆峒区境有泾阳（在崆峒区西部，治所在安国镇北油坊庄）乌氏（今平凉城十里铺附近）、月支（崆峒区东南部白水、花所与崇信县北部，治所在白水附近），崆峒区北部属朝那（固原市彭阳）。
三国时曹魏于郡上设州，此地属雍州安定郡，恢复了泾阳县。
西晋又废泾阳县，新置都卢县，东部属朝那县，西部属都卢县。
十六国南北朝时期，此地先后为前赵、后赵、前秦、后秦、夏、北魏、西魏、北周所领有，建制变化很大。
前秦永兴二年(358)苻坚进攻前凉，置平凉郡(初治高平镇，后治鹑阴)，376年前秦灭前凉，夏赫连定曾即皇帝位于平凉。
北周武帝建德元年(572)于今市境的西北部治平凉县，属长城郡。
隋开皇三年(584)废郡置州，平凉属原州。
大业初又废州置郡，平凉县属平凉郡。
唐武德元年(618)复置原州，治平高。
天宝元年(742)再改平凉郡，旋复为原州，平凉属原州。
代宗广德元年（763）吐蕃入侵，河湟陇右尽陷，平凉没于吐蕃。
德宗贞元四年(788)复置平凉县，旧城已被毁。
贞元七年(791)泾原节度使刘昌筑平凉城扼弹筝峡口，奠定今平凉市城址。
宪宗元和四年(809)移行渭州于平凉。
广明初复陷吐蕃，中和四年收复为渭州治。
唐末，李茂贞据凤翔称岐王，渭州属于岐，历后梁。
后唐明宗天成元年（926）灭岐，渭州属后唐。
清太二年（935）以原平凉县的安国、耀武二镇复置平凉县，属泾州，后晋天富五年（940）改属渭州。
宋代，仍为渭州治所，属泾原路，为泾原路经略安抚使驻地。
金代开六盘道，大定二十七年（1187）始置平凉府。
元代仍以平凉为府，辖三县，属巩昌总帅府。
潘原县并入平凉县后，平凉县仍为府治所。
自此，平凉县的辖境再未有大的变动。
明代，平凉府辖三州七县，属陕西布政使司关内道，平凉县仍为府治所。
清初沿明制，属陕西布政使司。
康熙八年(1669)改属甘肃布政使司，平凉仍为府，府上设道。
1912年废府，仍设道。
1913年改平庆泾固化道为陇东道，设观察使，后改为泾原道，设道尹。
1927年改设泾原区行政长，1935年改为甘肃省第二区行政督察专员公署。
平凉为道、署驻地。
建国后一直为平凉地委、行署、军分区所在地。
1949年成立平凉县，1950年设平凉市，1961年12月，原华亭县析出恢复华亭县建置。
1964年6月，撤平凉市恢复平凉县。
1983年7月29日，国务院批准撤销平凉县，恢复平凉市。
2002年6月2日，国务院（国函〔2002〕46号）批准同意撤销平凉地区和县级平凉市，设立地级平凉市，原平凉市改称崆峒区。