从平凉发掘的旧、新石器时代文化遗址，特别是泾川县牛角沟发现的属于智人阶段的人类骨化石说明在很早以前这里已有人类生存活动。
辖境最早见于记载的行政区划有商周时期今灵台县境的密须国，泾川县境的共国和阮国。
秦惠文王十一年（前316）伐义渠后在崆峒境内置乌氏县，为中国最早的县之一，也是境内设置最早、有文字记载的第一个县级区划。
秦昭王三十五年（前272）灭义渠戎，置陇西、北地、上郡，今静宁、庄浪两县属陇西郡，东部五县属北地郡。
同时于今灵台县境置阴密县，崆峒区西北置泾阳县，固原彭阳县古城置朝那县，辖境至崆峒区北部。
西汉武帝元鼎三年（前114），分北地郡置安定郡，分陇西郡置天水郡。
安定郡置高平（今固原市），领21县。
今崆峒区境有泾阳（在崆峒区西部，治所在安国镇北油坊庄）乌氏（今平凉城十里铺附近）、月支（崆峒区东南部白水、花所与崇信县北部，治所在白水附近），崆峒区北部属朝那（固原市彭阳）。
泾川县境有临泾（今泾川水泉寺）、安定（今泾川县北部与镇原县东南部）、爰得（泾川县东南部与灵台县东北部）、阴槃（泾川县东部接长武境）。
崇信有卤县（治所今锦屏刘家沟）。
灵台县境中部有阴密，东南部有鹑觚县，属北地郡。
今华亭县境与崇信县南部属呼池苑，后置安民县。
西部静宁、庄浪归天水郡（郡治平襄，现通渭县碧玉镇），静宁县境有阿阳县（静宁县北部和隆德县南部，治所在静宁城南鲍家嘴）、成纪县（静宁县南部与秦安县北部，治所在今治平乡），庄浪县境分属街泉（庄浪县西部）和陇（庄浪县东部与张川县北部）2县。
东汉时，将原北地郡所辖的鹑觚县划归安定郡。
时安定郡辖县有乌氏、泾阳、朝那、阴密、卤、临泾、阴槃、安定、爰得、安民、鹑觚，计11县，另有月氏道。
汉光武帝建武六年（30年）废安定、爰得二县，其地并入临泾。
东汉后期因羌人反叛，三郡（陇西、安定、北地）内迁。
此时安定郡领八县，临泾、高平、乌氏、三水、阴槃、鹑斛、阴密、彭阳。
建安十八年（213），省凉州并入雍州。
六盘山西侧静宁、庄浪属阿阳、成纪、略阳、陇四县，属汉阳郡（天水郡易名，郡置翼县，今甘谷县），后汉末阿阳县废，献帝初平四年（193）分汉阳置永阳郡（治临渭），庄浪东属之。
三国、两晋时期，东部仍为安定郡，境内有临泾、乌氏、朝那、阴密、鹑觚县，辖今泾川、灵台二县与平凉（崆峒区）、崇信一部分。
西部庄浪、静宁北部分属临渭、略阳、平襄，成纪县仍属天水郡（曹魏改汉阳郡为天水郡）。
十六国南北朝时，平凉辖境先后由前赵、后赵、前秦、后秦和大夏统辖。
前赵初，仍属雍州，辖今六盘山以东崆峒区、泾川、灵台、崇信全境及华亭县北部。
前赵广初二年（319），分安定郡与扶风郡各一部分置陇东郡（治今陕西陇县境），统辖今华亭县和崇信县的南部区域。
成纪属天水郡。
光初十年（327），辖境分属安定郡、陇东郡、天水郡和略阳郡。
后赵沿前赵建置。
前凉永元三年（322），张茂复置秦州，成纪县属天水郡。
前秦永兴二年（358），苻坚于高平镇置平凉郡，于鹑觚县置赵平郡。
升平三年（359），复置安定县为雍州治所。
太元十年（385），今静宁、庄浪两县境入西秦。
义熙十三年（417年），东部入夏，次年西部入夏。
后秦时分属安定、平凉二郡。
胜光元年（428年）赫连定在平凉即皇帝位，改年号胜光，二年（429），迁关中3万户入安定，将阴槃县从京兆移平凉（崆峒区）东部，并置平原郡。
北魏神嘉三年（430），置泾州（治临泾），先后领6郡：安定、新平、赵平、陇东、平凉、平原。
安定、平凉、平原郡均在本辖区。
安定郡领安定、临泾、朝那、乌氏、石塘五县，在今泾川、镇原、灵台境。
平凉郡领鹑阴、阴密二县，在今灵台西半部与崇信境。
平原郡领阴槃1县，在崆峒区境。
熙平元年（516），于汧邑（陇县）置东秦州，平凉、平原2郡属之。
二年（517年），泾州改治平凉城。
西部成纪属秦州天水郡，其余均属略阳郡。
太和十一年（487年），复置阿阳县，北魏末废成纪县。
西魏大统元年（535），废阴密以其地置朝那县，改平原郡为平凉郡。
北周建德元年（572），割泾州平凉郡置平凉县，属原州长城郡。
复置成纪县，属天水郡。
隋开皇三年（584），废郡置州，废安武县入朝那，河阳郡与阿阳县也废于此时。
大业元年（605），分朝那县置良原县，分汧阴县置华亭县，分鹑觚县置灵台县，于今镇原县境置秋谷县。
大业二年废灵台入鹑觚。
大业三年又改州为郡，改泾州为安定郡，改秋谷县为临泾县。
废陇州，以所属华亭县属安定郡，改原州为平凉郡。
辖境大多为安定郡，辖安定（今泾川县）、临泾（今镇原县）、阴槃（今崆峒东部与崇信北部）、鹑觚（今灵台县东部）、朝那（今灵台西部）、良原（今灵台西北部与崇信县东南部）、华亭七县。
平凉县（今崆峒区的西半部）属平凉郡。
静宁、庄浪两县分属天水郡的成纪、陇城2县，隋末又于今庄浪县西部置长川县。
唐武德元年（618），改郡为州，改安定郡为泾州，改平凉郡为原州，复置陇州，以华亭县属陇州，俱属关内道。
唐天宝元年（742年），再改平凉郡，旋复为原州。
平凉时属原州。
唐宪宗元和四年（809年），移行渭州于平凉，平凉即废。
唐广明初（880），复陷吐蕃，中和四年（884），收复为渭州治。
唐末李茂贞据凤翔称岐王，渭州属于岐。
后唐明宗天成元年（926），灭岐，渭州属后唐。
后唐清泰二年（935），以原平凉的安国、耀武二镇复置平凉县，属泾州，后晋天福五年（940），改属渭州。
宋太平兴国元年（976），改彰义军为彰化军，泾州领保定、灵台、良原三县。
今华亭县初为义州，太平兴国元年改为仪州，初领华亭县。
乾德元年（963），以崇信城、东西赤城、永信城等四镇之地置崇信县，初属凤翔府。
仪州始领华亭、崇信、安化三县。
熙宁五年（1073），废仪州，以仪州所属三县属渭州。
今崆峒区为渭州治所，称渭州陇西郡。
泾、渭二州初属秦凤路，后置泾原路及经略安抚使，初驻泾州，庆历后改驻渭州。
金大定七年（1167），改保定县为泾川县，今泾川县境为泾川、长武二县地。
渭州属凤翔路，改安化为化平县。
大定二十七年（1187），升渭州为平凉府。
西部德顺军属熙秦路，皇统二年（1142）升为德顺州，大定二十七年改属凤翔路，贞祐四年（1216）升为防御，同年10月升为陇安军节度，领六县，除陇干县外，新置五县，于中安堡（今庄浪县南湖）置水洛县，于威戎堡置威戎县，于隆德寨置隆德县，于通边寨置通边县，于治平寨置治平县。
元成吉思汗末年于金代德顺州的水洛、治平二县置庄浪路，成宗大德八年（1304）降为州，属陕西行中书省奉元路，泾州亦属奉元路。
至元七年（1270），省灵台县入泾州，十一年复立灵台县，省良原县入灵台县，省长武县入泾川县。
泾州只领泾川、灵台二县。
平凉府属巩昌总帅府，至元七年省潘原县入平凉县，省化平入华亭，平凉府只领平凉、华亭、崇信三县。
德顺州也属巩昌总帅府。
成宗大德八年改德顺州为静宁州，省陇干县入州，静宁州只领隆德一县。
明代府始领州，平凉府属陕西布政使司，关内道。
洪武三年（1370），省泾川县入泾州，洪武八年（1375），降庄浪州为县，隶属静宁州，孝宗弘治十五年（1502），升开城县为固原州，属平凉府。
静宁州初属巩昌府，嘉靖二十八年（1549）改属平凉府。
平凉府领三州（泾州、静宁、固原）七县。
泾州领灵台县，静宁州领隆德、庄浪二县，平凉、华亭、崇信、镇原县直属平凉府。
清初承明制，顺治五年（1648），改庄浪县直隶府。
康熙七年（1668）分陕西省置甘肃省，平凉府属甘肃省布政使司。
康熙二十年（1681）于府上设平庆道，初驻平凉，后移固原。
乾隆四十三年（1778），升泾州为直隶州，划镇原、崇信二县，省庄浪县入隆德县，改庄浪为乡，驻隆德县城。
同治十一年（1873年）割平凉、华亭、隆德、固原四县之地置化平直隶厅，升固原为直隶州，改整饬平庆道为平庆泾固化盐法兵备道，移驻平凉。
清末，平凉府领一州三县，即静宁州，平凉县、华亭县、隆德县。
泾州直隶州领灵台、崇信、镇原三县。
辛亥革命后废府州改县，改泾州为泾县。
1913年复置庄浪县，改平庆泾固化道为陇东道，又改为泾源道，驻平凉。
辖17县：平凉、静宁、隆德、庄浪、泾县、华亭、崇信、灵台、化平、庆阳、镇原、宁县、正宁、合水、环县、固原、海原。
1931年改为第二区行政督察专员公署，驻平凉。
辖10县：平凉、灵台、崇信、华亭、化平、隆德、静宁、庄浪、西吉、海原。
泾川县属第三区（驻西峰镇）。
1949年8月，各县先后解放，设甘肃省平凉行政督察专员公署，驻平凉。
辖平凉、泾川、灵台、崇信、华亭、化平、隆德、庄浪、固原、西吉、海原11县。
静宁属定西专区。
1950年将庄浪县划属天水专区，静宁由定西专区划归平凉专区。
改化平县为泾源县，分平凉县置平凉市。
1953年划出固原、西吉、海原三县，成立西海固回族自治州，改泾源县为泾源回族自治县。
1955年改甘肃省平凉行政督察专员公署为甘肃省平凉专员公署，撤销庆阳专署，并入平凉专员公署，以所辖县并入平凉专区。
1958年4月，撤销崇信县并入华亭县，移华亭县治于安口镇。
12月划隆德、泾源二县归新成立的宁夏回族自治区，将原华亭县与平凉县并入平凉市，原崇信县与灵台县并入泾川县，庄浪县并入静宁县。
1961年底，复置庆阳专署，管原属各县，平凉专署恢复各县原建制。
1964年撤销平凉市并入平凉县。
1968年改专员公署为革命委员会，1978年改为甘肃省平凉地区行政公署，辖平凉、泾川、灵台、崇信、华亭、庄浪、静宁7县。
1983年撤销平凉县，设立县级平凉市。
2002年6月2日，经国务院批准撤销平凉地区和县级平凉市，设立地级平凉市和崆峒区，以原平凉地区、平凉市行政区域为现平凉市和崆峒区行政区域。