夏商周时期，属索离国、秦汉时，为夫余国属境。
魏晋南北朝时期，属鲜卑和豆莫篓。
隋唐时期，属室韦都督府管辖。
辽金两代，属上京路、东京路，属汉军万户居住地。
元代，属辽阳行中书省所辖的开元路和水达达路。
明朝，先归属大宁都指挥使司，后属奴儿干都司。
清初，齐齐哈尔地区属盛京内务府管辖，不久归属宁古塔将军。
康熙二十二年（1683年）起，改属黑龙江将军管辖。
康熙二十四年（1685年），设卜奎驿站，逐步成为黑龙江西部地区诸驿站的中心，并发展为村落。
康熙三十年（1691年），清廷准奏在卜奎站建齐齐哈尔城，并授索伦总管玛布岱副都统衔，掌管建城事宜。
康熙三十八年（1699年），黑龙江将军衙门移住齐齐哈尔城。
直至清末，黑龙江将军衙门与齐齐哈尔副都统衙门合署管辖齐齐哈尔。
光绪三十一年（1905年），在省城设黑龙江分巡道及其所属的黑水厅，管辖齐齐哈尔。
次年，裁撤齐齐哈尔副都统。
光绪三十三年（1907年），清政府废黑龙江将军，建黑龙江行省，将黑水厅改为龙江府，齐齐哈尔由省垣巡警局和龙江府管辖。
民国十三年（1924年），成立黑龙江省城市政公所，管理齐齐哈尔市事宜。
民国十八年（1929年），黑龙江省城市政公所改组为黑龙江省城兼商埠市政局，主管黑龙江省城齐齐哈尔及商埠界内市政诸事，直隶于黑龙江省政府。
民国二十年（1931年），九一八事变后，日本帝国主义侵占齐齐哈尔，设置伪满龙江省，齐齐哈尔仍为省城。
民国二十五年（1936年），建立伪齐齐哈尔市公署，隶属伪满龙江省公署。
此为齐齐哈尔设市之始。
民国三十四年（1945年），日本帝国主义投降后，成立民主政权齐齐哈尔市政府，隶属嫩江省。
民国三十六（1947年）至1949年，先后隶属黑龙江嫩江联合省、黑龙江省。
1954年，黑龙江省会由齐齐哈尔市迁往哈尔滨市，齐齐哈尔市始为省辖市。
1958年，齐齐哈尔市划归嫩江专区专员公署管辖。
1960年，嫩江专区撤销，其所辖各县划归齐齐哈尔市领导，始行市管县体制，齐齐哈尔市复为省辖市。
1961年，恢复嫩江地区专员公署，齐齐哈尔市及所辖各县归其管辖。
1964年，齐齐哈尔市再次改为省辖市。
1967年，齐齐哈尔市人民委员会撤销，成立齐齐哈尔市革命委员会。
1980年，齐齐哈尔市革命委员会改称齐齐哈尔市人民政府。
1984年12月15日，经国务院批准，撤销嫩江地区。
将讷河、拜泉、龙江、依安、克山、克东、甘南、泰来、富裕、林甸、杜尔伯特蒙古族自治县共十一县划归齐齐哈尔市管辖。
1992年8月21日，经国务院批准，将齐齐哈尔市的林甸、杜尔伯特蒙古族自治县划归大庆市管辖。