清乾隆二十三年(1758)，在现辖区龙泉街以北到南门，修筑土城。
二十八年，接土城北垣，扩建新城。
钦定此城为迪化。
俗称汉城。
清道光五年（1825），在迪化城东（今建国路一带），修筑满营土城。
清光绪六年（1880），在满营土城原址，修筑满城。
光绪十二年（1886）将汉城和满城合并扩建。
1946年迪化市设5个区，其中一、二、三、四、五区，均在现在的天山区境内。
新中国成立初，迪化市仍辖5个区。
1951年将5个区调整为7个区，其中，一、二、三、四、五区，在现天山区境内，面积约14平方千米。
1957年将一、四、五区合并为成立天山区；二、三、四(部分)区合并为二区（1957年定名多斯鲁克区），并将乌鲁木齐县燕儿窝的部分行政区域划归二区。
1957年，在天山区设六道湾、东门、西门、南门、西河街街道办事处，在多斯鲁克区设胜利路、团结路、解放路、小东梁、新市场街道办事处。
1959年，城市人民公社化运动中，胜利路办事处，改为胜利人民公社；团结路办事处，改为团结人民公社；解放路办事处，改为龙泉人民公社；新市场办事处，改为新华人民公社；小东梁办事处，改为跃进人民公社；南门办事处，改为和平人民公社；东门办事处，改为泉山人民公社；西河街办事处改为红山人民公社；西门办事处，改为民主人民公社；六道湾办事处，改为六道湾人民公社。
1960年6月14日，天山区与多斯鲁克区合并，定名天山区。
团结、胜利人民公社合并，称多斯鲁克人民公社；龙泉、跃进、新华人民公社合并，称新华人民公社；泉山、和平人民公社合并，称泉山人民公社；红山、民主人民公社合并，称红山人民公社。
1962年，恢复原10个街道办事处。
1969年3月，改称街道革命委员会。
1976年9月8日，解放路、新市场街道革命委员会合并，称解放南路街道革命委员会。
1977年西门、南门街道革命委员会合并，称解放北路街道革命委员会。
1977年2月，小东梁街道革命委员会更名为和平路街道革委会。
1979年，恢复街道办事处名称。
1982年10月，在胜利路街道办事处乌拉泊居委会的基础上，成立燕儿窝街道办事处。
六道湾街道办事处，更名为新民路街道办事处。
1985年7月，从胜利路、团结路、解放南路办事处划出河滩、供水站、三桥、四桥、南公园、南渠巷、西河坝前街、西河坝后街居委会，成立新华南路街道办事处。
1985年8月，从解放北路街道办事处划出幸福路、体育馆路、影剧院、干休巷、东环路、幸福路四巷、东大梁居委会，成立幸福路街道办事处。
1985年8月市人民政府决定，将离城区32千米处的乌鲁木齐县乌拉泊工业区划归天山区。
8月10日，成立乌拉泊街道办事处。
1988年10月，新民路街道办事处划归水磨沟区管辖。
1989年4月28日，成立青年路街道办事处。
1989年8月将红山路居委会、北山坡居委会移交水磨沟区。
2000年12月，对团结路、胜利路、燕尔窝等街道办事处行政管辖区进行调整，成立延安路街道办事处；对东门街道办事处行政管辖区域进行调整，成立碱泉街街道办事处。
2001年1月，将大湾乡划归天山区，大湾乡最大的仓房沟村划归沙依巴克区。
原由乌鲁木齐市农委管理的乌拉泊牧场移交大湾乡管理。
2002年8月，乌拉泊办事处划归达坂城区，乌拉泊办事处所辖5个社区居委会一并划出。
2006年2月14日，撤销中共天山区大湾乡党委，成立中共天山区红雁街道党工委。
2008年全区辖14个街道办事处，129个社区居委会，1个行政村，1个牧场。
2009年12月28日成立黑甲山片区管理委员会、二道桥片区管理委员会、大湾片区管理委员会、赛马场片区管理委员会，全区新增11个社区，社区由129个增加为140个。
2011年5月20日调整划分，天山区社区居委会数由140个增加至147个。
2011年6月14日，在原有新华北路街道办事处、碱泉街道办事处、团结路街道办事处原有辖区范围基础上，2012年10月18日，新增31个社区，2013年3月18日，新增9个社区，2013年7月23日，成立南草滩街道办事处，2013年10月30日，新增3个社区，2014年4月18日，新增5个社区。
截止目前，天山区有16个街道办事处，195个社区、1个村委会、1个牧场。