连山，禹、夏时期属幽州地；商、周时期属孤竹国地；春秋时期属燕国地；战国和先秦时期属辽西郡；两汉、三国时期属狐苏县、徒河县和乌桓地；两晋、南北朝时期属徒河县和广兴县；隋、唐时期属柳城县和营州泸河；辽、金时期属安昌县；明代在连山设驿站，称连山驿。
1906年7月（清光绪三十二年七月），清政府在冮家屯（今钢屯镇）设抚民厅，九月改锦西厅，隶属锦州府，连山为锦西厅管辖的第五区。
1912年中华民国成立，锦西厅属奉天省锦州府，1913年（民国二年），锦西厅改为锦西县，翌年省与县之间设道制，锦西县隶属奉天省辽沈道（今营口），1929年，奉天省改为辽宁省，废除道制，锦西县直属辽宁省，1931年11月九一八事变后，日伪将辽宁省改为奉天省，锦西隶属奉天省。
1932年1月16日，锦西县公署由冮家屯迁至连山，日伪满洲国成立后，4月1日，成立伪锦西县公署，隶属奉天省。
1934年（伪满康德元年）12月，成立锦州省，锦西县隶属锦州省。
1945年9月，抗日战争胜利后，共产党接管辽西，设立中共辽西地委和辽西专员公署，锦西县属其辖区。
解放战争时期，锦西南部铁路沿线地区被国民党军队占领，至此，锦西县南部地区由国民党政府统治。
当时，共产党领导下的锦西县政府，转移到锦西西北部山区，中共锦西县委、县政府划归中共热东地委管辖。
1948年11月，锦西全境解放，中共锦西县委、县人民政府机关进入锦西县城。
1949年1月，成立辽西省，至1954年，锦西县隶属辽西省。
1954年，辽西、辽东两省合并为辽宁省，锦西县隶属辽宁省。
1956年，设立锦州专员公署，锦西县划归锦州专员公署管辖。
1959年，锦州专员公署撤消，成立锦州市，锦西县划归锦州市管辖。
1966年，恢复锦州专员公署，锦西县隶属锦州专员公署。
1968年恢复锦州市，锦西县隶属锦州市。
1985年4月，锦西县该为锦西市（县级），隶属锦州市。
1989年6月，国务院批准，原县级市锦西市升格为地级市，在原县级市锦西市的基础上设立连山区，隶属锦西市。
1992年，辽宁省人民政府批准连山区按县体制管理。
1994年9月，锦西市更名为葫芦岛市，连山区隶属葫芦岛市。