东晋永和三年（347年）罢德阳郡，于德阳县东南析置遂宁郡，治所初设德阳县（今遂宁市城区），后迁徙巴兴县（治今大英县回马镇长江坝），辖广汉、德阳、晋兴、巴兴4县。
南北朝刘宋时期（420～479年），广汉郡辖雒、什邡、新都、阳泉、五城、郪6县，析广汉郡置新城郡，治北伍城县（今三台县城），辖北伍城、怀归2县。
西魏废帝二年（553年)，宇文泰平蜀。
恭帝（554～556年）改西宕渠郡为涌泉郡，迁治涌泉县（治今射洪县洋溪镇），辖涌泉、广魏（广汉更名）2县。
析北伍城县置射江县，县治今射洪县金华镇，属昌城郡。
今遂宁市境属怀化、东遂宁、涌泉、昌城4郡，县地及治所全在遂宁市境的有方义、长江、射江、广魏、涌泉5县，始兴县部分区域在境内、治所在境外。
建德四年（575年），置安居郡，治柔刚县（今安居区安居镇），辖柔刚县，属普州，今遂宁市境设遂州及石山、怀化、涌泉、安居4郡。
县地及治所全在遂宁市境的有方义、长江、柔刚、射洪（射江改名)、广汉（广魏更名）、通井（涌泉更名)6县，始兴县部分区域在境内、治所在境外。
1949年12月8日，遂宁解放。
1950年1月12日，成立遂宁分区，驻遂宁县城，属川北区行署区（驻今南充市），辖遂宁、潼南、乐至、三台、盐亭、蓬溪、安岳、中江、射洪9县。
1952年9月1日，川西、川北、川南、川东4行署区合并为四川省，遂宁分区改为专区。
1958年10月18日，撤销遂宁专区，遂宁、蓬溪、中江、三台、射洪、盐亭、潼南7县划归绵阳专区，安岳、乐至2县划归内江专区。
1985年2月8日，撤销绵阳地区，分置遂宁、绵阳、广元3个地级市，遂宁市辖原绵阳地区的遂宁、射洪、蓬溪3县，遂宁县改为市中区。
1997年12月28日，析蓬溪县置大英县。
2003年12月18日，市中区分为船山、安居2区。
2019年，经国务院批准，射洪撤县设县级市。
2019年，经省政府批复，全市减少乡镇建制36个（其中船山区3个、安居区5个、射洪县9个、蓬溪县11个、大英县8个）。