尧舜禹时，划分星野，天地相应。
此地上应房星而称“房”。
舜封尧子丹朱于此，为房邑。
禹治水，划九州，房地属豫州。
夏、商相沿。
西周称房子国。
周景王十四年（前531）归楚。
周敬王十五年（前505）称吴房。
战国时吴房亦称畐焚。
秦始皇二十六年（前221）属颍川郡。
三十三年（前214）改属陈郡。
西汉高帝四年（前203）始置吴房县，并于吴房东部置灈阳县（因处古灈水之北而得名），属豫州部汝南郡。
三国时吴房、灈阳二县均属豫州部汝南郡。
西晋相沿。
东晋十六国先后归后赵、前燕、前秦、后秦。
南朝宋废吴房县，灈阳县属司州部汝南郡。
后魏灈阳县为魏地，属汝南郡。
北魏皇兴二年（468）省灈阳县，置遂宁（今文城乡小文城村）、义绥（今沈寨镇小寨村西南）两县，属豫州部襄城郡。
东魏相因。
北齐天宝四年（553）罢义绥县入遂宁县，仍属豫州部襄城郡。
隋大业二年（606）改遂宁县为吴房县，属豫州部汝南郡。
唐设道，改郡为州，吴房县属河南道蔡州。
贞观元年（627）裁吴房县。
八年（634）复置。
元和十二年（817），宪宗下诏“敕改蔡州吴房县为遂平县”，始有遂平之名，先属溵州，后属唐州。
长庆元年（821）复隶蔡州。
五代十国相沿。
北宋属京西北路蔡州。
南宋建炎三年（1129）废遂平县为吴房镇，属西平县。
金皇统元年（1141）复置遂平县，属南京路蔡州镇南军。
泰和八年（1208）属南京路蔡州镇南军节度。
元至元七年（1270）省遂平县入汝阳县，属蔡州。
三十年（1293）复置遂平县，省蔡州为汝宁府，属河南江北行省汝宁府。
明属河南布政使司汝宁府。
清沿明制。
1913年属豫南道。
1914年属汝阳道。
1927年直属河南省。
1932年属河南省第八行政督察区。
1948年2月与西平县部分地区合组遂西县。
6月遂、西两县分置，复为遂平县。
1949年属信阳专区。
1965年属驻马店专区。
1969年属驻马店地区。
2000年属地级驻马店市。
2001年析出关王庙、诸市两乡划归驻马店市驿城区。
2017年驿城区关王庙乡的八里铺村、潘庄村划入遂平县，成今境。