夏禹时属豫州之域。
商末为挚国地。
西周为沈、蔡、房、道、江诸国地。
春秋为沈、蔡二国地。
战国属楚之上蔡县。
秦属陈郡。
西汉高帝四年（前203）设汝南郡。
东晋隆和元年（362）汝南郡治由新息（现息县西南）迁悬瓠城（今汝南县汝宁街道）。
义熙九年（413）以淮西为北豫州，治汝南。
南朝宋永初二年（421）改北豫州为豫州，悬瓠城为豫州、汝南郡治。
元嘉末（450）侨置司州。
北魏皇兴二年（468）在此置南豫州。
太和十九年（495）改称豫州，豫州、汝南郡、上蔡县同治悬瓠城。
东魏置河南大行台、悬瓠都督，辖十三州。
北周大象二年（580）改豫州为舒州。
隋开皇元年（581）改舒州为豫州。
三年罢天下诸郡，废汝南郡。
仁寿四年（605）改豫州为溱州。
大业二年（606）改溱州为蔡州，改县名为汝阳，保城县并入，三年改蔡州为汝南郡，十三年（617）归瓦岗军，复称豫州。
次年归王世充。
唐武德四年（621）复置豫州。
宝应元年（762）改豫州为蔡州。
贞元七年（791）析境西北部置汝南县。
元和十三年（818）废汝南县入汝阳县。
历为豫许汝节度使、淮西节度使等使治。
宋属蔡州，为淮康军治。
金初属南京路蔡州。
泰和八年（1208）为镇南军节度使使治。
金亡，地属蒙古。
元至元七年（1270）遂平、平舆县省入汝阳县。
三十年升蔡州为汝宁府，属河南江北行省，治所仍故。
大德八年（1304）复置遂平县。
明属河南布政使司汝宁府。
洪武元年（1368）裁汝阳县、上蔡县、新蔡、沈丘入府。
四年（1371）复置汝阳县、上蔡县，息州真阳县废入汝阳县。
十年确山县省入，十三年复置。
弘治十八年（1505）重置真阳（今正阳）县。
清沿明制。
1912年属汝宁府。
1913年改汝阳县为汝南县，属豫南道。
1914年属汝阳道。
1927年直属河南省。
1932年属河南省第八行政督察区。
1949年属信阳专区。
1950年设汝南市，与县并存。
1951年撤销汝南市，析出东部8个区置平舆县，将上蔡县的6个乡划入汝南县。
1953年张教庄乡的16个村和王楼乡的4个村划入确山县。
1965年属驻马店专区。
1969年属驻马店地区。
2000年属驻马店市。
2002年水屯镇划入驻马店驿城区。