纸厂河人文历史悠久。
相传舜帝治水南巡至此，在洈河上设义渡，留下虞氏古渡遗址，故称“虞氏渡”。
宋代理学大师程颢（程道明先生）来纸厂河讲学，留下故址程子山。
南宋庆元六年（1200），赵伯先从江西丰城县迁此落藉，故称赵家山（亦称月亮山）。
南宋时，建有“虞渡寺”。
后来古渡旁兴起多家草纸厂，因而得名纸厂河。
清宣统三年（1911），属第八区纸林乡，辖纸厂河、杨林市、黑土垱、苏家坪、李家坪，共17保。
1930年属第三区。
1932年属第四区。
1935年属第三区。
1946年设紫云乡，辖纸厂河、黑土垱。
1975年，成立王家大湖公社，1984年3月，设立纸厂河镇。