清代同治十二年（1873），属礼贤乡十三都和十四都、青云乡的十都和六都。
1927年，废都设河上区，二十四年改为区属，辖区分属一、三、五区；1938年，改为乡公所。
1950年4月成立河上区人民政府，五月撤区成立乡人民政府，1958年9月，成立河上人民公社，辖河上、三山，东来，1961年成立三山工作片委员会，辖河上、东来、元家、三山、白陂五个公社及罗山垦殖场，1964年9月复称河上人民公社，辖东来、三山、河上五个公社及罗山垦殖场，1972年三山划出，1977年东来划出，1984年6月河上公社改为河上乡，1985年10月撤乡改为河上镇，2001年9月撤东来乡，并入河上镇，得名后沿用至今。