清代属宁古塔副都统辖区。
清光绪二十三年（1897）修筑中东铁路，形成绥芬河铁路附属地。
中东铁路通车后，此地始称“五站”（由海参崴起到绥芬河为第五站）。
清光绪二十八年农历十二月（1903年1月），清政府设“总理绥芬河铁路交涉分局”，正式使用“绥芬河”地名。
清光绪二十九年（1903），绥芬河地区（铁路附属地除外）属绥芬厅兴壤社。
清宣统元年（1909）属东宁厅。
1913年3月属东宁县。
1917年寒葱河、阜宁镇区域，分别划为东宁县第四、第五区。
1921年2月，原绥芬河铁路附属地划归东省特别区第三区。
1923年3月绥芬河铁路交涉分局改为绥芬河市政分局。
1926年东省特别区设绥芬河市。
1934年12月并入东宁县。
1939年6月1日划归新设置的绥阳县，设绥芬河街。
1948年10月绥阳县并入东宁县，东宁县政府迁驻绥芬河，为第一区驻地。
1952年5月，东宁县政府迁回东宁镇，1953年9月改为第三区。
1956年4月，设置绥芬河镇和寒葱河乡。
1958年9月，绥芬河镇与寒葱河乡合并成立友好人民公社，1960年改称绥芬河人民公社。
1965年2月，分设绥芬河镇人民公社、建设人民公社。
1968年3月设立绥芬河区（县级），由牡丹江地区管辖，同时撤销绥芬河镇人民公社、建设人民公社。
1970年2月恢复绥芬河镇人民公社、建设人民公社。
1973年6月撤销绥芬河区建置，并入东宁县，设置绥芬河镇。
1975年8月15日，以绥芬河镇改设绥芬河市（县级），归牡丹江地区管辖。
1983年9月，改由牡丹江市代管，名称沿用至今。