唐属渤海国。
金属胡里改路。
明属奴儿干都司。
清代属宁古塔将军辖区。
清光绪二十七年（1901）修筑中东铁路，在此地建火车站，因车站南临牡丹江，遂取名“牡丹江站”。
清末添设民官后，隶属宁安府管辖。
1913年隶属宁安县管辖。
1920年以后，在牡丹江车站周围丈放街基，人口不断增加，店铺日益兴起，逐渐形成集镇。
1936年12月，图们江至佳木斯铁路全线通车后，牡丹江新站（今牡丹江站）落成，成为南北的交通枢纽。
1937年7月1日设牡丹江省，12月1日设牡丹江市，为牡丹江省省会，“牡丹江”正式成为政区名称，牡丹江市隶属牡丹江省管辖。
1943年10月为东满总省省会。
1945年5月为东满省省会。
1946年4月改隶绥宁省管辖，并为绥宁省省会。
同年10月，隶属牡丹江专区管辖。
1947年8月隶属牡丹江省管辖，为牡丹江省省会。
1948年7月撤销牡丹江省，划归松江省管辖。
1949年12月，将牡丹江市郊区部分村屯分别划归海林、穆棱两县。
1954年8月，由黑龙江省直辖。
1956年3月，将原海林县兴隆区的江南、乜河、下乜河、兴隆、海浪和柴河区的桦林、工农、互利、铁岭等9个村划归牡丹江市管辖。
1958年8月，牡丹江市由牡丹江专区管辖，同年10月将宁安县温春公社划归牡丹江市管辖。
1966年2月，牡丹江市改由省直辖，1968年4月又改由牡丹江地区管辖。
1983年9月3日，撤销牡丹江地区，实行地市合并，将原牡丹江地区的宁安、海林、密山、林口、穆棱、东宁、虎林7县划归牡丹江市领导。
同年10月，绥芬河市由牡丹江市代管。
1992年10月，密山市划归鸡西市代管。
1993年6月，虎林县划归鸡西市管辖。
牡丹江市名称沿用至今。