桦甸是古肃慎部族的故土，其后裔女真等部族相继生息繁衍于此。
唐玄宗开元元年（713年），粟末首领大祚荣受唐册封为左骁卫大将军、忽汗州都督、渤海郡王，后人专称其为渤海，“渤海国”名称由此而来。
其子孙因袭唐朝典制，传至十一世大仁秀、十二世大彝尊（835年）在辖境内完成五京十五府六十二州一百余县的建置，成为辽东盛国。
辉发河故道南岸的苏密甸子（粟末的音转）系冲积盆地，平坦开阔，近山傍水，“为水陆之要冲”，境东有绵亘四十余里的张广才岭为屏障，渤海国在此设长岭府治，领瑕、河二州，建有具备府治规模的苏密古城（即那丹佛勒城），是当时营州道上的重镇。
桦甸即渤海王朝长岭府属地。
清光绪三十三年（1908年1月29日）御批设县，定名桦甸，为吉林府所辖。
设治后，历经清代、中华民国、东北沦陷及国民党占领时期，直至中华人民共和国成立以后，行政区划变动繁复，1988年5月25日经国务院批准撤县设市。
改革开放以来，全市经济与社会发展迅速，现已成为吉林省东部山区的经济强县（市）之一。