先秦时期，属濊貊之地。
西汉、魏晋及南北朝前期属北夫余之地。
隋唐时期为靺鞨里水部之地。
辽金时期属上京会宁府东北境。
金贞佑三年（1215）有副都统设置，天泰七年（1221）有“夺与古阿谋克”管理，明代永乐四年设亦玛刺（山）卫（即驿马山），清代中兴镇（巴彦镇）已具规模，清咸丰九年（1859）设中兴镇（今巴彦镇），同治元年（1862）巴彦苏苏地方设呼兰厅理事同知衙门，是黑龙江区域第一个设民官的地方，为巴彦建治之始。
光绪三十年（1905）改设巴彦州。
1913年改为巴彦县，属黑龙江省绥兰道，1932年隶属伪黑龙江公署，1934年改属伪滨江省，1945年8月解放，11月5日成立巴彦县，属滨江省直辖。
1946年1月属松江省哈北专员公署，1954年归属黑龙江省直辖。
1956年3月属绥化专员公署，1960年4月属哈尔滨市，1965年6月属新松花江专署，1996年11月随松花江地区专署并入哈尔滨市管辖，名称沿用至今。