嫩江市位于黑龙江省西北部，北依伊勒呼里山，与黑龙江省大兴安岭地区呼玛县交界；东接小兴安岭，与黑龙江省黑河市爱辉区、孙吴县、五大连池市毗邻；西邻嫩江，与内蒙古自治区呼伦贝尔市莫力达瓦达斡尔族自治旗、鄂伦春自治旗隔江相望；南连松嫩平原，与黑龙江省齐齐哈尔市辖的讷河市接壤。总面积15211.43平方公里（第二次全国土地调查数据）。
嫩江市历史悠久。据考古发现，早在新石器时期，嫩江流域就有人类活动。嫩江市临江乡多金村和多宝山镇卧都河江口一带，都有“细石器文化”分布。先秦时期，属秽貊，为其北境。两汉、魏晋南北朝时期，为夫余属地。隋代，属室韦地域。唐代，属河北道室韦都督府岭西部。辽时期，属东京道室韦王府。金时期，属上京路蒲峪路。元代，初为乃颜封地，中为蒲峪路屯田万户府，后属辽阳行省开元路。明代，属奴儿干都指挥使司。明永乐七年（1409年)，在今市城区置木里吉卫。明正统十四年（1449年)，在今嫩江市伊拉哈镇展望村置亦力克卫。清代初期，属盛京总管辖地。清顺治十年（1653年)，改属宁古塔昂邦章京(1662年改称宁古塔将军)。清康熙二十二年（1683年)，改属黑龙江将军。
清康熙二十五年（1686年)，筑成墨尔根城(今嫩江市城)，始设邑。清康熙二十九年（1690年)，黑龙江将军自黑龙江城(今黑河市爱辉区瑷珲镇)移驻墨尔根城。清康熙三十三年（1694年)，又自黑龙江城移来副都统一员与黑龙江将军同驻墨尔根城。清康熙三十七年(1698年)，墨尔根副都统移驻齐齐哈尔城，翌年黑龙江将军亦移驻齐齐哈尔城，留协领驻墨尔根城。清康熙四十九年(1710年)复设墨尔根副都统。清光绪八年至二十年(1882—1894年)，曾在墨尔根副都统辖区内的小兴安岭西麓太平湾(今嫩江市塔溪乡塔溪村兴安城屯西1公里)另设兴安城，置副都统衔总管，直属于黑龙江将军。清光绪三十三年(1907年)，裁黑龙江将军，改设黑龙江行省，墨尔根副都统归其管辖；翌年，裁墨尔根副都统，改设嫩江府。1913年，东北各省改革行政建制，裁嫩江府，始设嫩江县，归属黑龙江省龙江道。1929年，废道制，改为黑龙江省辖之三等县。1933年1月，嫩江县沦陷。1934年(伪康德元年)12月，划归伪龙江省。1937年(伪满康德4年)6月，改属伪北安省。1943年(伪满康德10年)10月，又改属伪黑河省。1945年8月12日，嫩江县获得解放。是年11月，建立地方人民政权，归属嫩江省。1946年4月，嫩江省增设嫩北行政区，三月后改称第二专区，嫩江县为其辖县。1947年2月，黑龙江省与嫩江省合并称黑龙江嫩江联合省(简称黑嫩省)，是年9月恢复两省建制，嫩江县先后归属黑嫩省、嫩江省。1949年5月，黑龙江省与嫩江省再次合并称黑龙江省，遂归属黑龙江省。中华人民共和国成立后，仍属黑龙江省。1954年8月，黑龙江省与松江省合并定名黑龙江省，增设嫩江专区，归属黑龙江省嫩江专区。1960年5月，嫩江专区并入齐齐哈尔市，遂属黑龙江省齐齐哈尔市。1961年10月，再设嫩江专区，复属嫩江专区。1970年3月，改属黑龙江省黑河地区（今黑河市）。2019年7月12日，经国务院批准，民政部批复同意撤销嫩江县，设立县级嫩江市，以原嫩江县行政区域为嫩江市的行政区域，嫩江市由黑龙江省直辖，黑河市代管至今。