清代为杜尔伯特旗游牧地，属齐齐哈尔副都统辖区。
清末，清光绪三十二年（1906），属安达厅辖境。
清光绪三十四年七月初九日（1908），黑龙江巡抚周树模奏准，拟在大林家店设置林甸县。
后因“垦户未集，地利未辟”，从缓设置。
中华民国成立后，1912年10月，于安达厅北境东集镇（原称“大戚家店”，今林甸镇）设置东集镇稽垦局，办理放荒招佃和督垦事宜。
翌年，于大戚家店东1里处丈放街基筑城（今林甸镇）。
1914年1月1日，将东集镇稽垦局改设林甸设治局，隶属龙江道。
1917年7月13日，黑龙江省长令，将林甸设治局改为三等县，并委官和颁发印信，代理县知事于7月14日启用印信，正式改为林甸县。
同年8月21日，北京政府照准，1923年后，与依安、泰康、安达等邻县（设治局）进行过区划调整。
1929年2月，撤销道的建制，改由黑龙江省直辖。
东北沦陷后，初隶黑龙江省，1934年12月改隶龙江省。
1945年“九三＂抗日战争胜利后，划归嫩江省管辖。
1947年2月至9月，曾隶属黑龙江嫩江联合省第三专区管辖。
1949年5月，黑嫩两省合并后，求属黑龙江省管辖。
1954年8月，划归新设嫩江专区管辖。
1956年将西南部的第八区划归杜尔伯特旗。
1960年5月至1961年10月，改由齐齐哈尔市领导。
1985年1月，正式撤销嫩江专区，复归齐齐哈尔市领导。
1992年8月21日，国务院批准，划归大庆市领导。
省政府于9月26日下发通知，从12月1日起变更隶属关系。