清宣统元年十一月（1909年12月），于金山口（亦称库口）设置呼玛尔河总卡官，管辖上下卡伦，由瑗珲兵备道统辖。
中华民国初年，划归呼玛厅设治局管辖，并为治城。
1914年7月，呼玛“改局为县”，将金山口改为金山镇。
东北沦陷时期，为金山镇保。
1947年设置金山区，后改为第二区。
1956年撤区划乡，设置金山乡。
1958年9月，改称金山人民公社，翌年并入兴华公社。
1961年从兴华公社划出，恢复金山公社。
1984年初，改为金山乡。
名称沿用至今。