西汉至三国魏时，金山镇境域属武威郡姑臧县。
西晋至十六国“五凉”时期，分属武兴郡晏然县和武兴县。
北魏至隋初，分属武威郡林中县和襄城县。
唐宋年间，分属神鸟县和嘉麟县。
元时，属永昌路西凉州。
明清时期，先后归凉州卫和武威县。
民国元年（1912年）后，属武威县丰乐乡。
1949年9月后，属丰乐区。
1952年7月，属第八区（丰乐）。
1956年1月，为金山乡。
1958年10月，与截河坝、青林乡合并成立丰乐公社。
1962年，成立金山公社。
1983年7月，设金山乡。
2018年3月，撤乡，设金山镇。