西汉至十六国“五凉”时期，金羊镇境域属武威郡姑臧县。
北魏至隋初，属武威郡林中县。
唐宋年间，复归姑臧县。
元时，属永昌路西凉州。
明清时期，先后归凉州卫和武威县。
民国元年（1912年），分属武威县金羊、金塔乡。
1949年9月后，属金羊区。
1952年1月，属第一区（金羊）。
1956月，撤区并乡，为金羊乡。
1958年10月，金羊、金沙、中坝乡合并成立金羊公社。
1962年，划分为金沙、中坝、金羊、新鲜公社。
1983月，设金羊、新鲜乡。
1984年，金羊、新鲜、金沙乡合并为金羊乡。
1991年11月，分设为金羊、金沙乡。
1997年10月，金羊撤乡建镇。