清时属平度州云山乡流河社、宋家庄社、石碣社、曲埠社、尹福四社和李仙乡李仙庄社和金钱乡麻兰社。
1931年属平度县第二区宋格庄乡、曲哥庄乡和第三区丈岭乡、黄洼乡、小河子乡、辛庄乡、王格庄乡、时格庄乡、温家乡、宋格庄镇、郭家寨镇、祝沟镇、铁岭庄镇、酒馆镇。
1935年，属平度县第二区麻兰镇、蓬莱乡和第三区崔召镇、祝沟镇、宋格庄镇、辛庄乡。
1941年9月平度分三县时，云山属平北县第二区麻兰镇、蓬莱乡和第三区崔召镇、祝沟镇、宋格庄镇、辛庄乡。
1945年1月平度分四县时，属平度县云山区、洪山区。
1950年5月为平度县云山区、平东县洪山区和平东县峰山区辖。
1953年8月平东县并入平度县后为平度县第十区。
1956年2月蓼兰县并入平度县属平度县两目、崮山、麻兰、古岘四区辖地。
1958年2月初撤区建乡后属云山、崮山、铁岭庄乡辖。
1958年9月成立云山公社，辖40大队。
1976年全县区划调整时将钓鱼台、大里、小里、泉北村等14个大队划入洪山公社，云山公社辖40个大队。
1984年2月撤社建云山乡辖区未动。
1989年平度撤县设市后为平度市云山乡。
1991年由云山乡改制云山镇。
1994年12月全市区划调整，将洪山乡整建制的并入云山镇。