西汉属郁秩县；东汉属胶东侯国；三国魏属胶东县；北魏皇兴四年（470）属长广县；隋仁寿元年（601）属胶水县；明洪武二十二年（1389）属平度州；清属长乐乡；1912年后属平度县长乐乡（后属第四区）；1940年9月属平度县抗日民主政府第四分区；1941年9月属平北县天柱区；1950年5月属平度县天柱区（后属第六区）；1958年2月撤区并乡，属大泽山、天柱乡；1958年9月属大泽山人民公社；1984年由社改乡，1985年11月由乡改镇；1994年12月将青杨乡北部10个村划入大泽山镇；2012年12月12日，撤销大泽山镇、长乐镇，以原大泽山镇、长乐镇行政区域设立新的大泽山镇，镇政府驻原大泽山镇政府驻地。