五百岗属浙中山脉会稽山系,是江南少见的火山群地貌。山体由安山岩构成,有多座火山锥分布于喷出岩构成的高台地上,其中以主峰雌鹅凸和雄鹅凸最为典型。相传,乾隆皇帝下江南微服私访时,曾登临五百岗,在雄鹅峰顶遍数山峦,却忘了脚下之山峰,只数得499座山岗,留下一段笑谈。