岭下村由原岭下村与霞山村合并而成。
中华人民共和国成立前两地均属大洞保。
中华人民共和国成立初属大洞乡；合作社时期，霞山设民英初、高级社，岭下设明升初、高级社；1958年分别成立霞山大队属泮迳公社，岭下大队属富城公社；1968年霞山改属富城公社大洞大队；1970年霞山从大洞分出与泮塘公社合并为泮塘大队；1976年又分开，设霞山大队、泮塘大队，均属富城公社。
1984年实行乡村建制，霞山、岭下改为村属富城乡。
2003年霞山村并入岭下村，仍属富城乡至今。