1949年属孝丰县南屿乡，同年7月撤乡建区属青山区，称青霞村；1950年春属港口乡；1956年建黎明高级社；1958年10月属青山公社港口管理区，称青霞生产队；1958年11月撤销孝丰县并入安吉县，属安吉县青山公社港口管理区青霞生产队；1959年从青霞划出称霞明生产队；1961年8月属港口公社，称牙明大队；1981年8月以驻地更名为霞泉大队；1983年5月，属港口乡称霞泉村；2000年1月划归递铺镇，仍称霞泉村。
2014年划归灵峰街道。