灵芝山村村民委员会所在地，清代属宜都县安福铺；1930年属宜都县第四区；1944年属宜都县组建江北沦陷区办事处安福寺镇；1949年5月属宜都县第三区；1950年3月属宜都县安福寺区。
灵芝山村前身是1956年成立的五星高级农业社，属宜都县安福寺指导组林新乡；1958年10月更名为五星生产队，属安福寺公社林新管理区；1961年5月改为五星大队，属安福寺区林新公社；1962年10月属枝江县安福寺区林新公社；1975年2月撤区并社，属安福寺区公社林新管理区；1984年1月改为灵芝山村，属安福寺区灵芝山乡；1987年10月属安福寺镇至今。