南宋嘉泰元年（1201年），分属山阴、会稽两县。
元、明、清时，属山阴县。
民国元年（1912年），属绍兴县。
民国十七年（1928年），改属绍兴县第一区。
民国二十一年（1932年），置绳初乡、林头乡、沿江乡。
民国二十九年（1940年）9月，改为绳港乡、东合北乡、玉横乡。
民国三十五年（1946年）9月，绳港乡改设朱梅镇，东合北乡改设灵芝乡。
1950年3月，玉横乡归入齐贤区，灵芝乡、朱梅镇分设灵芝、水利、梅山、朱梅4个乡。
1956年3月，4个乡合设梅山乡。
1958年，梅山乡并入鉴湖公社。
1961年9月，分设灵芝公社、梅山公社。
1983年10月，灵芝公社、梅山公社改乡，同年归入越城区。
2001年7月，梅山乡、灵芝乡（除北海、西郭、青甸湖3个村外）合并为灵芝镇。
2003年1月，齐贤镇七里江等15个村划入灵芝镇。
2017年，经浙江省人民政府批准，撤销灵芝镇，设立越城区灵芝街道。