零陵、永州、芝山，一地三名，是一座具有两千多年历史文明的古城，是湖南四大历史文化名城之一。
西汉元朔五年，置泉陵侯国，为境内建县之始，属零陵郡，治所在今芝山区城北1千米处。
隋开皇九年，改泉陵县为零陵县。
此后，一直为唐宋元明清历代王朝的郡、道、州、府治所。
清代咸丰三年，永州试院长灵芝，故得名芝城。
芝山名源出于此。
1949年为永州专区。
1950年5月，改称零陵专区，零陵县属之。
1952年，衡阳、零陵、郴州3专区合并，设立湘南行政区，零陵县属湘南行政区。
1954年，撤销湘南行政区，改设衡阳、郴州2个专区，零陵县属衡阳专区。
1962年底，恢复零陵专区，零陵县改属零陵专区。
1968年9月，成立零陵地区革命委员会，1979年改为零陵地区行政公署，零陵县属之。
1979年，划出1镇2乡，成立永州镇，归零陵地区直辖。
1982年1月，成立县级永州市，以零陵地区直属的永州镇和零陵县的朝阳、七里店两个公社，以及天字地公社的建设桥大队，零陵县原种场和所属的茆江桥大队为永州市的行政区划，隶属于零陵地区行政公署领导。
1984年撤销零陵县，零陵县的行政辖区分划给永州市、冷水滩市管辖，原零陵县的富家桥、水口山、邮亭圩、珠山、黄田铺、菱角塘6个区及楚江圩区的接履桥乡划归永州市。
1995年6月撤区并乡，11月县级永州市更名为芝山区，芝山区属地级永州市。
2005年，芝山区更名为零陵区。