秦代属泗水郡。
汉代分属虹、谷阳、符离、夏丘、下邳诸县领辖。
西晋属沛国。
东晋属阳平郡。
南北朝改阳平郡为谷阳郡。
隋初属彭城郡，后改属下邳郡。
唐高宗显庆元年（656），境内分属虹、蕲两县。
宋元祐元年（1086），零壁镇从虹县析出置零壁县，属宿州，县名沿用镇名。
元初复立灵璧县，仍属宿州。
清康熙六年（1667），改属安徽省。
1912年4月，灵璧县直属安徽省。
1914年，属淮泗道。
1927年，废道，又直属安徽省。
1949年，灵璧县属皖北行署宿县专区。
1952年4月，属安徽省宿县专区。
1956年1月，改属安徽省蚌埠专区。
1961年4月，灵璧县复属宿县专区。
此后隶属关系趋于稳定。
1999年5月，宿县地区改为宿州市，灵璧县属宿州市。