明代属铁石乡在坊里有城区东面的铁石洋、溪西、平林、蒋武及南面的白岩前等村落。
清代至民国初为铁石洋社、平林社、白岩社和平在坊的溪西等区域。
1933年，属平铁区，辖铁石、武平、石岩乡。
1929年7月至翌年冬，境内的上洋、下洋、外洋属铁山区苏维埃政府辖区；1930年3月至翌年1月，境内的平林、林邦属平林区苏维埃辖区；1931年4至10月，境内大部分属平铁(铁山)区、白岩区苏维埃政府辖区。
1933年为平铁区。
1937年3月属第一区。
1941年12月，设平铁乡、大白乡、东岭乡。
1944年，属新罗镇。
1949年11月，为附城区的铁石村和岩山区的陈罗、岭后、谢邦、增岩村及江山区岭南村的部分区域。
1957年撤区并乡成立铁山、白岩两乡，次年改为人民公社。
1959年两公社合并为铁山公社，1961年铁山公社分为上洋、下洋等9个大队，归城郊公社。
1962年又恢复铁山、白岩两公社，至1965年又合并为铁山公社。
1984年改称铁山乡，1989年7月撤乡建镇，1995年3月经批准撤镇设铁山街道。