商、周、春秋属越，战国属楚，秦汉属乌伤，唐、宋、元、明、清属东阳县瑞山乡三十五都。
1935年4月，改称安文镇。
1939年7月磐安建县，称安文乡。
1949年10月30日解放，为县政府驻地。
同年12月建立安文乡。
1950年8月改为安文镇。
1952年10月扩大管辖范围，改为县属建制镇。
1958年9月人民公社化，改为红旗人民公社安文管理区。
同年11月磐安并入东阳，为东阳县红旗人民公社安文管理区(大队)。
1959年2月改名安文公社安文管理区，同年6月改为东阳县属建制镇。
1961年9月安文公社改为安文区，管理区改为人民公社，称安文镇人民公社。
1964年3月撤销县属镇。
1980年11月撤销人民公社复为县属镇。
1983年11月恢复磐安县，为县政府驻，称安文镇。
1992年云山乡并入，2009年墨林乡并入。
2018年，撤销安文镇建制，成立安文街道。