商、周、春秋屬越，戰(zhàn)國屬楚，秦漢屬烏傷，唐、宋、元、明、清屬東陽縣瑞山鄉(xiāng)三十五都。

1935年4月，改稱安文鎮(zhèn)。

1939年7月磐安建縣，稱安文鄉(xiāng)。

1949年10月30日解放，為縣政府駐地。

同年12月建立安文鄉(xiāng)。

1950年8月改為安文鎮(zhèn)。

1952年10月擴大管轄范圍，改為縣屬建制鎮(zhèn)。

1958年9月人民公社化，改為紅旗人民公社安文管理區(qū)。

同年11月磐安并入東陽，為東陽縣紅旗人民公社安文管理區(qū)(大隊)。

1959年2月改名安文公社安文管理區(qū)，同年6月改為東陽縣屬建制鎮(zhèn)。

1961年9月安文公社改為安文區(qū)，管理區(qū)改為人民公社，稱安文鎮(zhèn)人民公社。

1964年3月撤銷縣屬鎮(zhèn)。

1980年11月撤銷人民公社復為縣屬鎮(zhèn)。

1983年11月恢復磐安縣，為縣政府駐，稱安文鎮(zhèn)。

1992年云山鄉(xiāng)并入，2009年墨林鄉(xiāng)并入。

2018年，撤銷安文鎮(zhèn)建制，成立安文街道。