據(jù)傳明朝，有一叫方金山、徐千斤倆男子，精通武藝，身材高大力量能托千斤，本來能得天下。只因風水破壞而未能成功，且居住此地。原為方徐大隊，后方徐大隊改為紅星大隊，1983年紅星大隊改為方徐村，故名。

根據(jù)老一輩傳說：大約唐宋時期，該地曾建窯燒磚，同時建窯的還有一支下窯，在許間房方向，而的窯稱作“上窯”。

相流經(jīng)村內的面前江，東有東陵橋（即石家橋），西有西陵橋（即褚家橋），兩橋之間有皇陵，人杰地靈，所往百姓豐衣足食，民風淳樸，故稱富陵村。

唐朝時，屬朱儲斗門坊，隸屬山陰、會稽兩縣。南宋慶元二年（1196年），朱儲斗門坊改玉山斗門坊，故名。

以前是海邊，大部份來自移民，村東有海拔約百米山一座，為前璜、后璜、璜山北、斗門村、荷湖村五村共有，舊稱璜山。地處璜山之南。