因據(jù)說(shuō)唐朝時(shí)期有姓烏在此居住，地名為烏墩，后因四周多是土墩，土字不雅，中華人民共和國(guó)成立后改名玉墩。

因傳說(shuō)宋朝時(shí)期此地出個(gè)姓潘名苀，住地周圍出產(chǎn)磨刀石頭，命名為潘硎。

由林氏祖先開(kāi)基定居，四面環(huán)山，中間為田地。

因相傳以前曾由九個(gè)仙人到九鯉游過(guò)，其中有一位仙人經(jīng)過(guò)內(nèi)南安，在村口溪底的巖石上留下的腳印依稀可見(jiàn)，使仙人流連忘返形成。