山河港自南而北經村東，直沖黃泥嶺后折東，山洪爆發(fā)時，洪水曲折迂回，白浪滾滾，稱白水灣。

相傳在清代，這里人口眾多，曾有72口井，稱井村。

相傳山河遠在明代有俞、高、柏三戶住此，曾稱三戶。后來此地逐漸形成貿易集市，因村依山濱河，名山河。

境內有余村塢，稱余村。

據(jù)傳此地曾為古代煉銀子的地方，山中常見有灰白色的溪石，因色如銀子，故名銀坑。

原從潘村至本村有條石子橫路，長達1華里，村在路盡頭，稱橫路。

市嶺以北有九條小溪在村境匯合成一條大溪（山河港上源），稱大溪，村以溪名。

取村內西吉塢和鶴嶺腳兩自然村首字母，稱西鶴村。

光緒版《孝豐縣志》載：”移風鄉(xiāng)巽圖馬跡莊距城三十三里�！坝州d；”馬跡石，縣東景村與棋盤石近，上有人馬諸跡，深印逼肖�！�1984年經安吉縣人民政府批準設立馬吉村。原稱馬跡莊，因“跡”“吉”音近，后稱馬吉。

取五云里、鶴齡兩地首字得五鶴村。

村在桐塢港與五云港匯合處，故名港口。