湖廣填四川時，楊家和義家來到此地后，就大量的購買田地，幾乎這里田地都是他們兩家的，周邊佃戶都在楊家和義家租地種植糧食，因而得名楊義，故名。

2019年桂香村，斯栗村合并，新村取“栗”，“香”二字而得名栗香，故名。

尖峰山位于該村境內(nèi)，村名遂借取山名為名。

玉峰山位于此地境內(nèi)，村名遂借取山名為名。

此地曾是羅氏家族聚居地，故名。