湖广填四川时，杨家和义家来到此地后，就大量的购买田地，几乎这里田地都是他们两家的，周边佃户都在杨家和义家租地种植粮食，因而得名杨义，故名。
2019年桂香村，斯栗村合并，新村取“栗”，“香”二字而得名栗香，故名。
尖峰山位于该村境内，村名遂借取山名为名。
玉峰山位于此地境内，村名遂借取山名为名。
此地曾是罗氏家族聚居地，故名。
