民国二十三年（1934年），设立栗木乡，属于第四区。
1950年10月，改称栗木镇。
1958年1月，复称栗木乡；同年9月1日，与大视、六岭乡合并成立栗木公社。
1959年4月，泉会公社并人栗木公社。
1962年下半年，改称栗木区。
1969年1月，复称栗木公社。
1984年7月，改设栗木镇，下设19个村民委员会、1个街道居民委员会。
1987年，村民委员会改为村公所。
1989年10月，龙岭、源头2个村公所划归新设立的龙虎乡；同年年底，栗木镇设1个街道居民委员会、17个村公所、93个村民委员会。
1995年12月，撤所改委，村公所改设为村民委员会，原村民委员会不再保留。