明、清时期隶属于灵东乡。
民国时期隶属于第十区。
1930年4月至12月红色政权期间隶属于复祥区。
抗战时期隶属于武穴区。
1943年复属于灵东乡。
1952年隶属于第七区。
1958年成立栗木大队，隶属于四望公社。
1961年，隶属于四望区栗木小公社。
1975年隶属于四望公社。
1984年调整为栗木村，隶属于四望区。
1987年隶属于四望镇。
2020年11月，根据《武穴市人民政府关于同意四望镇行政村布局调整方案的批复》（武政函[2020]65号）文件，撤销魏家村村民委员会、栗木村村民委员会，设立栗木村村民委员会，办公地点设在原栗木村村民委员会。