原桃园村，1940年属香水乡五组；1950年建政时属祥和乡，名桃园村，1957年并入西屏镇，名跃进管区，1958年公社成立后，名桃园大队；1968年以序号编为六大队；1981年地名普查中恢复桃园大队；1983年改公社为乡，设立桃园村村民委员会。
原新石村，1940年属香水乡十四组；1950年建政时属祥和乡，名新石村，1952年与桃园村分村后名新华村；1957年并入西屏镇；1958年公社成立后名新石大队；1968年以序号编为十二大队；1981年地名普查中恢复新石大队；1983年改公社为乡，将新石大队改名新石村。
2010年10月撤桃园村、新石村合并为桃园村；2020年5月14日村级建制调整，桃园村、四方村合并，设桃园村村民委员会。