退沙村原名仁义村，明弘治初年（1488年）改为退沙村。
新中国成立以后，退沙村属第三区。
1952年元月，退沙村为行政村属第一区。
1953年，退沙村属退沙乡。
1956年，退沙村是大众农业社属退沙乡。
1958年6月至1958年12月，退沙村仍属退沙乡。
1959年，成立城关公社退沙管理区。
1961年5月，成立退沙生产大队，属城关公社管辖。
1967年3月，霍县革命委员会成立后，退沙生产大队成立了退沙革命委员会。
1984年，成立退沙村民委员会，属什林镇管辖。
2001年，什林镇改为退沙街道，故退沙村民委员会归退沙街道管理至今。