乡域古为彝族卢鹿部“”阿乎”土目住地。
唐代置犍州（羁縻州），设治绿豆箐（今六斗村）。
清分属大定府亲辖地和黔西州，苦桃井（今桃井村）发展成乡场。
民国十六年（1927年），以苦桃井一带置集义镇。
民国三十年（1941年），集义镇并入林泉乡。
1953年5月，分置桃井、鱼塘2乡。
1955年6月，鱼塘乡并入桃井乡。
1958年9月，乡改公社。
1984年5月，公社改乡。
1986年7月，改苗族彝族乡。
1991年7月，大方县吉星乡划归黔西县，桃井、吉星、石板3乡合并为红林彝族苗族乡。