1953年建安香乡。
1954年成立初级农业生产合作社；1956年建高级农业生产合作社；1958年人民公社化时，建安香人民公社，有55个自然村；1961年公社规模调整，划出东部9个村建连家庄公社；东侧9个村建只里乡公社；西部10个村建东留营公社；西北部15个村建左市同公社；周围尚有12个村仍为西安香公社；1984年改为安香乡；1996年原留营乡并入，名为安香乡，乡驻地于2009年5月从西安香迁到西留营村。