明清时属惠洽乡，为二十二都、二十四都、二十五都的一部分。
民国初，建有象溪村、南州村及南坑源等联合村。
1934年，属南州镇，靖象乡、雅溪乡、鲁西乡、靖居乡。
1940年，属南象乡（南州镇、靖象乡合并）、雅溪乡、鲁西乡、靖居乡。
1944年，属靖居乡（鲁西乡并入靖居乡）、靖南乡（南象乡改为靖南乡）、雅溪乡。
1946年，属雅南乡（靖南乡、雅溪乡合并）、靖居乡（桐川乡并入）。
1950年，设象溪乡。
1984年6月改称雅溪乡和靖居乡。
1992年5月，撤销靖居区，合并雅溪、靖居两乡建立象溪镇。