晋属端溪县，南北朝属梁德羁糜县，隋属怀德羁糜县，五代属信义县，宋后属信宜县。
清光绪十五年（1889年），茶山为信宜县茶山甲。
民国29年，为信宜县三区茶山乡。
1949年11月，为信宜县四区茶山乡；1952年12月，为信宜县第九区（后改为大樟区）的部分；1957年1月为渤垌乡；1958年5月复为茶山乡；1958年秋属怀乡人民公社；1961年6月，从怀乡人民公社分出设渤垌、茶山两个人民公社；1963年冬，渤垌、茶山两个人民公社合并为茶山人民公社；1983年撤社建区为茶山区；1986年冬改为茶山乡；1992年建制为茶山镇。