原西溪镇满清时属义和乡，民国时属青山乡，解放初为西溪乡；1956年青山口乡并入西溪乡，属龙山区；1958年公社化时称为龙山公社西溪管理区；柏岩、壶坑洞两小乡称柏岩管理区，棠溪乡称堂溪管理区。
1961年称西溪人民公社；1962年撤销龙山公社，保留中共龙山区委。
1983年政社公设后称为西溪乡、柏岩乡、堂溪乡；1991年3月撤乡建镇，称为西溪镇；2001年区划调整，撤消了原桥下镇、四路镇、西溪镇、柏岩乡、棠溪乡，合并为龙山镇，原西溪镇成为其下设的管理处；2006年5月再次进行乡镇区划优化调整，原龙山镇下设的西溪、柏岩、棠溪三个管理处划归新设立的西溪镇管辖。