杨溪村由原钟家坪村、黄家坡村、杨家溪村三村合并而来。
1950年属都镇湾区都横乡杨溪村；1958年人民公社化时属都镇湾公社杨溪管理区，辖钟家坪、阴阳坡、黄家坡、杨家溪四个大队；1961年恢复区镇建制，属都镇湾区设立杨溪公社，辖钟家坪、阴阳坡、黄家坡、杨家溪四个大队；1975年撤区并社，属鸭子口公社设立杨溪管理区，管理区驻地纸厂河，辖四个大队；1984年设区建乡，乡政府驻地纸厂河，辖钟家坪、阴阳坡、黄家坡、杨家溪四个大队改为村；1987年区乡体制改革，四个村隶属鸭子口乡；2002年合村并组，除阴阳坡村划归楠木坪村外，钟家坪、黄家坡、杨家溪三个村合并为杨溪村，村委会驻地纸厂河，辖六个村民小组。
隶属鸭子口乡，沿用至今。