明、清时属多云乡；民国二十八年（1939）属第二区柳傅江联保；1949年属僧塔寺区眠牛地乡；1952年属第四区（肖家坳）眠牛地乡；1955年属（肖家坳区）眠牛地乡；1958年属红旗（白庙河）人民公社鸡鸣管理区；1961年属白庙河区鸡鸣人民公社，为第三生产大队；1975年改第三生产大队为潘家湾大队，属白庙河人民公社鸡鸣管理区；1984年改潘家湾大队为潘家湾村民委员会，属白庙河区眠牛地乡；1987年白庙河区分设白庙河乡和肖家坳乡，潘家湾村民委员会属肖家坳乡；2001年白庙河乡和肖家坳乡合并为白庙河乡，潘家湾村村民委员会属白庙河乡；2013年更名为白庙河镇至今。