明、清时属多云乡；民国二十八年（1939）属第二区柳傅江联保；1949年属僧塔寺区柳林口乡；1952年属第四区（肖家坳）区南宝山乡；1955年属肖家坳区南宝山乡；1958年属红旗（白庙河）人民公社肖家坳管理区；1961年属白庙河区肖家坳人民公社，为第五生产大队；1975年改第五生产大队为潘氏祠大队，属白庙河人民公社肖家坳管理区；1984年改潘氏祠大队为潘氏祠村民委员会，属白庙河区肖家坳乡；1987年白庙河区分设白庙河乡和肖家坳乡，潘氏祠村属肖家坳乡；2001年白庙河乡和肖家坳乡合并为白庙河乡，潘氏祠村民委员会属白庙河乡；2013年更名为白庙河镇至今。