元末明初,此地有玉皇、关帝庙两座大庙,人们来此烧香求福者络绎不绝。明洪武年间,先祖由山西洪洞县迁此建村定居,取村名“双庙”,亦称“关爷庙”。
明成化年间,李姓兄弟三人,自山西省洪洞县迁居此地,以造纸为主,取村名为纸房。后因村南潴龙河畔建寺院一座,将村名改为临河寺。此后李姓为纪念其祖先,又复村名纸房。