鹤溪村位于沙河畔上，整座古村落坐北朝南，背山面水。民居建筑依地势而建，层层递进，错落有致，为阶梯式布局。这里的古房屋都是砖瓦房结构，有很明显的明清时期广府古民居建筑风格。古村的房屋大多建于清代，不少以花岗岩做墙基，青砖到顶。大多用麻石条或红砂岩做门框，房屋上的灰塑、彩绘、木刻、石雕、砖雕等保存较为完好。一些民居屋檐下有精美的木雕。木雕上的人物图案栩栩如生。有些房屋的壁画色彩依旧鲜艳。有一幅壁画，画面上一群人走在一条曲廊上，曲廊边树木葱茏。
古村民居户与户之间有走廊相通，小巷有10多条，不少村巷地面都铺麻石条，有些地方的小巷，只有一人宽。据了解，鹤溪村内现存古民居建筑300多处，保存较完好的关氏宗祠3座、家庙一座、古塔一座、古井一口。据说以前村前的池塘与沙河相连，船只可以直接开到村子。靠着水运，鹤溪村当年很繁荣，富足的村民才有足够财力建起如此精美的建筑。
据南雄珠玑巷《姓氏解密寻踪》记载，鹤溪村的关氏族人，是明代从南雄珠玑巷迁来这里繁衍生息，至今近600年历史。