华溪村位于义乌东北部，地处天目山余脉武岩山麓，东靠东阳吴宁、西北临荷叶塘、西南与廿三里接壤，廿三里至苏溪公路穿境而过。该村现有1170户人家，3127人。有关它的传说，据《虞氏宗谱》记载：“以其山水环汇，花竹秀茂，故以名焉。”但在民间却另有说法。
相传，一千多年以前，即宋朝时期。有一年春天，东阳市罗山乡炼仙坞村有一位种田人，名叫虞元吉，他为了耕田插秧，离家到诸暨买牛。路过武岩山脚时，但见那里山清水秀，风光旖旎，向东看：溪水向东，良田一片，整齐如棋盘；向西瞧，西屏山、东屏山相视而立，好像一本翻开的书；向北望，文峰像一把琴；向南瞄，武岩山从田中心升起，又陡又险，景色如画，登上山顶能看五十里。正可谓东南西北、棋琴书画皆备，确实是个好地方。他深深地被陶醉了，随手在溪边插了一根赶牛鞭并异想天开地自言自语道：“如果天地有灵，这根牛鞭如在我诸暨买牛回来时能开出花来，我就在这里扎根落户。”说完匆匆离去。
且说武岩山脚下有一个只有十来户人家的金宅村。该村有几个放牛小孩，放牛时经常偷闲到山上摘映山红，玩累了就到溪边喝水。这天他们来到溪边，见有一根赶牛鞭插在溪边，就顽皮地把映山红缚到牛鞭上，远远看去真像牛鞭开花。过了几天，虞元吉买牛回来，一看牛鞭上果然“开着花”，不禁暗暗称奇。于是他马上回到家里，带着老婆孩子来此安家，并把此地取名为“花溪”。后人将“花”改成“华”，所以现在人们把“花溪”写为“华溪”（但读音仍是“花溪”）。虞元吉便是华溪的虞氏始祖。
华溪自古以来人杰地灵，虞氏子孙登“龙门”在宋朝有五人，在明朝则有十四人。村西武岩山，因状如“乌纱帽”，被人称之为“纱帽山”。