因据说唐朝时期有姓乌在此居住，地名为乌墩，后因四周多是土墩，土字不雅，中华人民共和国成立后改名玉墩。
因传说宋朝时期此地出个姓潘名苀，住地周围出产磨刀石头，命名为潘硎。
由林氏祖先开基定居，四面环山，中间为田地。
因相传以前曾由九个仙人到九鲤游过，其中有一位仙人经过内南安，在村口溪底的岩石上留下的脚印依稀可见，使仙人流连忘返形成。