清属衣锦乡。
1947年属五区童坊乡。
1950年建立怀玉区，分设童坊、锦溪、后叶、玉石、山青5个乡。
1957年建立怀玉山垦殖场分设辖陇首、山青、游击分场。
1958年童坊、后叶、山青3乡合并成立童坊公社。
1962年分设童坊、锦溪两公社。
1964年童坊、锦溪合并复称童坊公社。
1968年称胜利公社，同年并入樟村公社。
1970年山青分场并入陇首分场。
1973年陇首分场并入陇首大队。
1975年从樟村公社分出，复建童坊公社。
1982年4月游击分场分改立游击垦殖场。
1984年建立为童坊乡，怀玉山垦殖场成立怀玉乡，实行乡场合一体制。
1985年广平村划入樟村乡管辖。
2000年怀玉乡、怀玉山综合垦殖场和童坊乡合并称怀玉乡，地名沿用至今。