中华人民共和国成立初期为新余县鹄山区小步乡。
1955年成立小步、潢里、水口圩、皂江等9个初级社。
1956年转为小步、潢里高级社。
1958年为新余县万宝分社小步大队。
同年转为蒙山垦殖场小步分场。
1960年划入上高县，属蒙山垦殖场。
1968年属蒙山公社（场）小步大队。
1972年场、社分开，为蒙山公社小步大队。
1981年由小步大队分出为小上大队。
1984年为蒙山乡小上村委会。
2013年为蒙山镇小上村民委员会。