明末清初，这里称鄂尔多斯左翼前旗北部地。
清宣统三年（1911年）~1954年，属准格尔旗，称准格尔地。
民国十七年（1928年）~1949年，部分村属托克托县。
民国二十八年（1939年）~民国三十四年（1945年），属准格尔旗伪西官府。
1949年10月，属准格尔旗。
1955年，划归萨拉齐县。
1956年，撤区划乡，为将军尧乡，属二旺尧大乡。
1958年10月，将军尧、四家尧、党三尧、程奎海等乡组成团结公社。
1959年，更名将军尧公社。
1961年9月，将军尧公社分为党三尧乡、四家尧、程奎海、将军尧4公社。
1969年1月，土默特旗分为左、右两旗，属土默特右旗。
1981年，四家尧公社迁到小召子村，改名小召子公社。
1984年9月，公社改乡。
2001年4月，程奎海乡并入小召子乡。
2006年2月，将军尧、党三尧、小召3乡合并为将军尧镇。