中华民国时期，属绥化县管辖。
1932年，设张维保，1939年，改设张维村。
1945年“九三”抗日战争胜利后，设置张维区。
1951年12月，设置张维镇（村级），隶属第十区。
1956年4月，并村划乡，设置团结乡，1958年8月，将三井、新生、联合、团结4乡合并，成立团结人民公社。
1961年划分为三井、新生、联合、团结4个公社。
1981年5月地名普查时，因本地区内公社重名，将团结公社更名为张维公社。
1984年3月，改为张维乡。
同年12月，改为张维镇，名称沿用至今。