1949年属汉阳县第一区、第六区所辖的军山、长河两个乡。
1958年为黄陵人民公社的军山、洪海两个管理区。
1959年为国营东城垸农场军山分场，洪海化为沌口养殖场。
1961年转为军山、洪寒两个公社，属黄陂区。
1975年军山、洪海两个公社合并为军山公社。
1984年改名为军山镇。
2001年将黄陵镇并入军山镇，镇政府驻黄陵矶。
2004年撤销军山镇，设立军山街道，办事处驻黄陵矶。
2006年将蔡甸区的军山街道委托给武汉经济技术开发区管理。
现军山街道设凤凰苑社区、龙湖社区、蒲潭社区、小军山社区、黄陵社区、得胜村、胜利村、新团村、群江村、凉亭村、幸福桥村、硃山村、凤山村、张王庙村、沿河村、大山村、王家村、肖家村、长山村、龙湖村、川江村、小军村、枫林村、黄石村、洪海村、军江村。