水清沟街道成立于1954年10月，属沧口区。
1961年1月转属四方区，1965年又转属沧口区。
1970年4月更名水清沟管区，1976年10月恢复名称水清沟街道，沿用至今。
1994年7月按照青岛市行政区划调整，又转属四方区。
2001年6月，开封路以南区域划归水清沟街道。
2012年12月3日，撤销青岛市市北区、四方区，设立新的青岛市市北区，水清沟街道转属市北区。
2017年市北区街道调整，将开封路社区居委会、阜阳路社区居委会从水清沟街道析出划入开平路街道，驻地迁永丰路8号。