青山社区，明清朝代，属黔中道遵义府县南乡忠庄里五甲，民国二年（1913），属南三上区。
民国二十一年（1932），为太保镇属第八上区；民国三十年（1941）建南白镇辖11个保，属第七保（后坝）。
解放后1950年10月，隶属后坝村，1958年9月，置人民公社，村为大队，组为生产队。
青山村更名青山大队随后坝乡合并建南白区水库群人民公社。
10月，隶属后坝管理区。
1961年8月，隶属后坝人民公社。
1984年9月，恢复乡村建制，将公社、生产大队、生产队更名为乡、村、村民组。
青山大队更名为青山村仍隶后坝乡。
1992年9月至1994年8月，隶属后坝片区管理区。
1994年8月，隶属后坝办事处。
2004年2月撤销后坝办事处，由青山村10个村民组、底猫河村3个村民组、柏村村12个村民组合并建置。
2016年8月改设为青山社区居民委员会。