黑水古为冉马龙地域，秦、汉为蚕陵县地。
蜀汉于黑水境北置平康县，后以蚕陵、平康两县领其地。
北周分属通轨、江源、左封、广年四县。
隋初四县属汶山郡。
隋末以平康、左封两县领之。
唐武德元年（618年）废平康，二年（619年）废左封属翼州。
贞观二十一年（647年）在境内马桥置当州辖通轨、左封两县。
显庆元年（656年）左封县迁驻徐古，二年（657年）置谷和县，治地米尔垮。
文明元年（684年）在境寡古置利和县，三年（687年）置归城县，治地苦瓜。
元为吐蕃宣慰司管辖，至元年二十七年（1290年），北部为松州毛尔盖千户领，其余为茂州叠溪土千户所领。
明为松潘。
明初，在知木林置麦扎族长官司，明末置大姓黑水土百户，属松潘卫、茂州卫领地。
清在境北麦扎、乌木树、知木林、慈坝置土守备，属松潘厅。
道光六年（1826年）改土归流，大姓黑水（丁寨等六寨）属茂州管辖。
清末大黑水为梭磨宣慰司所辖，隶属理番厅，小黑水隶属松潘厅。
1935年属四川省第十六行政督察区。
1952年7月24日黑水解放，9月成立黑水行政委员会县级临时政权。
1953年12月置芦花县。
1954年6月更名为黑水县。