秦以前为古羌人居地。
汉武帝元鼎六年（前111年）此地开始归护羌校尉领护。
汉宣帝神爵二年（公元前60年），今贵德、贵南县地区为河关县地，隶金城郡，其余地区为羌人所据。
羌人大首领接受汉朝封号，受汉“护羌校尉”节制。
汉平帝元始四年(公元4年)，设西海郡，其辖地包括今共和、兴海两县的大部分地区。
东汉建武十年（公元34年），恢复河关县，改隶陇西郡。
（《后汉书·郡国志》）东汉末及三国时，州境复为羌地，在史书所称的“大、小榆谷”范围内。
西晋末、东晋初，州境陆续成为吐谷浑属地。
后凉、南凉、北凉时，州东南部为浇河郡所辖，其余仍为吐谷浑地。
北魏太平真君五年（444年），原浇河郡地入北魏版图。
后来又失于吐谷浑。
北周建德五年（576年），在今贵德设廓州，辖洮河、达化2郡，2郡下辖洮河、广威等5县，今贵德、贵南等县地区即为其中洮河郡所辖，州境其余地区仍为吐谷浑地。
隋开皇三年（583年），设达化县，海南州东南部归廓州河津县辖。
大业五年（609年）隋在吐谷浑故地设置郡县，州南部地区为河源郡赤水县、远化县辖区。
唐武德二年（619年），州东南部地区归廓州达化县辖，其余仍为吐谷浑地。
龙朔三年（663年）吐蕃攻灭吐谷浑国，州大部遂成为吐蕃国辖区。
广德元年（763年）廓州也陷入吐蕃。
北宋初，海南州地区为唃厮啰政权势力范围。
宋徽宗大观二年（1108年）今海南州东南部为积石军辖区。
北宋亡后，金将积石军更名积石州（治所移至今甘肃省积石山县大河家），隶临洮路。
南宋绍兴七年（1137年），积石州被金划赠西夏。
次年，西夏将积石州更名为祈安城。
州东南部为祈安城辖区。
元世祖至元八年（1271年），改祈安城为贵德州，今贵德县、贵南县和共和县东部一带为贵德州辖地，其余是必里万户府辖区，均隶吐蕃等处宣慰使司都元帅府。
明洪武八年（1375年），明改贵德州为归德守御千户所，直隶于西安行都指挥使司（后改隶河州卫）。
州东南部为归德守御千户所地，其余地区为朵甘行都指挥使司辖区。
清初，海南州大部为卫拉特蒙古和硕特部首领顾实汗辖区。
清雍正三年（1725年），青海蒙古各部被编为29旗，海南地区占11旗，隶钦差办理青海蒙古番子事务大臣公署。
乾隆乾隆二十六年(1761）改“归德”为“贵德”，五十六年(1791年)置贵德厅，州境东南部为贵德厅辖区，隶甘肃省西宁府。
1913年改贵德厅为贵德县。
1929年青海建省，州境统归青海省管辖。
同年设共和县。
1935年5月，从贵德县析置同德县。
1939年设大河坝设治局(1943年改为兴海县)，均直隶青海省。
1949年9月今海南地区解放后，贵德、共和、兴海、同德4县人民政府相继建立。
1952年7月，由贵德县析置尖扎藏族自治区（次年改为尖扎县）。
1953年7月，由贵德、同德两县析置贵南县。
同年12月6日，经中华人民共和国政务院批准，成立专区一级的海南藏族自治区。
1955年7月28日，改称海南藏族自治州。
1979年3月成立龙羊峡办事处，为自治州政府派出的县级机构（1988年改称龙羊峡行政委员会）。
至此，全州辖5县、1个行政委员会。
2002年，撤销龙羊峡行委。