“十二邦”时期，康马一带为“杰依芒布王”属地。
吐蕃政权时期，康马地方隶属“如拉茹”管辖，设有“康萨东迪”和“格冲东迪”。
9世纪中叶，吐蕃陷入分裂割据时期，康马地方起初为桂氏属地，后成为娘麦杰氏领地。
13世纪，元朝萨迦政权将康马一带划归“夏鲁万户”管辖。
14世纪中叶，康马成为第一代江孜法王囊钦帕巴贝桑的辖区。
并沿袭至甘丹颇章政权建立。
17世纪中叶，清朝甘丹颇章政权将其划归江孜宗管辖。
1962年10月，将江孜县部分行政区域划出，设置康马县，隶属江孜专区。
1964年5月，撤销江孜专区，康马县划归日喀则专区。
1983年10月，恢复江孜地区，康马县划归江孜地区。
1988年，撤销江孜地区，康马县划归日喀则地区。
2014年6月，撤销日喀则地区，设立地级日喀则市，康马县隶属日喀则市。