明代属桑园里余家店保。
1924年属西区余家店保。
1930年属二区(驻余店)胡围孜乡。
1946年属江桂乡。
1950年属十区（驻新里集）胡围孜乡。
1954年属邓店中心。
1958年先后归东方红公社隆古公社管辖。
1965年从胡围孜大队北部析出，成立刘岗大队（当地“牛”“刘”发音相同）更名为靠山集大队。
1983年撤社设乡，撤大队设村，成立靠山集村民委员会。
1997年1月撤乡设镇，属牛岗镇靠山集村。
2005年9月，乡镇机构改革时，撤销牛岗镇，并入魏岗乡，属魏岗乡至今。