秦始皇二十五年（222），小昆山属会稽郡娄县南境。
建安二十四年（219），陆逊因军功被封为华亭侯（华亭始见于史志），小昆山地区为其封地。
天宝十载（751），吴郡太守赵居贞奏割昆山南境、嘉兴东境、海盐北境置华亭县，小昆山地区为华亭县辖地。
1912年娄县并入华亭县，小昆山设乡，同年4月小昆山乡实行地方自治。
1929年小昆山乡与钱河乡合并，称松江县第九区。
1934年3月第九区（小昆山）与第八区（天马山）合并为第四区。
1942年7月，第四区改第三区。
1949年8月建天昆区。
1957年8月撤区并乡，建天马乡。
1984年2月建昆冈乡。
1993年7月15日，撤销昆冈乡建制，建立小昆山镇。
1994年2月撤乡建大港镇。
2001年1月撤销小昆山镇、大港镇，组建松江科技园区。
2007年7月撤销松江科技园区，恢复小昆山镇建置，地名沿用至今。