位于祁阳县境中部稍北，距县城22公里。东与梅溪镇相接，南临湘江与黄泥塘、进宝塘、白水三镇隔江相望，西与观音滩镇相连，北与七里桥镇、羊角塘镇接壤。镇政府驻周家湾居委会，辖木埠头、许家岭、下堡桥、杨柳、多喜塘、岐竹、丁家坪、侧树坪、杨梅园、广济桥、下七渡、夭竹、双江、石峡洲、龙江、柏家、枫树、谢家湾、阳家歧、曾家歧、毛家埠、八角岭、老司里、高山、苏木、东江、乐园、深皇、白果、盘古、榔树、源星、新民、陆家、桐木、塘弦湾、中洲、董家埠、龙溪、古形、仙人坪、灵官甸、合洲、铜锣山、大洞源、赤一、赤二、钢铁、鲁冲、丫冲、东桥、荷花、享塘、新屋、龙潭、建溪56个村和周家湾、上街、下街3个居委会。
潘市镇原名潘家埠，因湘江北岸一个上千年历史的泊船码头上的住户多姓“潘”而得名。解放初为潘家埠乡，属第三区所辖。1950年潘家埠为第四区。1952年祁阳县析出祁东县后，潘家埠为第六区，辖现潘市镇和梅溪镇。1958年10月为灯塔人民公社，辖现潘市镇和梅溪镇全部管区。1959年5月为潘家埠人民公社。1961年改名为潘家埠区，辖潘家埠、下七渡、马安岭、塘弦湾、梅溪、楼梯、松林7个人民公社。1965年撤潘家埠人民公社，建石洞源人民公社，仍隶属潘家埠区管辖。1984年4月撤社建乡时，潘家埠区所辖的七个人民公社改名为七个乡。1985年元月，塘弦湾乡改为潘市镇。1995年7月，撤区并乡建镇，即潘市镇、下七渡乡、马安岭乡、石洞源乡、松林乡合并为潘市镇。
全镇总面积131平方公里，耕地1178公顷，13400户，44771人。祁山横亘于北，湘江缠绵于南，镇境北高南低。交通十分便利，水运繁忙，公路四通八达。祁羊公路、衡昆高速公路纵横贯穿，新修湘江大桥使全县的南北更紧密连成一体。镇北部山地，盛产杉木、板栗、楠竹、桐油，水丰草茂，是发展畜牧业的理想之地。全镇副业有红薯、小麦、茶油、茶叶、柑桔等。石峡洲和中洲是祁阳境内湘江三大江心岛中的两个。蔬菜水果基地年产2000万吨，销往衡阳、长沙、广州等省内外。矿产有石灰石、煤、铁、铜、瓷泥、陶泥等。全镇2002年生产总值为11247万元，财政收入215．6万元。
潘市镇是无产阶级革命家陶铸同志的故乡。1950年陶铸创办铁铮图书馆于镇政府所在地，“文革”中被毁，1988年重建。.