棠山村位于湖口县东部，流泗北部，距县城24公里距镇政府所在地5公里，东邻彭泽县定山镇，南界定山镇联塘村，西连杨山村，北与湖口县高新产业园相连，530国道从棠山集镇穿境而过，距离彭湖高速湖口东通口7公里。共有12个自然村，共有10个村民小组、553户2282人，党员69名。共有土地总面积，4.32平方公里，其中耕地2451亩，山地面积1662亩。
系乌兔周氏棠山派始迁地与发祥地。因族大人蕃，村庄规模不断扩大，后以巴茅墈为界分为上下两湾，按地势高低，居上首者名为上棠山村，此居下首，故称下棠山村（俗称大屋里）。后裔多由此分迁各处，现居此者多为十六世以信、以忠后裔。后有李姓（原居杨家山李祖湾）、饶姓、金姓相继迁入合居。距流泗镇北偏东5公里。村中祠堂（大夫第）藏头对联曰：“棠甘蔽芾留遗爱；山蔼苍茫绘笑容。”门前左右有旗鼓石各一对。因谱注未详，未知来历。1938年日寇进犯湖口，曾将村庄焚烧一空。
该村东有港汊直通长江，村南有湖口至彭泽的301省道牛湖公路，交通便利，在上世纪五十年代以前是方圆百里有名的集镇和重要物资集散地，有商铺七十余家。后因附近彭泽县定山镇成为乡级行政经济中心，加之修筑长江防洪堤，截断水路，集镇遂逐渐衰落。