紀伊半島の南東部に位置し、三重県の南玄関となっています。東は七里御浜で熊野灘に面し、北は御浜町、西を熊野市、南は熊野川を隔てて和歌山県新宮市と接しています。
そのため、東紀州地域関係市町との広域行政に取り組んでいますが、歴史・文化的背景から和歌山県との関係も深く、新宮市などとの県域を越えた連携・交流も盛んです。
また、和歌山県との県境には熊野川が流れ、この流域や七里御浜、奈良県、和歌山県との一部にかけては「吉野熊野国立公園」になっています。
北西部には紀伊山地からつながる山塊が広く分布し、南東部には住宅地や商業地をはじめ、港湾を活用した製紙工場や製材工場などが立地しています。また、町の中央部には、北西部の山々に源を発し熊野川に注ぐ相野谷川が流れています。
東部の神内川・井田川を含むこれら河川の流域では、平地には水田が開け、丘陵地にはみかん畑が広がっています。