兵庫県のほぼ中央部に位置し、京阪神からは鉄道、高速道路等を利用しておよそ1時間半から2時間で、また、姫路からはJR播但線や播但連絡道路等を利用しておよそ1時間で直結する距離にあり、但馬・山陰地方と京阪神大都市圏を結ぶ交通の要衝の地にあります。また、平成18年7月22日に北近畿豊岡自動車道が和田山まで開通し、阪神間がさらに近くになりました。
北部は養父市と豊岡市に接し、南部は神崎郡、東部は京都府、丹波市、多可郡、西部は宍粟市に接しています。
新市は南北約32km、東西約24kmの範囲に広がり、日本海へ流れる円山川や瀬戸内海に流れる市川などの源流地域で兵庫県の南北の分水嶺でもあり、総面積は402.98平方キロメートルで県全体の4.8%を占めています。