本市は、鹿児島県の東部を形成する大隅半島の北部に位置し、宮崎県都城市、志布志市、霧島市、鹿屋市、曽於郡大崎町に接しています。
本市の北部地域は、大淀川支流域に開け、都城盆地の一角をなし、南部は菱田川流域に広がる地域となっており、全体的には起伏の多い大地となっています。
都城盆地の一角には、太平洋に注ぐ大淀川の源流が流れ、末吉市街地、財部市街地が形成され、南部地域には、志布志湾に注ぐ菱田川が流れ、大隅市街地が形成されています。
また、本市は自然環境にも恵まれ、花房峡、大川原峡、大鳥峡などの景勝地が点在しています。