本市は、岐阜県の東南部に位置し、東は瑞浪市、西は多治見市及び可児市、南は愛知県瀬戸市、豊田市、北は御嵩町に接しています。名古屋市からは40km圏にあり、鉄道で名古屋駅まで約40分の距離にあります。
地形は南に高く北に低く、特に南部は急峻な山地となっています。中央部の丘陵地は、陶土採掘や窯業用燃料として樹木を伐採したため、昭和初期にははげ山と化していましたが、その後約50年間にわたり治山事業が続けられ、現在は緑豊かな丘陵が取り戻されています。
市街地は、北部を横断する土岐川流域及び支流の肥田川、妻木川流域の平坦部に開け、中央丘陵を環状に取り巻くように形成されています。