„Shiba“ odkazuje na typ malého štětce nalezeného v horských oblastech Japonska. Slovo „shiba“ se používá k popisu něčeho malého, kompaktního nebo rustikálního. V případě Shiba INU se pravděpodobně týká malé velikosti psa a jeho spojení s venkovskými oblastmi.
„INU“ jednoduše znamená „pes“ v japonštině. Je to běžné slovo používané k odkazování na jakýkoli typ psa, bez ohledu na plemeno.
Slovo „Shiba Inu“ se tedy doslova překládá na „Brushwood Dog“ nebo „Malý rustikální pes“. Toto jméno odráží původ psa a jeho spojení s venkovskými oblastmi Japonska, kde byl chován.