Velikost poustevníků krabů se mezi druhy velmi liší. Nejmenší druhy, jako je hrachový krab (Pagurus Bernhardus), může být dlouhý jako 0,5 palce (1,3 cm), zatímco největší druhy, jako je obří loupežní krab (Birgus Latro), může být dlouhý přes 2 stopy (0,6 m) a váží až 11 liber). Většina druhů poustevnických krabů je však mezi 1 a 3 palce (2,5 a 7,6 cm) dlouhá.