Šedé velryby se živí především na malých korýšů Volané amfipody které žijí na dně oceánu. Tyto amfipody jsou malé, o velikosti zrnu rýže a tvoří většinu stravy šedé velryby.
Také jedí:
* další malé bezobratlé: To může zahrnovat malé krevety, červy a další korýši.
* ryby: I když to není tak běžné, šedé velryby mohou občas jíst malé ryby, které najdou na mořském dně.
K napájení šedé velryby používají své baleen talíře k odfiltrování vody a zachycení malých bezobratlých. Dělají to tím, že sají ve velkém množství sedimentu a vody, poté vytlačují vodu přes baleen talíře a jídlo nechává pozadu.
Zajímavé je, že šedé velryby migrují na velké vzdálenosti, aby našly své jídlo. Stráví letní měsíce krmením v chladných vodách bohatých na živiny arktického a subarktického a poté migrují na jih do teplejších vod pro chov v zimě.