Orlovci jsou příbuzní jestřábům, orlům a luňákům, souhrnně nazývaným dravci. Patří do taxonomického řádu Accipitriformes, který zahrnuje jak denní dravce, jako jsou orlovci, tak noční dravce, jako jsou sovy. Výlovci jsou zařazeni do čeledi Pandionidae, která obsahuje pouze jeden rod, Pandion, a pouze jediný druh Pandion haliaetus.
