Это одно из особых грамматических свойств количественных числительных. См., в частности, учебник Е. И. Литневской:

«Количественные числительные характеризуются особой сочетаемостью с существительными.

Целые и собирательные числительные сочетаются с существительными следующим образом: в И. п. (и В. п. при неодушевленных существительных) числительное является главным словом и управляет существительным, требуя его постановки в Р. п. единственного числа (при числительных два, три, четыре) или множественного числа (при числительных пять и далее). В остальных падежах главным является существительное, а числительное с ним согласуется, например:

два (И. п.) стола (Р. п. ед.ч.)
двух (Р. п.) столов (Р. п. мн. ч.)
двум (Д. п.) столам (Д. п. мн. ч.)
двумя (Т. п.) столами (Т. п. мн. ч.)
(о) двух (П. п.) столах (П. п. мн. ч.)»