При официальном употреблении (например, в текстах официальных документов) правильно: Администрация Президента Российской Федерации. Ср. в Положении об Администрации Президента Российской Федерации: «Администрация Президента Российской Федерации является государственным органом...»

При неофициальном употреблении правильно написание строчными. Например, в газетной статье: В администрации президента заявили...