Законы русской грамматики требуют склонять мужские фамилии, оканчивающиеся на согласный звук (а буква й обозначает согласный звук j). Фамилия Горай склоняется по образцу других слов второго (по школьной грамматике) склонения, ср: лай, май, каравай, Дубай и др. Сказать, например, думал о Горай вместо думал о Горае то же самое, что родился в май вместо родился в мае.