Это безличное предложение, главным членом которого является комплекс грустно было уезжать. В составе этого комплекса грустно — модальный компонент, выраженный словом категории состояния, было — формальная связка, уезжать — смысловой компонент, выраженный инфинитивом. Это одна из стандартных моделей безличного предложения с главным членом, построенным по модели сложного трехчленного сказуемого. В школьной грамматике — построенным по модели (усложненного) составного глагольного сказуемого.