Во время завтрака в отеле.
Путешествуя по Миру, мне как-то во время завтрака в ресторане одного из не очень больших отелей во время завтрака очень захотелось в туалет, я подошёл к сотруднику ресторана которому показывал карточку номера где я у них живу и что мой номер забронирован с завтраком "шведский стол", показал столик где я завтракал, попросил его не убирать и сказал что я выйду и скоро вернусь. Сбегав в свой номер, вернулся назад и продолжил свою трапезу, никто мне на это ничего не сказал.
Так что думаю выходить из ресторана/столовой во время завтрака, как Вы выразились на шведском столе, вполне можно. Скажите сотруднику отеля, ресторана и пожалуйста выходите.
Спасибо за Ваш полезный вопрос.