В тоже время, вы отвечаете ему взаимностью, значит есть симпатия, помните, как гласит народная мудрость, поэтому и не давайте повода, иначе эту тонкую линию ох как легко перейти.

Может даже будет лучше, если где-то и промолчите и проигнорируйте и он всё поймёт, а так вы даёте очередной повод.

Мы проводим большую часть времени именно на работе. Это я вам чисто как мужчина ответил!

Обычно "общение" с КОЛЛЕГОЙ-мужчиной должно осуществляться на работе в рабочее время. Всё, что за пределами уже не имеет данного статуса, а имеет статус личностных отношений (дружеских, свойских, приятельских).

Если вас устраивает такое общение, то, скорее всего, у вас возникла взаимная симпатия друг к другу или даже как говорят "химия". А рабочие вопросы - лишь повод или ширма для такого общения. Вы сами себя оправдываете и в тоже время обманываете.

Очень часто "химия" перерастает в "физику" и вопрос в том, кто из вас захочет (захочет ли) первым остановиться:

Вы - если сочтёте неправильным разрушать семью;

или

Он - если захочет отказаться от идеи "коллегиального" общения, потенциально грозящему благополучию семье и ребёнку.