Капитальные (несущие) стены домов класса "хрущевка" имеют толщину в два полных кирпича. Потому видимые снаружи щели между кирпичами особой связи с теплопроводимостью не имеют (я исключаю вариант сквозных щелей - это практически невероятный сценарий). Такие щели снаружи можно для успокоения совести просто замазать цементным раствором с помощью специальной лопатки, которая по мудреному называется кельмой, а в простонародье - мастерок.

А холодно в квартире у вас из-за того, что плохо утеплено пространство под подоконником. Вот тут имеет смысл запенить данное пространство. Лишнюю засохшую пену нужно срезать ножом (шпателем), загрунтовать и заклеить обоями (закрасить, если вы не используете обои).

Когда я получала свою квартиру, в ней было очень холодно, но сразу заметила полоски пыли по краям щелей меж досок пола. Зная конструкцию плит, которые составляют межэтажное перекрытие, сразу поняла, что проблема решаема. Сначала прошла с горящей свечей по всей квартире - определила откуда дует. Подоконник трогать слава богу не пришлось, а вот пол местами поднимала, замазывала дыры в плитах. Советую и Вам сначала определить при помощи свечи, руки, тепловизора где именно утечка тепла, а потом принимайтесь за дело. На пену не рассчитывайте если есть сквознячок, дырочку в пене он себе все равно оставит. Все дырочки нужно сначала хорошо заткнуть и только потом можно и запенить или замазать. Утеплитель называется синтетические тряпки, которые не жалко. Сейчас в моей квартире настолько тепло, что даже дверь на лоджию убрана и форточка всегда открыта или приоткрыта.