2Кори, если окна старые и неухоженные, то дуть может откуда угодно, вплоть до трещин в рамах. Но сейчас заниматься серьёзным ремонтом поздно - надо вынимать стёкла, но это за 5 минут не сделаешь, а за бОльшее время Вы превратитесь в льдышку. Поэтому предлагаю такую программу действий. Сначала выясните, обязательно ли Вам замазывать чем-то щели между стёклами и рамами, а то перемажите все окна, а толку от этого не будет. Проверяется это просто: если стекло сидит крепко и ничуть не дребезжит, нечего его и трогать. Для тех стёкол, что хоть немного дребезжат (если такие есть), покупаете герметик, предназначенный непременно для ВНЕШНИХ и внутренних работ (в Вашем случае наверное достаточно тюбика, а то обычно они продаются в тубах, к которым ещё придётся покупать специальный пистолет), и проходитесь им по периметру дребезжащих стёкол, стараясь заполнить герметиком щелки (поверхность предварительно хорошо очистите и обезжирьте). Этим же герметиком можно заделать все подозрительные щелки на оконных коробках, между коробками и стенами.
Теперь переходим к утеплению. Померьте общий периметр всех створок и покупаете с небольшим запасом нужное количество метров самоклеющегося уплотнителя из пористой резины, D-образного, и несколько метров Ш-образного. Этот уплотнитель продаётся в виде легкоотделяемых друг от друга 2-х параллельных полосок, т. е. если Вы купите столько метров, каков общий периметр Ваших окон, то Вы получите двойной периметр уплотнителя, что и требуется, т. к. уплотнитель надо клеить не только на створки, но и между ними.
Клеить уплотнитель нужно сначала между створками (непременно по всему периметру, место стыка обрезаете под углом 45 градусов, чтобы концы уплотнителя хорошо состыковались), а затем по краю внутренней створки (поверхность предварительно зачищаете и обеспыливаете, чтобы потом ничего не отклеивалось), также по всему периметру, причём начинать надо в районе петли, она дополнительно защитит от проникновения холода в месте стыка. Особое внимание уделите уголкам: чтобы уплотнитель хорошо лёг, с внутреннеё стороны вырежьте небольшие треугольнички, не прорезая внешнего края уплотнителя. Когда весь D-образный профиль будет наклеен, закройте все окна и свечкой проверьте по всем краям створок, не проходит ли где-нибудь холод. Если нашли такое место, открываете окно и уже на коробке, в месте прилегания уплотнителя створки, клеете кусочек Ш-образного профиля так, чтобы D-образный точно лёг в него по принципу "шип-паз". Больше оттуда дуть не будет.
А уже весной или летом можно заняться более серьёзным уплотнением, с выниманием стёкол, их герметизацией, замазывнием щелей в рамах, регулировкой фурнитуры и т. д. Удачи!