Конечно, утеплять нужно снаружи, внутренняя отделка это скорее для красоты. Если у вас там есть камин, то к нему хорошо подошла бы облицовка стен . Смотрелось бы очень благородно. Хотя и песчаник тоже довольно прилично выглядел бы. Тут уже вопрос доступных финансов.