Самодельный фреоновый ватерчиллер

От редактора (ALT-F13): Так уж получилось, что статью мы смогли опубликовать аж через два месяца после ее написания. За это время автор не сидел, сложа руки, а двигался дальше в сторону более экстремального охлаждения. Сейчас Steff занимается сборкой самодельных phase-change direct-die систем, в просторечии - «фреонок». На момент написания этих строк, он продемонстрировал уже второй вариант своей системы. Впрочем, первый также прекрасно работал. Так что строки, с которых начинается текст этой статьи - «Экстремальными методами охлаждения компьютера я увлёкся совсем недавно, так что это - описание моего первого эксперимента в этой области» можно считать недействительными:)

Экстремальными методами охлаждения компьютера я увлёкся совсем недавно, так что это - описание моего первого эксперимента в этой области.

Водяное охлаждение я использовал на протяжении нескольких лет, но пришёл момент, когда захотелось большего. Можно было конечно купить готовую систему Asetek VapoChill или nVentiv Mach II (экс-Prometeia), но у фреонок есть свои недостатки. Во-первых это цена, во-вторых - способность охлаждать только один элемент системы. Для охлаждения, к примеру, видеокарты пришлось бы покупать еще одно устройство и серьезно заморачиваться с установкой.
Начинать свое знакомство с экстремальным охлаждением с постройки самодельной direct-die системы показалось мне достаточно сложной задачей, поэтому я выбрал другой путь.
Альтернативой direct-die охлаждения являются ватерчиллеры, то есть системы на базе водяного охлаждения с эффективным охлаждением хладагента, позволяющие достичь температур ниже окружающих.
Серийный ватерчиллер на сегодня есть только один, это достаточно неэффективная (около 0 градусов при загрузке 50-70Вт) и дорогостоящая ($330) система от Swiftech. Голландцы OC-Shop.com обещают начать продажи своего чиллера, но за последние полгода не слишком продвинулись к цели. Известна лишь цена продукта - 600 евро, что еще больше, нежели у продукта Swifttech.
По причине отсутствия эффективных серийных чиллеров, остаются два пути - сделать самому или купить чиллер, предназначенный для другого применения.
Существует два основных вида ватерчиллеров: на основе фазового перехода (phase-change) или с использованием модулей Пельтье. Первые представляют собой двухконтурную систему, где испаритель "фреонки" охлаждает хладагент в контуре жидкостного охлаждения. Во втором случае вода или другой хладагент проходит через ватерблок, охлаждаемый модулями Пельтье. Этот вид чиллеров компактнее и проще в изготовлении, но сильно проигрывает в температурах и соотношении "эффективность/потребляемая энергия". Так, 500Вт суммарной мощности модулей дают температуру жидкости чуть ниже нуля градусов при нагрузке около 100Вт...
Итак, решено - будем делать phase-change waterchiller с тремя охлаждаемыми элементами (процессор, северный мост, ядро видеокарты).

Компоненты системы

Проще всего собирать чиллер на базе бытового конциционера. Желательно найти кондиционер, который использует газ R22, а не R134а, так как R22 испаряется при низшей температуре. Для данных целей также подходит система от холодильника. Я использовал кондиционер 5000BTU, обычно в них устанавливаются компрессоры мощностью в 1/2 л.с.

В качестве резервуара подойдет любая ёмкость с теплоизоляцией, а в крайнем случае можно сделать самому. В моем случае - это изолированный бачок для холодной воды.

Главная головная боль тех, кто рискнул заниматься экстремальным охлаждением - теплоизоляция для предотвращения конденсата. Простых методов, описанных в статье "Теплоизоляция ватерблоков" перестанет хватать, если температура приблизится к нулю и ниже. Поэтому в ход пойдет "тяжелая артиллерия". Для теплообменников - монтажная пена-заполнитель и изолента, для трубок и шлангов - поролон с закрытыми порами. Обязательно использование диэлектрической смазки для мест установки ватерблоков (также можно использовать силиконовое покрытие, но его потом невозможно удалить с плат).

Собственно компоненты системы водяного охлаждения, ватерблоки и помпа. Мой комплект состоит из PolarFlo CPU waterblock, Danger Den Z-Chip block, Swiftech MCW50 VGA block и помпы Rio Aqua 1400.

Следующий вопрос - выбор хладагента. В данном случае я руководствовался двумя параметрами: жидкость не должна замерзать при низких температурах и иметь как можно большую теплопроводность. Для низких температур подходят антифриз (кто бы сомневался;)), водка или смесь вода+метанол. Я выбрал метанол: он ядовит (внимание!), но обладает наилучшей теплопроводностью. Один из самых простых способов его достать - купить в автомагазине жидкость для стеклоочистителя.

Сборка

Здесь фотографии помогут больше, чем длительное описание на словах.

Я начал с теплоизоляции ватерблоков. Блок заливался пеной, после высыхания ставилась изоляция на трубки и всё вместе закрывалось изолентой.

Таким образом я теплоизолировал все три ватерблока.

Осталось изолировать материнскую плату. Всё пространство вокруг сокета и чипсета намазал диэлектрической смазкой, тоже самое проделал с блоками, потом сделал прокладки из поролона. Аналогичным образом обработал заднюю сторону материнки и видеокарты, затем установил поролон и закрепил пластинами из акрила.

Когда блоки были готовы, занялся кондиционером. Полностью разобрал его, стараясь ничего не сломать.

Для легкого и безболезненного сгибания трубок в нужных местах рекомендую использовать инструмент под названием "pipe bender" (не знаю точного русского названия).

Времена однотипных корпусов безвозвратно прошли. Серые, невзрачные решения сменили яркие и экстравагантные модели со множеством интересных функций и эргономичным дизайном, способные стать стильным дополнением любого интерьера. И если раньше компьютер в любом помещении, прямо скажем, мозолил глаза, то теперь он может оказаться более элегантным и красивым, чем иной предмет мебели. Он уже не только выполняет роль ящика для сборки компьютерной системы, но и выглядит достойно. К тому же выпускаемые в настоящее время компьютерные корпуса можно разделить на несколько категорий в зависимости от мощности будущей системы и сферы ее применения. Есть корпуса для геймеров (хотя многие из них отличаются от бюджетных моделей лишь внешними деталями), оверклокеров, компьютерных энтузиастов, корпуса для моддинга и создания портативных систем, а также бюджетные корпуса для офисных компьютеров. В общем пользователь непременно найдет корпус, который будет отвечать всем его требованиям.

В настоящей статье мы познакомим вас с корпусом, который можно причислить к передовым решениям, основная задача которых предложить новые идеи для всей индустрии, направить ее развитие в новое русло и заставить взглянуть на привычные проблемы по-новому. Это корпус от компании Thermaltake с загадочным названием Xpressar RCS100 - первый корпус с фреоновым охлаждением центрального процессора.

Он был представлен два года назад на выставке Computex 2008. Тогда все были очарованы новинкой от Thermaltake - миниатюрной системой охлаждения на основе фреона. Данная система многие годы использовалась в других отраслях, но для охлаждения компьютерных компонентов была предложена крупным производителем впервые.

Как известно, уже давно ведутся поиски инновационного источника охлаждения, который бы положил конец шумным кулерам. Поначалу большие надежды возлагались на жидкостное охлаждение, которое, казалось бы, соответствовало всем требованиям компьютерной индустрии. Однако такие системы не выдержали главного испытания - испытания временем: они не получили широкого распространения и, за исключением краткого ажиотажа, не вызвали никаких перемен в компьютерном мире. Некоторые производители до сих пор поставляют подобные решения на рынок, но, если говорить начистоту, вряд ли их ждет большое будущее. Такие системы остаются дорогими и, несмотря на некоторые преимущества, обладают рядом недостатков. Тем не менее безоговорочно следует признать одно: создание жидкостного охлаждения было необходимым этапом, который следовало пройти хотя бы для того, чтобы исключить из рассмотрения эту технологию. Итак, поиск идеального охлаждения продолжается. Пока подавляющее большинство пользователей продолжает применять старый и проверенный метод охлаждения компонентов; оверклокеры, работающие с экстремальными режимами современных систем, строят собственные охлаждающие контуры на основе жидкого азота. Решение от Thermaltake, которое мы рассмотрим, занимает среднюю позицию: с одной стороны, это больше, чем обычный корпус, а с другой - это серийное решение, которое не требует особых инженерных навыков для использования.

Корпус Xpressar RCS100

Серьезность изделия мы ощутили сразу же: коробка, в которую корпус бережно упакован, весит около 30 кг. При знакомстве с корпусом и его спецификацией становится понятной причина столь внушительного веса: шасси корпуса, как и его боковые панели, изготовлено из стали марки SECC толщиной 1 мм.

Основой для системы Xpressar RCS100, представляющей собой симбиоз корпуса и продвинутой системы охлаждения центрального процессора, послужил корпус знаменитой серии Xaser VI. Модель относится к классу Super Tower и имеет габаритные размеры 605x250x660 мм. Порадовало стилистическое решение корпуса: дизайнеры не стали утяжелять и без того громоздкую конструкцию большим количеством внешних «спецэффектов» типа огромных вентиляторов и светящихся панелей. В результате, несмотря на внушительные размеры, дизайн корпуса получился довольно сдержанным и аккуратным. Классический черный цвет, плавные очертания и линии удачно сочетаются с некоторыми более резкими, привычными для игровых корпусов деталями.

На верхней и нижней частях стального шасси имеются надстройки. Эти металлические конструкции, помимо защиты корпуса от внешних воздействий, выполняют целый ряд функций. В результате установки нижней надстройки корпус немного приподнимается над поверхностью, на которой стоит, за счет чего образуется воздушный зазор между нею и дном корпуса.

Верхняя надстройка выполняет роль площадки для размещения целого ряда функциональных устройств. В передней ее части находится интерфейсная панель, на которой располагаются внешние разъемы и клавиши управления. В их число вошли четыре разъема USB 2.0, два разъема eSATA, один IEEE-1394, два аналоговых разъема mini-jack для подключения наушников и микрофона, кнопки включения/выключения и перезагрузки компьютера, а также LED-индикатор работы жесткого диска. Примечательно, что столь большой набор интерфейсных разъемов и клавиш удалось разместить на довольно небольшой площади, которая, помимо всего прочего, гармонично вписалась в стилистику корпуса. Клавиша включения/выключения компьютера оформлена в виде светящейся буквы X, которая напоминает пользователю о принадлежности корпуса к серии Xaser VI. Любителям моддинга и красивых эффектов также придется по вкусу небольшая глянцевая створка, под которой скрывается вышеописанная интерфейсная панель, - при нажатии на определенную точку створка приподнимается, открывая доступ к разъемам. Такое решение весьма практично - в разъемы попадает меньше пыли. За интерфейсной панелью располагается дополнительный отсек, который становится доступен при сдвигании верхней стенки назад. Судя по всему, он предназначен для хранения мелких деталей, таких как крепежные винты и монтажные ленты.

Передняя панель корпуса закрыта внушительной алюминиевой дверцей с логотипом серии Xaser. В верхней и нижней ее частях имеются прочные выпуклые металлические решетки, которые, помимо эстетической функции, служат для забора воздуха внутрь корпуса. На передней панели расположены заглушки монтажных окон для 5,25-дюймовых устройств: четыре окна являются воздухозаборной решеткой для установленного за ними вентилятора, а остальные семь готовы к установке 5,25-дюймовых приводов. Все заглушки вынимаются без помощи инструментов, что значительно облегчает процесс сборки.

Боковые стенки имеют привычный вид: гладкая глянцевая поверхность с двумя решетками на каждой стороне и несколькими декоративными углублениями. Сняв стенки корпуса с двух сторон, мы пришли в легкое недоумение. На первый взгляд внутри корпуса творится полная неразбериха: провода, трубки, завернутые в теплоизоляцию, непонятные механизмы и устройства. Этот сумбур, как вы уже, должно быть, догадались, был внесен установкой охлаждающей системы Xpressar, к детальному изучению которой мы приступим чуть позже. А пока, сняв охлаждающую систему, рассмотрим более привычные для нас вещи.

Внутренняя компоновка корпуса выполнена на достойном уровне. В области передней стенки блока расположены две корзины для установки приводов. Верхняя корзина имеет семь монтажных мест для 5,25-дюймовых устройств, нижняя - для пяти 3,5-дюймовых приводов. Все монтажные места оборудованы специальными крепежами, которые позволяют установить то или иное устройство без помощи отвертки и других инструментов. Корзина для 3,5-дюймовых устройств имеет съемную основу и развернута к стенке корпуса для удобства извлечения приводов. Между передней стенкой и корзиной расположен 140-мм вентилятор, который продувает всю корзину насквозь и способствует быстрому отводу тепла от жестких дисков системы.

Монтажное место для установки блока питания также выполнено очень удачно: три опоры (две стационарные и одна регулируемая) позволяют жестко удерживать блок на месте и в то же время не загромождают внутреннее пространство. На верхней стенке размещен второй 140-мм охлаждающий вентилятор системы.

Особого внимания заслуживает реализация подложки материнской платы - после откручивания пары крепежных винтов она легко вынимается из корпуса вместе с задней стенкой. Это очень удобно, поскольку можно собрать систему вне корпуса, а затем просто установить подложку на место. В случае установки охладительной системы Xpressar данная конструктивная особенность корпуса и вовсе окажется незаменимой. Подложка имеет несколько отверстий для разводки кабелей питания и интерфейсных шлейфов, а зазор между подложкой и стенкой корпуса позволит уложить все кабели в нужном порядке и не занимать при этом внутренний объем корпуса.

Остается добавить, что к корпусу прилагается весьма внушительный комплект. Помимо документации, в нем обнаружились многочисленные крепежные винты для сборки системы, хомуты и ленты для разводки кабелей, отсек­переходник для монтажа привода 3,5-дюйма в 5,25-дюймовый отсек, дополнительная заглушка для FDD-привода, еще один 140-мм вентилятор, а также контейнер для хранения различных комплектующих, который можно установить в пятидюймовый отсек.

Теперь, когда мы вкратце ознакомились с устройством корпуса, рассмотрим более детально систему охлаждения - безусловно, его главную особенность.

Фреоновое сердце

Принцип работы системы охлаждения на основе фреона, несмотря на внешне сложное устройство, довольно прост. В замкнутом контуре находится газ (фреон), который в процессе фазового перехода из одного агрегатного состояния в другое охлаждает контактную площадку, присоединенную к центральному процессору компьютера. Рассмотрим данный процесс более детально.

Сначала сжиженный фреон, находясь в состоянии охлаждения и низкого давления, поступает к контактной площадке центрального процессора. Под воздействием выделяемого процессором тепла происходит фазовый переход фреона из жидкого в газообразное состояние. При помощи миниатюрного компрессора давление фреона в системе поднимается, газ разогревается, но при этом остается в газообразном состоянии. Однако в таком состоянии фреон уже способен к обратному переходу в жидкое состояние. Для этого при помощи охлаждающего блока, в основе которого лежат вентилятор, длинный контур из медных тепловых трубок и алюминиевые радиаторные пластины, температура фреона понижается, за счет чего газ конденсируется и переходит в жидкое состояние. В заключение цикла вновь образовавшаяся жидкость проходит через расширительный клапан, вследствие чего давление на данном участке падает, готовя фреон к повторному фазовому переходу в газообразное состояние. Такой цикл фазовых переходов давно работает на благо человечества в холодильных бытовых системах.

Проблемы, которые предстояло решить разработчикам Thermaltake, фактически сводились к двум: сделать систему охлаждения миниатюрной и избежать такого неприятного последствия работы фреонового охладителя, как конденсат. И если первая проблема не представляла особой сложности, то вторая заслуживала детального изучения, поскольку ее последствия являются фатальными для компьютера. Однако решение тоже оказалось довольно простым: поскольку рабочая температура центрального процессора находится в зоне так называемой комнатной температуры и выше, нет нужды охлаждать процессор сильнее. То есть задача Xpressar в данном случае сводится к поддержанию температуры в диапазоне 20-45 °С, при этом системе легко удается избежать образования внешнего конденсата. Работа компрессора, а следовательно, и скорость охлаждения контактной площадки регулируются по принципу широтно­импульсной модуляции, также известной как PWM. Иными словами, Xpressar воспринимает сигналы системы подобно обычному четырехконтактному кулеру и регулирует скорость работы охладительного контура. Это, ко всему прочему, решает проблему с охлаждением процессора в режиме «сна», когда оно практически не требуется.

Однако необходимо сделать ряд оговорок, на которые обязательно нужно обратить внимание тем, кто задумался об установке Xpressar. Во­первых, система с Xpressar предполагает установку процессора с тепловыделением более 70 Вт в нормальном режиме работы. Делается это для того, чтобы избежать переохлаждения контактной площадки и образования конденсата. Во­вторых, как указано на официальном сайте компании Thermaltake, система охлаждения требует предварительной подготовки, а именно прогрева в течение пяти минут. В-третьих, установить подобную систему можно только на системы с процессорными гнездами Intel LGA 775 и Intel LGA 1366. Кроме того, перед сборкой системы следует ознакомиться со списком рекомендуемого оборудования, которое может применяться с Xpressar.

Заключение

Система Xpressar безусловно является новым словом в компьютерной индустрии. Как у всех новинок, у нее есть свои плюсы и минусы. Главное преимущество системы заключается в высокоэффективном охлаждении, которое не могут обеспечить привычные вентиляторы, кулеры и даже жидкостные системы охлаждения для ПК. Основной недостаток - такие системы пока не актуальны для рядовых пользователей. Кулеры с активным охлаждением успешно решают проблему охлаждения любых современных систем, а стоят на порядок дешевле, занимают меньше места, их легче чинить и менять. Кроме того, система Xpressar подходит для весьма ограниченного числа плат и процессорных гнезд, что также снижает ее шансы оказаться в ПК обычного пользователя. Эта проблема возникает из-за того, что конструкция лишена какой­либо мобильности вследствие наличия в ней металлических трубок и конструкций. На наш взгляд, если система станет гибкой, то есть появится возможность подвода охлаждающей площадки в любое место системной платы, то такие решения действительно могут обрести популярность. Кроме того, подобным образом можно будет охлаждать и другие компоненты, а именно графические платы.

Возникнет ли потребность в таких системах в будущем - сказать сложно, поскольку технологии совершенствуются чересчур быстро и строить какие­либо прогнозы в данной сфере довольно тяжело. Сейчас же к Xpressar проявят интерес прежде всего оверклокеры и компьютерные энтузиасты, которые экспериментируют с экстремальными режимами работы системы. Для них решение компании Thermaltake действительно может стать панацеей, поскольку, в отличие от сложных установок на базе жидкого азота, Xpressar не требует лабораторных условий и открытых стендов. Кроме того, по слухам, компания Thermaltake продолжает разработку данной серии и в будущем может появиться более мобильное решение, которое, как сегодня СЖО (системы жидкостного охлаждения), будет занимать несколько 5-дюймовых слотов.

Если говорить о готовом решении на базе корпуса Xaser VI, то производитель выбрал очень удачную оболочку для новой системы охлаждения. Данный корпус очень удобен и позволит построить систему по любым запросам. Единственным его минусом являются большие габариты - не каждый пользователь готов поставить подобный корпус дома. Как бы то ни было, мы считаем, что стремление Thermaltake найти что­то новое, взглянуть на проблему охлаждения иначе более чем похвально и рано или поздно принесет плоды.

Комплексное экстремальное охлаждение процессора и видеокарты
Процессор и видеокарту было решено охлаждать с помощью «фреонок», но места в корпусе оказалось не так много, чтобы разместить 2 системы, поэтому пришлось задуматься о системе на одном компрессоре с двумя испарителями. О том, что у меня получилось, вы можете прочитать в этой статье.
Теория фреонового охлаждения

Так как информации о фреоновом охлаждении в русскоязычном Интернете не очень много, то я кратко опишу основные понятия и принципы работы. Сразу замечу, что я не профессионал, никакого специального образования в данной области не имею и, всё чему научился — из форумов и статей. Поэтому кое в чём могу ошибаться. Итак, приступим!

Основными компонентами простейшей системы фреонового охлаждения являются: компрессор, испаритель, конденсер, фильтр, капиллярная трубка. Также необязательным компонентом может быть глазок, ну и хладагент (рефрижерант, фреон). Все части образуют замкнутый контур, по которому движется фреон.

Капиллярная трубка разделяет контур на две области — область высокого давления и область низкого давления. Компрессор перекачивает газообразный фреон на сторону конденсера, создавая в этой области высокое давление. При высоком давлении фреон начинает отдавать тепло и переходить в жидкое состояние. Жидкий фреон проходит через фильтр/драер. Дальше по капиллярной трубке фреон попадает в испаритель, в зону низкого давления. При этом фреон начинает активно испарятся, забирая тепло из окружающей среды. Компрессор прокачивает этот испарившийся фреон на сторону конденсера и цикл повторяется.

Компоненты системы

Компрессор
От выбора компрессора будет зависеть производительность системы, поэтому нужно знать хотя бы некоторые характеристики герметических компрессоров.

  • Мощность (л.с.). Подходят компрессоры от 1/8 до 1 л.с. Если неизвестна мощность в л.с., то желательно найти производительность в ваттах.
  • Температурный режим. Компрессоры делятся на высокотемпературные (HBP-High Back Pressure), средне- (MBP-Medium Back Pressure) и низкотемпературные (LBP-Low Back Pressure). Иными словами, рассчитаны на работу в системе, которая обеспечивает определённую температуру. Так как в данном случае необходимо достичь минимальной температуры, то больше всего подходят низкотемпературные компрессоры.
  • Тип хладагента. Компрессоры изготовляются с расчётом на определённый тип фреона — разныё типы требуют разного давления. В зависимости от типа фреона в компрессорах используется разное масло.

Конденсер
Конденсер — это тот же радиатор, изготовленный с расчётом на более высокие давления. Так как для данной системы важен размер, то конденсер должен быть как можно меньше и при этом обдуваться вентилятором.

Фильтр/драер

Как следует из названия, драер фильтрует входящую жидкость от влаги, частиц и пыли, предотвращая забивание капиллярной трубки и выхода из строя компрессора.

Испаритель

Испаритель — это обычно медный блок с испаряющимся фреоном. Испаритель крепится к процессору и забирает от него тепло. Конструкция испарителя имеет много общего с тем же водоблоком — нужно попытаться достичь максимального внутреннего объема и испарения фреона прямо над ядром процессора.

Xладагент

Все охладители идентифицируются буквой R (refrigerant) и порядковым номером. Основное различие между хладагентами состоит в температуре перехода из жидкого состояния в газ.
Вот только некоторые, подходящие для использования в данном случае — R134а, R22, R12, R404а, R507. Также следует учитывать цену — некоторые низкотемпературные хладагенты достаточно дорогие для экспериментов.
У меня был выбор между хладагентами R134а и R290. Я остановился на R290 из-за более низкой температуры кипения.

Капиллярная трубка

Капиллярная трубка не единственное устройство, обеспечивающее разделение системы на две области (работоспособность системы), но она является наиболее надёжным типом трубок. С одной стороны лучше найти капиллярную трубку малого внутреннего диаметра (потребуется меньшая длина), но при этом увеличиваются шансы забивания ее частицами. Чтобы предотвратить это нужно обязательно ставить фильтр перед капилляром. Я использую трубку с внутренним диаметром 0.7мм.

Инструмент

Для сборки фреонки кроме обычного инструмента понадобится:

  • пропановый паяльник, а лучше ацетиленовый или с IMAPP GAS;
  • обычный припой, оловянный не подходит. Лучше найти с 15% (или более) содержанием серебра;
  • манометры — один из обязательных аксессуаров при настройке системы, так как необходимо следить за давлением на обеих сторонах контура;
  • инструмент для резки и изгиба медных трубок;
  • вакуумный насос — если нет специального насоса (они обычно достаточно дорогие) можно использовать другой компрессор для создания вакуума в системе;
  • теплоизолирующий материал — пенорезина и пенорукава для того чтобы не допустить выпадение конденсата.
  • течеискатель — желательно, если вы хотите собрать герметичную систему с первой-второй попытки, а не с десятой (прим. LaikrodiZ)
Сборка

В данной системе я использовал такие компоненты:

  • компрессор Embraco EMI100hlc мощностью 1 л.с.
  • конденсер — перепаянный из автомобильного
  • фильтр
  • испарители — так как у меня нет возможности сделать испаритель самому, то пришлось покупать. Выбор был не большой — Baker’s CPU evaporator и Baker’s GPU Evaporator.
  • всасывающая трубка — можно использовать и медную, но желательно, чтобы она была гибкая. Поэтому я купил трубки из нержавеющей стали, которые используются для подключения газовых плит. (Трубка должна держать давление как минимум 10 атмосфер и оставаться гибкой при температурах около -50 по цельсию! Уточните перед покупкой так как не все газовые шланги держат такие давления и температуры — прим. LaikrodiZ)

Вот как выглядит эта часть контура вместе (в самом конце работы над проектом я немного изменил разделитель):



И наконец, капиллярная трубка и кое-что из необходимого инструмента:

Корпус я взял, серверный Yeong Yang Cube Server Case YY-0221. Для отвода тепла от конденсера сначала пришлось сделать жалюзи в верхней крышке:

Затем все компоненты крепятся внутри и паяется контур:

После пайки систему нужно проверить на герметичность, вакуум и высокое давление.

Изоляция и крепления

Трубки изолировались специальным поролоном, испарители я поместил в пластмассовые корпуса (части пластиковых бутылок) и залил монтажной пеной.

Система контроля

После готовности контура, пришло время подумать о системе контроля «фреонки». Я не смог найти контроллер подобный тому, что используется в Prometeia, поэтому все пришлось собирать по частям.

Для того чтобы включать компьютер и фреонку вместе, я купил такой Relay Switch. В инструкции он описывался как устройство для запуска насоса водянок:

Но, конечно, запускать компьютер при разогнанной системе пока температура на испарителях не упадёт — не очень хорошая идея, поэтому была куплена ещё одна схема — CPU Delay Timer Kit.

Он позволяет задержать загрузку компьютера (при этом вентиляторы в системе работают). Время перед загрузкой выставляется от 1 секунды до 1часа.

Для вывода информации о состоянии системы используется LCD-дисплей Matrix Orbital LK204-24-USB. Из основных характеристик стоит выделить:

  • USB интерфейс;
  • подключение до 6 температурных датчиков;
  • подключение до 6 вентиляторов (PWM Mode);
  • возможность подключать LED’s, неонки и другие подобные устройства;
  • всё контролируется программно, я использовал программу LCDC.

Вот как выглядит собранная система:



Два датчика температуры закреплены на испарителях

Тестирование и разгон

Конфигурация:

  • AthlonXP 2500+ “Barton”
  • Abit NF-7 Rev 2.0
  • Geil Golden Dragon 2x256Mb PC3500 DDR
  • Radeon 9700 PRO

Сначала я протестировал систему без нагрузки. Результат: температура на обоих испарителях опустилась до -51С. Без разгона температура держалась на уровне -43С для видео и -44С для ЦПУ:

Максимальная частота, на которой система работает стабильно (проходит все тесты):

Процессор: 2630MHz (219x12)@2.1V
Видеокарта: 400/680 (core/memory), без вольтмодов

При этом температура на испарителях держится -35-36С без нагрузки и опускается до -34С при загрузке системы. Подсокетный датчик показывает температуру на процессоре +11С, которая при нагрузке поднимается до +16С.

Выводы

Данная система имеет свои плюсы и минусы.

Сначала о недостатках:

  • производительность фреонки с двумя испарителями ниже, чем при использовании двух отдельных контуров;
  • в корпусе осталось очень мало свободного места (один 5.25" отсек и возможность разместить не больше двух HDD);
  • испаритель видеокарты закрывает несколько PCI слотов, свободными остаются всего 2, в остальных можно использовать только низкопрофильные карты.

Плюсы:

  • комплексное экстремальное охлаждение процессора и видеокарты с возможностью работы в режиме 24/7;
  • низкий шум при работе системы;
  • эстетичность;
  • полный контроль состояния системы;
  • наибольшим плюсом является компактность (all-in-one дизайн), ради этого и затевался данный проект.

Надеюсь, данный материал поможет тем, кто интересуется «фреонками» начать свои собственные проекты.


Дополнительно

24.08.2016, СР, 14:42, Мск

От правильного выбора системы охлаждения ЦОДа напрямую зависит его ключевая характеристика – надежность. Существует несколько способов отвода тепла из дата-центра, но мы рассмотрим только два наиболее распространенных из них – это «фреоновые кондиционеры» (с воздушным охлаждением) и «водяные кондиционеры» (получающие холод от чиллеров). Итак, «фреон» или «вода»?

Как и любая сложная техническая область, тема теплоотвода в ЦОДах обросла большим количеством мифов и предубеждений.

Первая группа мифов говорит о том, что «вода представляет опасность для ИТ-оборудования».

Миф 1: водяное охлаждение – это когда вода внутри сервера

Это не совсем верно: существуют серверные платформы с прямым охлаждением при помощи воды, но это пока экзотика. Наиболее распространенный способ отвода тепла от ИТ-оборудования – при помощи принудительно прогоняемого через его радиаторы воздуха. Описанные выше способы отвода тепла описывают процесс на уровне ЦОДа в целом, а не на уровне единиц ИТ-оборудования.

Миф 2: вода в серверном помещении – это недопустимый риск

Существует множество технических решений по недопущению попадания воды в ИТ-оборудование при протечке. Для этого надо проработать возможные сценарии аварий и принять соответствующие проектные решения.

Вторая группа мифов: водяная система очень дорогая и сложная в эксплуатации, а фреоновая привычнее и эффективнее.

Миф 3: водяная система – это слишком сложно и дорого

Необходимо рассматривать конкретные случаи. Возможна ситуация, когда наоборот – фреоновая система будет слишком сложной и дорогой, особенно если рассматривать не только строительство ЦОД, но и его обслуживание.

Миф 4: водяное охлаждение – это для больших ЦОДов

Да, у вас может быть обычная серверная комната на 20 стоек. Но необходимо произвести оценку, ведь может оказаться, что для этой серверной потребуются 20 отдельных фреоновых кондиционеров, поэтому водяная система будет выгоднее при эксплуатации.

Третья группа мифов порождена незнанием устройства систем охлаждения.

Миф 5: водяная система питается от магистрали водоснабжения

Нет, водяные системы питаются от чиллера специально подготовленной очищенной охлажденной водой или водно-гликолевой смесью с добавлением ингибиторов коррозии.

Миф 6: можно использовать бытовой фреоновый кондиционер

Идея «дуть на оборудование холодом» от бытового кондиционера – следствие неправильного понимания задачи. Необходимо не просто подавать охлажденный воздух на оборудование, а отводить избыточное тепло, чтобы обеспечить соответствующие температурные условия эксплуатации. При этом охлажденный воздух выступает всего лишь в роли теплоносителя для перемещения определенного количества теплоты из помещения ЦОДа на улицу. Как известно из школьного курса физики, количество теплоты равняется удельной теплоемкости, помноженной на массу вещества и на разницу температур до нагрева и после нагрева. Если масса вещества (объем подаваемого из кондиционера воздуха) будет значительно меньше необходимого, то не спасет даже понижение температуры воздуха. Бытовые кондиционеры имеют в несколько раз меньшую производительность подачи воздуха, чем прецизионные. К этому можно добавить, что часть их мощности тратится на осушение воздуха (для создания комфортных условий для человека) и что они имеют малый ресурс (не предназначены для постоянной работы круглые сутки во все времена года).

Нам, людям третьего тысячелетия, ни к чему прозябать среди мифов и заблуждений. Мы можем оценить ситуацию в свете знаний. Ограничимся основными свойствами обоих вариантов, и рассмотрим их более внимательно.

Преимущества фреоновых систем

Относительная простота системы

По сути, фреоновый кондиционер, как и домашняя сплит-система, состоит из двух половинок: собственно кондиционера, устанавливаемого в охлаждаемом помещении, и внешнего блока, который размещается на улице. Обычно в самом кондиционере расположены вентиляторы, охлаждающий воздух теплообменник (испаритель), компрессор и управляющая электроника. Дополнительно в кондиционере могут быть пароувлажнитель, поднимающий влажность воздуха до требуемой, воздушные фильтры, и т. д. Внешний блок прецизионного кондиционера устроен совсем просто: только теплообменник, отдающий тепло в окружающий его воздух, вентилятор, и автоматика, этим вентилятором управляющая.

Соединяются кондиционер и его внешний блок парой медных трубок небольшого диаметра (обычно 15-20 миллиметров, редко больше), которые могут быть проложены даже в стесненных условиях.

Длительность монтажа одного кондиционера обычно не превышает двух-трех дней. Вне зависимости от мощности кондиционера принцип его действия не изменяется: и маленький потолочный аппарат на 7 кВт, и огромная 200-киловаттная машина устроены, в принципе, одинаково.

Полная независимость кондиционеров друг от друга

Если нужны несколько кондиционеров, они устанавливаются как независимые друг от друга агрегаты. Каждому кондиционеру – свой внешний блок с отдельными трубопроводами. Из этого свойства вытекают следующие дополнительные преимущества. Первое – высокая надежность резервированной системы: у нескольких кондиционеров, работающих в одном помещении, нет общих узлов и блоков, они полностью независимы, и, значит, нет единой точки отказа. Выход из строя одного кондиционера никак не влияет на работу остальных. Второе преимущество – простота расширения системы: во многих случаях для увеличения производительности системы в целом можно просто установить в этом же помещении еще один кондиционер.

Меньше начальные капитальные вложения

Как справедливый итог вышеперечисленных (и многих других) объективных свойств, фреоновая система оказывается и в закупке, и в монтаже, и в пуско-наладочных работах значительно (иногда – в два-три раза) дешевле, чем водяная с аналогичной производительностью. Простота прокладки медных труб и установки внешнего блока, полная независимость кондиционеров друг от друга и несложная процедура пусконаладки позволяют разворачивать системы охлаждения достаточно оперативно и сравнительно недорого.

Недостатки фреоновых систем

Сравнительно малая допустимая энергетическая плотность ЦОД

К сожалению, «удельная мощность одного кондиционера» получается не очень большой. Особенно, если рассматривать самый эффективный и популярный в настоящее время конструктив: компактные внутрирядные кондиционеры, устанавливаемые в рядах с серверными шкафами. Мощность в 15-20 кВт для корпуса шириной 600 мм (размером как обычный серверный шкаф) и не более 10-12 кВт для компактного 300-миллиметрового корпуса – практически предел для фреоновых машин. Есть отдельные экземпляры, мощность которых немного выше «средней по рынку», но это достигается уплотнением внутренней компоновки, как следствие – снижением ремонтопригодности аппарата.

В итоге высокая мощность системы может быть достигнута только установкой большого количества кондиционеров: каждый со своим внешним блоком, со своими трубопроводами… В следствие этого использование фреоновых кондиционеров в ЦОД средней плотности, с удельной нагрузкой на стойку от 7 до 10 кВт, представляется затруднительным, а при удельной нагрузке в 15 кВт и более – почти невозможным.

Каждому внутреннему блоку должен соответствовать отдельный внешний блок

Классический случай, когда достоинство оборачивается недостатком, переходя из количества в новое, но уже негативное, качество. Попробуйте представить, как будет выглядеть фасад вашего здания, если на нем повесить десять-пятнадцать внешних блоков (размер каждого, например, полтора на два метра). А шахта с тремя десятками труб? Комментарии к этой картине, пожалуй, излишни. Попытками «оптимизации» можно только усугубить проблему: существуют довольно жесткие ограничения по расстоянию от кондиционера до его внешнего блока. Типичное ограничение по длине трубок составляет 30-40 метров, редко больше, причем считается не настоящая длина, а «эквивалентная»: с учетом всех изгибов и поворотов. Поэтому равномерно распределить внешние блоки по большой площади не получится: они все равно будут создавать «толпу» около машинного зала ЦОДа.

Малая гибкость системы

В варианте охлаждения с подачей воздуха через фальшпол мощность одного кондиционера может достигать величин в 200 и более кВт, это уже довольно крупный агрегат, размером в несколько метров и весом в пару-тройку тонн. С мощностью порядок, но как ее регулировать? У фреоновой холодильной машины есть такой параметр, как минимальная нагрузка: если 100-киловаттный кондиционер заставить удалять из ЦОД всего 5 кВт тепла, то он просто не справится с этой задачей. Слишком маленькая тепловая нагрузка не сможет испарять то количество фреона, которое достаточно для нормальной работы цикла работы холодильной машины. Производители идут на разные ухищрения, чтобы побороть эту проблему, например, оснащают кондиционеры встроенными нагревателями, которые «донагружают» кондиционер дополнительным теплом. Получается абсурдная ситуация: чтобы охладить воздух – надо сначала нагреть воздух, потратив электричество не только на охлаждение, но и на нагрев. Что подводит нас к следующему недостатку фреоновых систем.

Низкая энергоэффективность

Грубо говоря – КПД любого кондиционера составляет 200 и более процентов: для того чтобы «сдуть» с оборудования, например, 100 кВт тепла, кондиционер потребляет от сети не более 50 кВт электричества, а зачастую и еще меньше. Однако на практике все не так хорошо: с учетом проблем регулирования мощности и некоторых «накладных расходов» на охлаждение оборудования фреоновыми кондиционерами вы потратите почти столько же электроэнергии, сколько потребляет само охлаждаемое оборудование. Но, как говорят в «магазине на диване», и это еще не все. Если мы попробуем построить график потребляемого тока во времени, то мы увидим, что электричество потребляется непостоянно, и неравномерно. На графике будут периоды времени, когда потребление мало (в эти моменты времени работают только вентиляторы, а фреоновый компрессор простаивает). Также на графике мы увидим периоды с «нормальным» энергопотреблением (работают и вентиляторы, и компрессор).

Кроме того, на графике будут кратковременные, но очень неприятные моменты с резкими и значительными бросками потребляемого тока. Это моменты включения компрессора после простоя, и броски эти называются «пусковой ток». Величина пускового тока обычно очень ощутима, и превышает номинальное значение в 10-15 раз. Это означает, что все составляющие в системе электропитания кондиционера должны выдерживать кратковременную, но значительную перегрузку. Например, если кондиционер питается от источника бесперебойного питания – этот ИБП должен выдержать перегрузку в 1000% в течение 5-15 секунд. Таких ИБП, к сожалению, не бывает, и для обеспечения работоспособности всей системы приходится использовать заведомо более мощный (переразмеренный) ИБП, который стоит «переразмеренных» денег. То есть фреоновая система предъявляет особые требования к смежной системе, значительно удорожая ее.

Отсутствие фрикулинга

Кроме того, что фреоновый кондиционер потребляет много электроэнергии – следует отметить тот факт, что он потребляет ее постоянно. Круглый год. А если на улице зима и кругом полным-полно «бесплатного» холодного воздуха – фреоновый кондиционер может потреблять еще больше электричества, потому что он вынужден подогревать свой внешний блок, «чтобы не замерз». Увы, нет никаких возможностей для экономии за счет природы.

Сложности ремонта

И о ремонте. Если из трубы капает вода, то труба обычно мокрая, а под трубой лужа. Это очень упрощает поиск места протечки: где лужа – там и течет. Фреон же течет только при давлении в десятки атмосфер, поэтому при малейшем повреждении трубы он просто незримо улетучивается. Поиск места протечки – занятие нетривиальное и занимает много времени. Для восстановления работы системы во многих случаях требуются остановка кондиционера, удаление хладагента и полная перезаправка после ремонта.

Преимущества водяных систем

Рассмотрев фреоновые кондиционеры, обратим свой взгляд на более сложный и дорогой вариант: водяную систему. Здесь уже трудно говорить об отдельных кондиционерах (представить себе одинокий водяной кондиционер можно, но сложно), будем рассматривать систему из нескольких аппаратов, работающих сообща. Начнем опять с преимуществ.

Фрикулинг и энергоэффективность

Основная причина существования водяных кондиционеров в ЦОДе – это, конечно же, высокая экономическая эффективность, обусловленная как высокой эффективностью системы в целом, так и возможностью «бесплатного» использования «уличного холода» в течение нескольких месяцев в году. В условиях средней полосы России даже типовая система с водяными кондиционерами, работающая в «обычном» температурном режиме и не «заточенная» специально под высокую энергоэффективность, позволяет «бесплатно» охлаждать ИТ-оборудование в течение 4-5 месяцев (когда температура воздуха на улице отрицательная). С применением некоторых технологических хитростей период работы фрикулинга можно увеличить до 7-8 месяцев. Потребление электроэнергии системой кондиционирования в режиме фрикулинга крайне невелико. Например, 100-киловаттная система будет потреблять около 1 кВт на насосы, перекачивающие теплоноситель, приблизительно 3 кВт на вентиляторы, обдувающие теплообменник на улице, и около 12 кВт съедят вентиляторы в кондиционерах. Итого, «условный КПД» составляет приблизительно 600%, а не 200, как у фреоновых систем.

Большая допустимая энергетическая плотность ЦОДа

В отличие от фреонового кондиционера, водяной устроен очень просто: у него внутри нет ни компрессора, ни сложной системы регулирования давления рабочего вещества, ни множества трубок и клапанов… По сути своей, водяной кондиционер – это просто теплообменник с вентиляторами, прокачивающими через него воздух. Освободившееся от сложной начинки место не пропадает даром: его занимает теплообменник, который заметно больше, чем во фреоновом аппарате. А чем больше теплообменник, тем мощнее кондиционер, при прочих равных. То есть в том же размере. Современный внутрирядный водяной кондиционер мощностью 60 кВт может быть собран в корпусе размером в половину серверного шкафа: шириной 300 мм. Благодаря такой компактности и высокой «удельной мощности» водяные кондиционеры позволяют строить «энергетически высокоплотные» ЦОДы с удельной нагрузкой на серверный шкаф в 15-20 кВт и выше, не занимая кондиционерами места больше, чем ИТ-оборудованием.

Возможность выбора

Вспомним, что является источником холода для водяного кондиционера: очень обобщенно говоря – это «труба с холодной водой» (кстати, хоть мы и говорим «вода», в нашем климате под этим словом обычно подразумевается незамерзающая смесь, антифриз). Если система построена правильно, от потребления воды одним аппаратом работа всех остальных кондиционеров никак не зависит. Следствием этого является принципиальная возможность организовать систему таким образом, чтобы «на одной трубе сидели» и мощные кондиционеры для машинного зала ЦОД, и менее производительные кондиционеры для зоны ИБП, и совсем небольшие аппараты для вспомогательных помещений – таких, как электрощитовая, коммутационная, и т. п.

Небольшое количество «внешних блоков»

А откуда в этой трубе, собственно, появляется холодная вода? Воду охлаждает холодильная машина, «чиллер». По принципу действия чиллер очень похож на фреоновый кондиционер, только охлаждает он не воздух, а жидкий теплоноситель. А сколько должно быть в системе чиллеров? Сколько угодно, начиная от одного. Да-да, если мощность холодильной машины достаточна для работы всех кондиционеров, то машина может быть всего одна на любое число кондиционеров. Правда, обычно чиллеров все-таки несколько. Это делается для повышения гибкости, надежности и обеспечения поэтапного развития системы. Но два, три, пять чиллеров – это не десяток, два, или более внешних блоков. ЦОД не похож на елку, увешанную игрушками – и это хорошо.

Нет ограничений по удалению чиллеров от кондиционеров

Одна из проблем фреонового кондиционера – это небольшое расстояние от кондиционера до его внешнего блока. А как далеко можно установить чиллер? Все определяется только производительностью насоса, перекачивающего теплоноситель, и «потерями холода» (нагревом воды «по дороге» от чиллера к кондиционерам) из-за неидеальной теплоизоляции. Но это преодолеваемые сложности, поэтому вполне возможна установка холодильных машин на кровле многоэтажного здания, в дальнем углу территории, и в любом другом удобном месте. Встречаются здания, в которых фреоновые кондиционеры установить в принципе нельзя, а водяные системы в таких условиях вполне работоспособны.

Простое обнаружение протечек и оперативный ремонт магистралей

Как можно обнаружить, что вода уходит из трубы? По падению давления в системе. А как найти место утечки? Визуально! В большинстве случаев не нужны приборы – течеискатели, нет необходимости отключать систему и проводить длительный поиск места утечки. Более того, при наличии оборудования аварийной подпитки водяная система кондиционирования при незначительных утечках может функционировать достаточно долго, чтобы ремонт из экстренного превратился в плановый. Методика ремонта, кстати, зависит от выбранного материала трубопроводов, и в некоторых случаях он возможен без отключения системы. А если предусмотреть резервные трубопроводы, то никакая протечка не станет губительной и не приведет к остановке ЦОДа. Да, в чиллере есть фреон, и он тоже может улетучиться. Но чиллер является комплектным устройством, которое приходит с завода заправленным фреоном и маслом, поэтому вероятность утечки не очень велика.

Недостатки водяных систем

Конечно же, ничего нельзя получить бесплатно. Даже если не упоминать такой недостаток водяной системы, как значительные капитальные затраты на первоначальном этапе (увы, стоимость оборудования и монтажных работ могут превышать аналогичные показатели для фреоновых систем в два и более раза), есть и другие проблемы. О которых конечно, нельзя не упомянуть.

Наличие воды в машинном зале ЦОД

На самом деле – вода в том или ином количестве присутствует в любом ЦОДе. Это и дренаж конденсата из кондиционеров, и отопление в смежных помещениях, есть также риск протечки крыши или водопровода, и т. д. Но в системе кондиционирования вода находится под давлением, которое хоть и невелико (обычно 2-3 атмосферы), но все-таки увеличивает риск протечки и ускоряет вытекание воды через поврежденный трубопровод. В ЦОДе с водяным кондиционированием обязательно нужно предусматривать дренаж воды из-под фальшпола и принимать усиленные меры по гидроизоляции перекрытий и даже стен.

Проблемы с работой на малой нагрузке

Чиллер является фреоновой холодильной машиной, и он, к сожалению, не избавлен от такого недостатка, как неспособность работать со слишком низкой нагрузкой. А поскольку чиллеры обычно довольно мощные – величина минимально допустимой тепловой нагрузки может быть весьма значительной. Поэтому новый ЦОД придется сразу нагружать хотя бы на 30% от мощности единичного чиллера… или запускать в работу осенью: в режиме фрикулинга проблем с минимальной мощностью нет.

Место для установки чиллеров

Обратной стороной малого числа чиллеров и их высокой мощности являются размер и вес. Фреоновый компрессор и вся его обвязка находятся не в кондиционере, а в чиллере, теплообменник для фрикулинга тоже частенько интегрирован в общий конструктив, в итоге даже 50-киловаттный агрегат весит почти полторы тонны. На стену такой агрегат не повесить – нужна площадка на земле либо на крыше. На условный 100-киловаттный ЦОД таких чиллеров нужно три (третий – резервный), в итоге площадка будет размером как автостоянка на три машины и нагружена она будет тоже «на три машины» - почти на пять тонн.

Расширение ассортимента эксплуатируемого оборудования

Ну и, конечно, гидравлика. Насосы, теплообменники, запорная арматура – все это приведет к тому, что в штате ЦОД кроме электрика, дизелиста, и холодильщика придется завести еще и сантеника-гидравлика. Кстати, все трубы придется делать сразу, и на полную мощность, каким бы ни был первый пусковой комплекс.

Как выбирать

Что же в итоге выбрать, «воду» или «фреон»? Поскольку это инженерная задача, ее следует решать, учитывая все параметры строящегося объекта. Вот экспертное мнение: для каждого из реальных случаев существует оптимальное решение, и нет единого рецепта для всех, поэтому выбору архитектуры системы охлаждения необходимо уделять особое внимание, проводя вариантную проработку с обязательным привлечением специалистов. Предварительную оценку «за» и «против» можно сделать при помощи таблицы, приведенной в таблице.

Чеклист для определения вектора выбора технологии

Условия Ответ
Расчетная энергетическая плотность ниже чем 10 кВт на каждый ИТ-шкаф. Да / нет
Количество ИТ-шкафов в серверной или ЦОДе не превышает 10 шт. Да / нет
На расстоянии не более 25 м (по трассе) и на уровне ЦОДа (серверной), есть место для размещения внешних блоков (конденсаторов) кондиционеров. Да / нет
Нет режима жесткой экономии электроэнергии. Да / нет
В помещении машинного зала отсутствует возможность монтажа фальшпола. Да / нет
Тепловая нагрузка в первые месяцы эксплуатации ЦОД будет менее 10% от полной мощности. Да / нет
Существуют проблемы с правильной эксплуатацией систем отопления и водоснабжения. Да / нет
Легче купить мощный ИБП, чем усложнять систему охлаждения? Да / нет
Фрагментарное отключение системы кондиционирования не повлияет на работу основных систем ЦОД. Да / нет
Нет четкого понимания, какими темпами будет развиваться ЦОД и как долго он будет эксплуатироваться до первого расширения? Да / нет
Стоит задача уменьшения капиталовложений именно на первом этапе? Да / нет

Если ответов «да» получилось значительно больше, чем «нет», то вашему ЦОД вполне подойдет фреоновая система. Если ответов «нет» получилось больше, чем «да», рекомендуем присмотреться к водяной системе. Однако точный рецепт все-таки подскажет специалист, когда увидит ваш ЦОД «вживую», его помощью ни в коем случае пренебрегать не стоит.

Олег Сорокин,
эксперт по направлению ЦОД компании ICL-КПО ВС



В продолжение темы:
Windows

Часть вторая : "Важнейшие характеристики каждого семейства процессоров Intel Core i3/i5/i7. Какие из этих чипов представляют особый интерес" Введение Сначала мы приведём...

Новые статьи
/
Популярные