Эфирный майнинг: как построить свой дата-центр

Тема в разделе "Общий раздел", создана пользователем Сашка Суралмашка, 24 июн 2016.

  1. Сашка Суралмашка

    Сашка Суралмашка Младший генерал

    Меня везут в здание бывшей фабрики на окраине Таллина. К счастью, не в багажнике, но адрес пункта назначения попросили не разглашать и сооружение снаружи не фотографировать — чтобы интересующиеся по фотографиям не смогли определить, где находится новая майнинговая ферма HashFlare. Как ни удивительно, но желающих это узнать почему-то немало.

    Изображение не найденоhttps://habrastorage.org/files/6b1/6b1/307/6b16b1307bee4ad191d2fd47bf1af0c8.jpg

    Вряд ли есть на свете люди, которые, проснувшись, решают: а не построить ли мне сегодня личный дата-центр. Обычно к таким решениям приводит цепочка событий и условий, которые и приводят к такому решению.
    HashFlare к этому привело целое сочетание факторов, а началось всё с ажиотажа вокруг новой криптовалюты Ethereum, которая всего за год с небольшим взлетела до капитализации почти в миллиард долларов. Разумеется, клиенты HashFlare захотели получить возможность майнинга новой крипты.

    Майнить «Эфириум» лучшего всего на видеокартах. Почему майнинг на видоекартах быстрее майнинга на процессорахнаписано уже немало, а особенности некоторых криптовалют делают это и вовсе безнадёжным занятием — скажем, когда валюта использует несколько алгоритмов шифрования, и они идут в определённой последовательности, то при изменении алгоритма, ASIC перестанет работать. Тот же «Этереум» из-за его хитрого алгоритма пока нельзя майнить с помощью ASIC. На GPU же можно добывать любую валюту.

    Однако видеокарты не получится просто поставить в стойки в дата-центре. Их главная проблема — охлаждение. Корпуса современных серверов чётко заточены под максимально эффективное охлаждение: с одной стороны — забор воздуха, с другой — отдача. Даже ASIC-майнеры давно выпускаются в стандартных корпусах, пригодных для размещения в серверных шкафах в дата-центре. Создатели же видеокарт об этом совершенно не заботятся, потому что не были готовы к тому, что кому-то придёт в голову разворачивать целые фермы на их основе. В стойку их не поставить, потому что все видеокарты смотрят в разные стороны, зато если что-то пойдёт не так (бывает, летят вентиляторы и т.д.) — можно просто выключить и убрать поломанное звено.

    Изображение не найденоhttps://habrastorage.org/files/5d9/4f5/def/5d94f5def2d44b02907feaa0e60b8de5.jpg
    В такие моменты начинаешь ценить ремонтопригодность

    Можно, конечно, конечно, установить видеокарты в компьютерные корпуса, но это увеличит их цену и осложнит удобство ремонта и замены. Это решение для 1-2 видеокарт, поэтому промышленного интереса не представляет. К тому же админы дата-центров не обучены и не горят желание с ними работать.

    Итак: требуется майнинговая ферма на видеокартах, которую нельзя развернуть в обычном дата-центре. Решение этой проблемы вы уже знаете: построить её самим. О том, как это делается, и пойдёт дальше речь.

    В начале марта HashFlare анонсировал запуск майнинга эфирок, и начал собирать предзаказы, на средства от которых и собрали первую ферму для майнинга Etehereum на видеокартах, которая была запущена в начале апреля.

    Для обустройства фермы компания арендовала помещение на территории бывшей советской фабрики на окраине эстонской столицы. Пустынное и прохладное здание резко теплеет по мере приближения к помещению, где творится магия майнинга. Внутри настолько жарко, что админы в майках и шортах не выглядят убедительно — хочется снять с себя не только одежду, но и кожу.

    Охлаждение оказывается краеугольным камнем собственного дата-центра: прямо сейчас HashFlare переделывает вентиляционные возможности своего помещения под свои нужды.

    Изображение не найденоhttps://habrastorage.org/files/d12/f3d/d5a/d12f3dd5ab3444b6b9ebf87a4ac3f416.jpg
    Стандартный воздуховод и близко не справляется с потребностями майнерской фермы

    Если вы когда-нибудь задумаете продать душу дьяволу за работу в жарком климате, обязательно уточните, что это должен быть Таиланд, а не майнинговая ферма, не то рискуете обнаружить себя в шлёпках и шортах посреди Эстонии:

    Изображение не найденоhttps://habrastorage.org/files/0cd/57d/bc5/0cd57dbc5b604674a536db985fd546ee.jpg
    На работу как на пляж

    Инженеры подсчитали, что для поддержки температуры железа, потребляющего 100 КВт/ч хотя бы на уровне +35° при расчётной уличной температуре в +25°С потребуется воздухообмен 35 000 м?/час. Это означает, что для забора свежего воздуха необходимо отверстие минимум в 5 м?, а для выброса — два воздуховода по 630 мм с вентиляторами.

    Изображение не найденоhttps://habrastorage.org/files/b1e/e12/40a/b1ee1240aa4c443e91c5d789df08a273.jpg
    Пока вентиляция переделывается, не помешает никакая помощь

    На этом фоне организация самой фермы выглядит не сложнее сборки Lego: на обычных металлических стеллажах расположились материнские платы Asrock H81 Pro BTC, видеокарты AMD R9 380, R9 380x (Sapphire/MSI), PCI-E райзеры, которые нужны, чтобы к ограниченному количеству разъёмов для GPU на стандартной материнской плате подключить сразу несколько видеокарт, и блоки питания EVGA SuperNOVA 1300 G2 1300W.

    Изображение не найденоhttps://habrastorage.org/files/fed/fb2/bde/fedfb2bde2584fd7b4ac8e1e0a7369f5.jpg

    Изображение не найденоhttps://habrastorage.org/files/5f5/e12/dd2/5f5e12dd2f254d8293a53c185f37ed68.jpg

    Спрос на майнинг Этериума растёт, поэтому только в Таллине HashFlare готовится заселять второе такое же помещение по соседству: пока там только пустые стеллажи с десятками подключённых розеток, но скоро всё изменится.

    Изображение не найденоhttps://habrastorage.org/files/54a/2c2/884/54a2c288429c4af78953d4c8ac4ba7bd.jpg

    Ещё один дата-центр на 50 ГХ скоро откроется на одной из эстонских гидроэлектростанций. На какой — тоже тайна, но дата-центр на ГЭС — это звучит круто.

    Изображение не найденоhttps://habrastorage.org/files/19b/891/d85/19b891d858224755a988047dfa614bf7.jpg
    Возможно, эта ГЭС выглядит как-то так. Но скорее всего нет, потому что на фото даже не Эстония

    Безопасность

    Строя свой дата-центр, вслед за оборудованием и охлаждением вам нужно будет подумать о безопасности. Информация — это деньги, а в данном случае информация и есть деньги. Пусть и виртуальные.

    Разумеется, ферма со всех сторон просматривается камерами:

    Изображение не найденоhttps://habrastorage.org/files/e0c/024/5a5/e0c0245a525a4f9ba9db61c3d8e8dd1c.jpg

    Причём смотреть, что на ней происходит, онлайн можно даже с телефона:

    Изображение не найденоhttps://habrastorage.org/files/1b2/9fd/67c/1b29fd67cbac4da4bf40f49404eac3f5.jpg

    Сейчас на клиентов HF пашет более тысячи видеокарт, промывая в поисках ценных монеток более 20 гигахеш в секунду. Масштабы постоянно растут: суммарная производительность всех ферм HashFlare должна превысить 100 ГХ/сек. Начать облачный майнинг этериума можно уже сегодня: ether.hashflare.eu

    Разумеется, одним эфиром возможности фермы не ограничиваются. В этом преимущество майнинга на GPU — можно добывать любую валюту, каким бы хитровыделанным алгоритмом майнинга она не обладала, поэтому HashFlare использует часть мощностей своей фермы для экспериментов с новыми перспективными и просто любопытными валютами вроде дашкоина и других.