Комментарий В следующем году будут запущены действительно чудовищные вычислительные проекты, поскольку бум ИИ вступает в свой третий год. Среди крупнейших из раскрытых на данный момент — план xAI по расширению своего суперкомпьютера Colossus AI с уже впечатляющих 100 000 GPU до крутого миллиона.
Такая цифра, казалось бы, не поддается логике. Даже если бы вы могли найти достаточно графических процессоров для этого нового Колосса, мощность и охлаждение — не говоря уже о капитале — необходимые для его поддержки, были бы колоссальными.
При цене от 30 000 до 40 000 долларов за штуку добавление еще 900 000 графических процессоров обойдется xAI в 27–36 миллиардов долларов. Даже с учетом щедрой оптовой скидки это все равно будет недешево, независимо от того, будут ли они развернуты в течение нескольких лет. О, и это даже не принимая во внимание стоимость строительства, охлаждения и электрической инфраструктуры для поддержки всех этих ускорителей.
Говоря о мощности, в зависимости от того, какое поколение ускорителей xAI планирует развернуть, одни только узлы GPU потребуют примерно от 1,2 до 1,5 гигаватт генерации. Это больше, чем типичный ядерный реактор — и большие, не меньше. И опять же, это только для вычислений.
Ваша инстинктивная реакция может заключаться в том, чтобы приписать эти цифры эксцентричному миллиардеру, чья импровизированная шутка была принята за евангелие, а затем местная Торговая палата повторила ее как факт. Однако, если принять во внимание действия конкурентов, масштаб этого нового Колосса начинает выглядеть немного менее безумным.
Смертельный случай лихорадки ИИ
На той же неделе, когда Торговая палата Большого Мемфиса обнародовала подробности о планах расширения xAI, конкурирующая модель разработчика и конкурент Xitter Meta объявила о собственном огромном кампусе центра обработки данных. Объект, строительство которого запланировано в округе Ричленд, штат Луизиана, будет охватывать площадь 4 миллиона квадратных футов и стоить 10 миллиардов долларов.
Meta не раскрыл, сколько ускорителей может разместить завод, но генеральный директор Марк Цукерберг уже пообещал развернуть 600 000 некоторых графических процессоров только в этом году. Чтобы представить это число в перспективе, это почти столько же графических процессоров класса H100, которые, по мнению аналитиков, Nvidia поставила за весь 2023 год.
Из того, что нам сказали, площадка, скорее всего, будет построена поэтапно в течение следующих нескольких лет, и она будет потреблять колоссальное количество энергии.
Для справки, типичный облачный центр обработки данных с несколькими залами данных обычно имеет номинальную мощность около 50 мегаватт. С учетом того, что ограничения мощности в США уже стали проблемой для операторов центров обработки данных, можно было бы подумать, что это станет проблемой для всех этих одержимых ИИ гиперскейлеров, облачных провайдеров и разработчиков моделей, но вместо этого они просто финансируют свои собственные генераторные установки.
Что касается кампуса Meta в Луизиане, он заключил партнерское соглашение с Entergy для строительства трех газовых турбин с общей выработкой энергии более 2,2 гигаватт.
Нам придется подождать и посмотреть, будет ли когда-нибудь завершен весь сайт. Мы можем только представить, что взрыв пузыря ИИ может быстро сорвать эти планы – если это действительно пузырь. Мы позволим вам обсудить это в комментариях.
В любом случае, с такими большими цифрами, внезапно, идея построить атомную электростанцию уже не кажется такой уж безумной. На самом деле, Meta, похоже, настолько уверена, что ее потребности в электроэнергии будут продолжать расти, что она начала искать поставщиков, которые смогут обеспечить ее от одного до четырех гигаватт ядерной энергии к началу 2030-х годов.
Искусственный интеллект, с которым технологические гиганты коллективно смирились, стал своего рода кардинальным изменением для ядерной отрасли в целом, поскольку поставщики облачных услуг выделяют деньги на восстановление выведенных из эксплуатации реакторов — и даже помещают свои центры обработки данных за счетчик в случае нового комплекса центров обработки данных Cumulus от AWS.
Говоря об Amazon, это, конечно, не только Meta и xAI, мечтающие о большем. Гигант электронной коммерции, ставший поставщиком облачных услуг, на прошлой неделе подстегнул свои амбиции в области ИИ. На re:Invent гипермасштабер представил целый ряд продуктов, систем и моделей ИИ, среди которых был суперкомпьютер ИИ, созданный в сотрудничестве с конструктором моделей Anthropic с использованием «сотней тысяч» его собственных ускорителей Trainium2, которые, как мы можем только представить, сами по себе потребуют немало энергии.
Ранее этим летом мы немного пошутили над суперкомпьютером Oracle «zettascale», который при 4-битной точности и разреженности, приходящих ему на помощь, будет иметь пиковую производительность 2,4 зеттаФЛОПС.
Хотя реальная производительность для обучения будет ближе к 459 эксафлопс при точности FP/BF16, которая в основном используется сегодня, он все равно будет использовать серьезное количество графических процессоров — в общей сложности 131 072 — для этого. Это не совсем миллион, но все равно довольно много по сравнению с кластерами, которые развертываются CoreWeave и другими.
Мы могли бы продолжать — но вы поняли.
Новая гонка вооружений
Похоже, шумиха вокруг генеративного ИИ не просто изменила наш взгляд на масштабирование вычислений.
Во многих отношениях мобилизация капитала, которую мы наблюдаем вокруг ИИ, напоминает космическую гонку, только вместо России роль Красной угрозы играет Китай.
Огромное количество препятствий, необходимых для вывода человека на орбиту, не говоря уже о Луне, заставило ученых и инженеров преодолевать трудности и развивать технологии, которые двигали мир вперед в целом.
И хотя во всем этом, безусловно, есть националистический элемент, это не просто гонка одной страны с другой. Движущей силой этих инвестиций являются некоторые из крупнейших и самых могущественных корпораций в мире.
Похоже, что в этой новой гонке вооружений ИИ мы можем увидеть похожий ход событий, поскольку ограничения в области энергетики, охлаждения и экономики стимулируют инвестиции в такие вещи, как ядерная энергетика или устойчивые вычисления. Не потому, что это правильно, а потому, что это разница между победой и поражением в гонке, а также зарабатыванием денег. ®
