Архитектура классических ускорителей для обучения и инференса LLM упирается в ограничение по шинам передачи данных между GPU — это создает задержки и является узким местом по пропускной способности. Cerebras предлагают альтернативу — изготовление процессора размером во всю кремниевую пластину целиком. Их новая система CS-4 выводит концепцию wafer-scale engine на следующий технологический уровень.
Архитектура WSE-3 Turbo
В основе системы CS-4 лежит обновленный процессор WSE-3 Turbo. В отличие от «обычных» чипов, где кремниевая пластина разрезается на сотни отдельных кристаллов, Cerebras использует цельную 300-миллиметровую пластину.
Источник.
Из основного по WSE-3 Turbo:
-
4 триллиона транзисторов на одном кристалле;
-
900 000 ядер, оптимизированных под тензорные операции и работы с разреженными матрицами;
-
площадь процессора — 46 225 мм²;
-
5-нм техпроцесс TSMC.
Для решения проблемы брака при производстве кристаллов столь большой площади Cerebras применяет избыточное резервирование. При обнаружении дефектных участков на этапе заводского тестирования программно-аппаратный слой изолирует поврежденные элементы и перенаправляет топологию связей на резервные ядра без потери целостности структуры.
Технические характеристики Cerebras WSE-3 Turbo. Источник.
Причина задержек при инференсе LLM — необходимость постоянно перекачивать веса моделей из внешней HBM в вычислительные блоки через относительно узкие межчиповые шины.
В WSE-3 Turbo вся рабочая память размещена непосредственно на кремниевой пластине. Объем SRAM составляет 44 ГБ. За счет интеграции локальных блоков памяти прямо к каждому из 900 000 ядер суммарная агрегированная пропускная способность массива SRAM на чипе достигает 43,2 ПБ/с. В отличие от сборок на базе GPU с HBM3e, архитектура Cerebras исключает задержки на внешнюю передачу промежуточных тензоров через шины PCIe или NVLink, обеспечивая постоянную загрузку вычислительных конвейеров на уровне кристалла.
Производительность CS-4
Характеристики Cerebras CS-4. Источник.
Cerebras CS-4 выполнен в формате стойки на базе платформы Nexus Platform Architecture. Внутри одного шкафа размещены три процессора WSE-3 Turbo.
В задачах генерации текста и последовательного вывода токенов важны показатели задержки на один токен. Архитектура CS-4 спроектирована как ускоритель фазы декодирования. Она ориентирована на обеспечение низкого времени отклика — вплоть до 4400 токенов в секунду на пользователя на тяжелых моделях (например, GPT-OSS-120B). Это позволяет удерживать интерактивную скорость вывода даже при резком росте числа одновременных сессий — а это важно для работы автономных ИИ-агентов.
График сравнения производительности. Источник.
По заявлениям разработчиков, в сценариях высокой нагрузки CS-4 способна за одну секунду сформировать такой объем токенов, на который эквивалентному кластеру (полной серверной стойке на базе традиционных GPU) для аналогичного объема вычислений потребуется около 30 секунд.
Сеть и масштабирование
Cerebras Nexus Rack-Scale Platform. Источник.
Для объединения трех крупных пластин в рамках единой стойки CS-4 использует технологию Direct Wafer Links. Это снижает задержку передачи данных между процессорами WSE-3 Turbo внутри системы всего до 2 мкс.
Для внешнего горизонтального масштабирования стойка оснащена сетевой обвязкой с суммарной пропускной способностью 7,2 Тбит/с на базе протоколов Ethernet и RoCE v2. Это позволяет объединять несколько шкафов CS-4 в единый вычислительный кластер под управлением фирменного программного стека Cerebras Software Platform.
Собственный сервер Selectel
В основе — самые современные процессоры Intel® Xeon® 6, до 8 ТБ DDR5 и специально разработанная материнская плата. Арендуйте сервер у нас или закажите в свой дата‑центр.
Узнать подробности →
Итоги
Процессор Cerebras WSE-3 Turbo. Источник.
Cerebras CS-4 демонстрирует, что подход Wafer-Scale переходит из категории экспериментальных инженерных решений в сегмент промышленной эксплуатации. Основной эффект от внедрения подобных систем заключается не только в чистой пиковой производительности, но и в снижении задержек на передачу данных внутри процессора.
Cerebras поставляет проприетарное решение — от самого кремния до инженерной обвязки. Учитывая плотность вычислительных ядер, компании приходится самостоятельно проектировать кастомные контуры жидкостного охлаждения и блоки питания под свою архитектуру. Сегодня, когда энергопотребление ИИ-кластеров растет огромными темпами, именно грамотный теплоотвод и подвод питания становятся для производителей чипов такими же важными задачами, как и наращивание количества транзисторов.
Источник: habr.com