Фото etched.com
В 2022 году компания Etched сделала смелую ставку на то, что архитектура трансформеров захватит мир ИИ. Теперь, спустя два года, эта ставка воплотилась в реальность с выпуском Sohu — первого в мире специализированного чипа (ASIC) для трансформеров.
Sohu обеспечивает высокую производительность: более 500 000 токенов в секунду для модели Llama 70B. Это делает его на порядок быстрее и дешевле, чем даже самые передовые GPU от NVIDIA, такие как Blackwell (B200). Однако, специализация чипа на трансформерах означает, что он не поддерживает большинство традиционных ИИ-моделей, таких как DLRM, AlphaFold 2, CNN, RNN и LSTM.
На сегодняшний день все передовые ИИ-модели, включая ChatGPT, Sora, Gemini и Stable Diffusion 3, являются трансформерами. Если же архитектура трансформеров будет заменена новыми моделями, чипы Sohu станут бесполезными. Но если ставка Etched окажется верной, Sohu изменит мир.
В последние годы масштабирование вычислительных мощностей и улучшение данных сделали модели ИИ умнее людей по большинству стандартных тестов. Крупные компании, такие как Google, OpenAI и Microsoft, тратят миллиарды долларов на развитие технологий ИИ, и Sohu может значительно ускорить этот процесс.
Специализация стала ключом к улучшению производительности на фоне замедления закона Мура. Традиционные GPU увеличили свою производительность за счет увеличения размера чипов, а не их улучшения. В то время как Sohu, благодаря своей специализации на трансформерах, может обеспечить значительно большую производительность.
Сегодня трансформеры питают каждый крупный продукт ИИ, от агентов до поиска и чатов. Лаборатории ИИ потратили сотни миллионов долларов на оптимизацию GPU для трансформеров, и Sohu станет важнейшим шагом на этом пути. Один сервер с 8xSohu заменяет 160 GPU H100, обеспечивая беспрецедентную производительность.
Источник: Etched
Источник: www.it-world.ru
