27 июня 2024
41
Или новости мира IT.

Стартап Etched, основанный в 2022 году выпускниками Гарварда, анонсировал самый быстрый, по его словам, ИИ-ускоритель Sohu. Секрет высокой производительности очень прост — Sohu представляет собой узкоспециализированный 4-нм ASIC, который умеет работать только с моделями-трансформерами!
При этом обещана чуть ли не революция в мире ИИ.

Etched прямо говорит, что делает ставку на трансформеры. Данная архитектура ИИ-моделей была создана в Google в 2017 году, но сама Google распознать её потенциал, по-видимому, не смогла. Сейчас, по словам Etched, практически все массовые ИИ-модели являются именно трансформерами, а стремительно набирать популярность этот подход начал всего полтора года назад с выходом ChatGPT.

Etched в целом отмечает, что подавляющее большинство ИИ-ускорителей умышленно создаётся так, чтобы быть достаточно универсальными и уметь работать с различными типами и архитектурами ИИ-моделей. Так загрузка ускорителя на базе GPU работой на практике составляет около 30 %, а у Sohu она будет на уровне 90 %.

Etched в основном говорит о «больших» ускорителях, ориентированных и на обучение тоже, тогда как Sohu предназначен исключительно для инференса.
Стартап критикует громоздкую программную экосистему для современного генеративного ИИ, к тому же не всегда открытую.

Дело доходит до выяснения того, у какого регистра задержка меньше при работе с каким тензорным ядром, говорит Etched. Стартап обещает, что его заказчикам не придётся заниматься такими изысканиями — весь программный стек будет open source. Впрочем, на примере AMD ROCm видно, что открытость ещё не означает мгновенный успех у пользователей.

Технические характеристики Sohu не раскрываются. Явно говорится лишь о наличии 144 Гбайт HBM3e.
Обещанная производительность сервера с восемью ускорителями Sohu составляет 500 тыс. токенов в секунду для Llama 70B: FP8 без разреженности, параллелизм на уровне модели, 2048 токенов на входе и 128 токенов на выходе. Иными словами, один такой сервер Sohu заменяет сразу 160 ускорителей NVIDA H100, говорит Etched.

А что думаете Вы о таком проекте?


Позвоните нам!
Ваш заказ готов к оформлению
Личный кабинет
Вам будет доступна история заказов, управление рассылками, свои цены и скидки для постоянных клиентов и прочее.
Ваш логин
Ваш пароль
Запрос предложений
Помогаем бизнесу по всей России! Принимаем запросы 24/7. Отвечаем в течении 20 минут с 09:00 до 19:00 МСК.