Конечно мы про ИИ-модель от корпорации NVIDIA и компании Mistral AI.
Они анонсировали большую языковую модель (LLM) Mistral NeMo 12B, специально разработанную для решения различных задач корпоративного уровня — чат-боты, обобщение данных, работа с программным кодом и т.д.
Эта модель насчитывает 12 млрд параметров и использует контекстное окно в 128 тыс. токенов. Для инференса применяется формат данных FP8, что, как утверждается, позволяет уменьшить размер требуемой памяти и ускорить развёртывание без какого-либо снижения точности ответов.
При обучении модели была задействована библиотека Megatron-LM, являющаяся частью платформы NVIDIA NeMo. Были использованы 3072 ускорителя NVIDIA H100 на базе DGX Cloud. Утверждается, что Mistral NeMo 12B отлично справляется с многоходовыми диалогами, математическими задачами и программированием.
Модель обладает «здравым смыслом» и «мировыми знаниями».
Говорят о точной и надёжной работе применительно к широкому спектру приложений.
Немного сложных фраз (ну для ИИ вообще не сложно).
Модель выпущена под лицензией Apache 2.0 и предлагается в виде NIM-контейнера. На внедрение LLM, по словам создателей, требуются считанные минуты, а не ддн!
Для запуска модели достаточно одного ускорителя NVIDIA L40S, GeForce RTX 4090 или RTX 4500. Среди ключевых преимуществ развёртывания посредством NIM названы высокая эффективность, низкая стоимость вычислений, безопасность и конфиденциальность.
Как вам разработки?
Искусственный интеллект это технологичное будущее или предпосылка к бунту машин?
