Meta представила новое поколение ИИ-моделей Llama 4.
Это три мультимодальные модели — Scout, Maverick и Behemoth — способные обрабатывать текст, картинки, видео и другие типы данных. Они обучались на массивных наборах немаркированных текстов и мультимедиа.
Llama 4 стала первой серией моделей Meta с архитектурой MoE (mixture-of-experts), где каждая задача делится на части и отправляется «экспертным» подмоделям.
Это снижает нагрузку на вычисления и ускоряет работу. Подход MoE применяют для увеличения производительности и адаптации модели к разным типам задач без необходимости задействовать все параметры.
Scout имеет 109 млрд параметров, из них 17 млрд активных и 16 «экспертных».
Контекстное окно — 10 млн токенов. По тестам, Scout справляется лучше, чем Gemma 3, Gemini 2.0 Flash-Lite и Mistral 3.1.
Maverick включает 400 млрд параметров, в том числе 128 «экспертных», и обрабатывает до 1 млн токенов.
Она показывает результаты выше, чем GPT-4o и Gemini 2.0 Flash, и сравнима с DeepSeek V3 при генерации кода и логических выводах.
Самая мощная модель — Behemoth.
В ней 2 трлн параметров, включая 288 млрд активных. Она обходит GPT-4.5, Claude Sonnet 3.7 и Gemini 2.0 Pro на большинстве тестов. Модель пока остаётся в закрытом обучении.
Scout и Maverick уже можно протестировать на llama.com и Hugging Face. На их базе работает обновлённый Meta AI — встроенный помощник в WhatsApp, Messenger и Instagram. Пока он поддерживает мультимодальные запросы только на английском и только в США.