Разработка модели GPT-4 заняла ресурсы всей команды OpenAI и сотни инженеров.
Сейчас, по словам Сэма Альтмана, эту же модель можно создать с нуля силами 5–10 человек. Об этом говорилось в подкасте OpenAI.
Алекс Пейно, руководивший предобучением GPT-4.5, сообщил, что при разработке GPT-4o использовались методы из GPT-4.5, и команда была намного меньше.
Исследователь Дэниел Селсам добавил, что повторить уже пройденный путь гораздо проще — сам факт реализуемости экономит ресурсы.
GPT-4.5, представленная в феврале, оказалась в 10 раз масштабнее предыдущих моделей. Она получила новые алгоритмы и улучшенную архитектуру. Альтман называл её моделью, которая впервые «ощущается как собеседник».
Также он заявил, что OpenAI больше не ограничена железом.
Ранее нехватка GPU и инфраструктуры тормозила развитие.
Эту проблему частично решают инвестиции Microsoft, Google, Amazon и Meta — в 2025 году они планируют вложить $320 млрд в ИИ-инфраструктуру.
Главный вызов теперь — не в мощности, а в данных.
Количество доступной информации растёт медленно, поэтому OpenAI делает ставку на более эффективные алгоритмы, способные извлекать максимум из тех же массивов данных.