«GPT-4.5: Новый этап в эволюции масштабируемого искусственного интеллекта от OpenAI»

OpenAI представила свою самую крупную языковую модель на сегодняшний момент. Главный научный сотрудник компании, Марк Чен, заявил, что GPT 4.5 демонстрирует, что возможности масштабирования AI-моделей все еще далеко не исчерпаны.

В четверг OpenAI анонсировала последнюю языковую модель GPT 4.5, названную самой большой и мощной модели чат-бота до настоящего времени. Алгоритм будет сначала доступен пользователям Pro, а затем и пользователям Plus, Enterprise, Team и Edu в течение ближайших недель.

Для Чена GPT 4.5 служит ответом тем, кто сомневается, что исследовательские лаборатории смогут и дальше добиваться успеха в создании все более мощных моделей.

«GPT 4.5 — это ясное доказательство того, что мы продолжаем следовать парадигме масштабирования», — пояснил Чен. «Это шаг вперёд к новому уровню возможностей».

Отвечая на вопрос о том, почему модель не назвали GPT-5, Чен отметил, что OpenAI хочет придерживаться узнаваемых наименований. Предсказуемое масштабирование, например, от GPT-3 к 3.5, позволяет прогнозировать, какие улучшения можно получить благодаря повышению вычислительных мощностей и эффективности. Новая модель полностью соответствует ожиданиям от GPT 4.5.

Чен также отметил, что OpenAI теперь способна масштабироваться по двум направлениям. «GPT 4.5 — это наш последний эксперимент в области неконтролируемого обучения, но мы также развиваем и рассуждения», — добавил он.

Чен объяснил, что более длительный период разработки между GPT-4 и 4.5 связан с акцентом компании на разработку парадигмы рассуждений.

Эти два подхода взаимодополняют друг друга: «Знания необходимы для того, чтобы строить рассуждения. Модель не может просто так изучить рассуждения», — уточнил Чен. Эти парадигмы взаимодействуют между собой, создавая замкнутые циклы.

Он отметил, что GPT 4.5 «интеллектуальна» в другом смысле по сравнению с моделями рассуждений. Она обладает значительно более обширными знаниями о мире. Опрос пользователей показал, что новая модель предпочитается в 60% случаев для повседневного использования по сравнению с GPT-4, а для профессиональной и интеллектуальной деятельности это число достигает почти 70%.

Что касается возможных ограничений масштабирования, Чен уверенно заявил: «Мы видим аналогичные результаты. GPT 4.5 — это логический шаг в рамках неконтролируемого обучения». Он объяснил, что OpenAI строго подходит к созданию прогнозов, основываясь на ранее обученных моделях для оценки ожидаемой производительности.

Помимо традиционных бенчмарков, где GPT 4.5 демонстрирует аналогичные улучшения при переходе от GPT-3.5 к GPT-4, Чен упомянул о новых возможностях модели, включая создание ASCII-арта, с которой предыдущие версии справлялись не так уверенно.

Чен также отверг слухи о трудностях разработки GPT 4.5. «Разработка всех наших базовых моделей носит экспериментальный характер. Это часто приводит к перерывам для анализа и повторного запуска процессов», — указал он. Хотя это не было характерно для GPT 4.5, OpenAI также следовала этой практике для GPT-4 и O-серии.

Тем не менее, отметим, что меньшая модель Claude 3.7 Sonnet демонстрирует лучшие результаты, чем GPT-4.5 от Anthropic в ряде областей, что может указывать на то, что последняя выглядит несколько устаревшей, особенно с учетом того, что данные были собраны лишь в октябре 2023 года. Одна из причин заключается в успехах, достигнутых в области синтетических данных с 2023 года.

Источник