GPT-5 Pro обходит человека по IQ, но методика тестирования вызывает вопросы: Новый рейтинг ИИ от Tracking AI

Tracking AI опубликовал обновленный рейтинг искусственного интеллекта на тесте IQ. В первую очередь в этом списке оказались две версии GPT-5 Pro (с включенным и выключенным компьютерным зрением), за ними следуют Gemini 2.5 Pro, Claude Opus 4 и Grok 4. IQ у моделей-лидеров варьируется от 110 до 138 баллов, что превышает средний уровень IQ человека, равный 100 баллам. Однако стоит подчеркнуть, что в отличие от людей, ИИ не имеет временных ограничений при тестировании и может совершить до 10 попыток решения одной задачи (это сделано для минимизации ошибок, которые могут возникнуть из-за систем безопасности, реагирующих на слова «экзамен» и «тренировка»).

Разработчики теста применили несколько методов для оценки моделей. Вопросы были разделены на две категории. Mensa Norway представляет собой официальный тест из 35 задач, который нужно пройти за 25 минут. Offline test — это специально разработанный набор задач, максимально приближенный к Mensa Norway, но созданный с нуля и не доступный в интернете (поэтому модели не могли пройти специальную подготовку для этого теста). Также модели оценивались отдельно с включенным и выключенным компьютерным зрением — в последнем случае задания представлялись только в текстовом формате.

Интересно, что остальные версии GPT-5 показали меньшие успехи в тестировании по сравнению с Pro. Например, размышляющая версия GPT-5-Thinking расположилась в середине таблицы, пропустив вперед как предыдущую успешную модель OpenAI (o3), так и более простое воплощение GPT-5. Это может означать как недостатки IQ-теста в оценке ИИ, так и потребность в более оптимизированной настройке режима размышлений GPT-5.

Практически все модели продемонстрировали более низкие результаты в оффлайн-тесте. Это подтверждает гипотезу о том, что качественные бенчмарки для ИИ следует разрабатывать «с нуля», а затем следить за тем, чтобы они не утекли в сеть и не использовались для обучения новых моделей.

P. S. Вы можете поддержать меня, подписавшись на канал «сбежавшая нейросеть», где я делюсь творческими аспектами ИИ.