Тест ARC-AGI (сокр. Abstract and Reasoning Corpus for Artificial General Intelligence), созданный в 2019 году ведущей фигурой в AI Франсуа Шолле для оценки способностей искусственного интеллекта к обучению, показывает улучшение результатов. Однако это может свидетельствовать скорее о недочетах в самом тесте, чем о реальном прорыве в развитии ИИ.
Основная цель теста - проверить способность AI осваивать новые навыки за пределами их начального обучения. Шолле критикует современный фокус индустрии на LLM, считая, что они просто запоминают шаблоны, а не демонстрируют настоящее мышление.
Недавний конкурс с призовым фондом в миллион долларов, организованный Шолле и Майком Кнопом, показал значительное улучшение результатов - лучший показатель достиг 55,5% по сравнению с 33% годом ранее. Однако Кноп отмечает, что многие решения были достигнуты методом "грубой силы", что ставит под сомнение эффективность теста для оценки AGI.
Тест представляет собой набор визуальных головоломок, где AI должен создавать правильные комбинации цветных квадратов. Создатели признают несовершенство теста и планируют выпустить его обновленную версию в 2025 году.
Проблема усложняется отсутствием единого мнения о том, что считать AGI. Некоторые эксперты даже утверждают, что AGI уже достигнут, если определять его как способность AI превосходить людей в большинстве задач.
Источник
