Система AI Scientist-v2 от компании Sakana AI смогла в рамках эксперимента создать научную работу, которая успешно прошла процесс рецензирования на семинаре международной конференции ICLR.
Статья Compositional Regularization: Unexpected Obstacles in Enhancing Neural Network Generalization была посвящена негативным аспектам метода регуляризации нейронных сетей. Она получила оценку 6,33 балла (незначительно выше порога принятия). При этом рецензенты не знали, была ли сгенерирована конкретная работа ИИ или написана человеком, но ранее их предупредили о такой возможности.
Scientist-v2 самостоятельно разработала научную гипотезу, предложила эксперименты, сгенерировала код, провела исследование, проанализировала полученные данные и написала статью. Исследователи лишь предоставили ей тему и отобрали наиболее перспективные работы для подачи.
Однако статья была принята только на уровне семинара, а не основной конференции. На семинарах обычно более высокие показатели приема работ — 60-70%, тогда как на конференциях принимают лишь 20-30%.
Sakana AI признала, что ни одна из трёх представленных работ не соответствовала критериям для принятия на основную конференцию ICLR. После рецензирования статью отозвали по соглашению между организаторами конференции и компанией, так как научное сообщество пока не разработало стандартов для работы такими материалами.
При этом внутренняя проверка показала, что AI Scientist v2 иногда допускал ошибки в цитировании, в том числе неверно указывал авторов и годы публикации других статей.
«Насколько нам известно, это первый случай, когда полностью созданная с помощью ИИ статья оказалась достаточно хороша, чтобы пройти стандартный процесс научного рецензирования. Мы считаем, что научному сообществу важно изучать качество исследований, созданных с помощью ИИ, и один из лучших способов сделать это — представить небольшой образец для тех же строгих процессов рецензирования, которые мы используем для оценки научных работ, созданных человеком», — заявили в Sakana AI.
Материалы и обзоры к ним доступны в репозитории GitHub.
