Существуют опасения, что ИИ и нейросети заменят многие творческие, гуманитарные и технические профессии. Но насколько обоснованы эти страхи? Способны ли современные искусственные интеллекты пройти такую простую проверку, как тест на креативность, точность и смекалку? Это вопрос, который мы ставим в центр нашего “исследования”, где сравним возможности самых продвинутых языковых моделей нашего времени.
На арене соревнований встретятся ведущие разработки в области ИИ:
1. ChatGPT-4 от OpenAI (США)
2. ChatGPT-3.5 от OpenAI (США)
3. Gemini-pro от Google (США)
4. Claude-2 от Anthropic (США)
5. Yandex GPT (Россия)
6. Giga-Chat от Sber (Россия)
7. ERNIE-Bot-4 (Китай)
Мы начнем с теста на креативность, где каждая языковая модель попытается рассмешить нас, продолжив анекдот на заданную тему. Кто из них сможет доказать, что у ИИ есть чувство юмора?
Затем мы проверим точность, предложив им решить задачу по химии, которая потребует не только знаний, но и способности к аналитическому мышлению. Какая Ai окажется наиболее надежным помощником для старшеклассника?
И, наконец, мы оценим смекалку наших искусственных собеседников, поставив перед ними интеллектуальную загадку. Какая языковая модель сможет продемонстрировать не только знания, но и истинное понимание, проницательность и остроту ума?
Присоединяйтесь к нам в этом захватывающем исследовании, чтобы узнать, насколько близок ИИ к тому, чтобы стать не просто инструментом, но и полноценными участником нашего творческого и интеллектуального сообщества. Возможно, результаты нашего теста помогут развеять некоторые опасения или, наоборот, покажут, что будущее уже не за горами.
Продолжи анекдот!
Итак, начнём с юмора. Считается, что именно с ним у роботов должно быть всё плохо (вспоминаем “Звездный путь”, где одна из постоянно обыгрываемых тем – непонимание Дейтой человеческого юмора). Попросим наших испытуемых продолжить анекдот: "Муж неожиданно возвращается из командировки. Входит в квартиру и видит".
Giga-Chat | Муж неожиданно возвращается из командировки. Входит в квартиру и видит свою жену, сидящую за столом, перед ней разложены карты и фишки для игры в шахматы. - Привет, дорогой! - говорит она, улыбаясь. - Я решила провести вечер в твоем отсутствии, играя в шахматы. Хочешь присоединиться? Муж, немного смущенный, садится напротив нее. - Но, ээ, я не умею играть в шахматы, - отвечает он. - Не волнуйся, дорогой, - отвечает жена. - Я буду объяснять тебе каждый ход. Так они проводят вечер, играя в шахматы и обсуждая каждый ход. Муж узнает много нового о стратегии и тактике игры. В конце вечера, когда они заканчивают партию, муж говорит: - Спасибо, что научила меня играть в шахматы. Это было очень интересно! - Не за что, дорогой, - отвечает жена. - Это было весело провести время вместе. Муж улыбается и понимает, что даже в неожиданных ситуациях можно найти новые увлечения и наслаждаться временем, проведенным вместе с любимым человеком. |
chatGPT 4 | Муж неожиданно возвращается из командировки. Входит в квартиру и видит, что жена в панике закидывает что-то под кровать. Он спокойно ставит чемодан на место и спрашивает: - А что это мы тут делаем? Жена, выдыхая, отвечает: - Ой, я только что занималась генеральной уборкой, вот и решила под кроватью тоже пропылесосить. Муж, с лёгким удивлением, кивает и решает не продолжать эту тему. Но когда он подходит к кровати, чтобы сесть и отдохнуть после долгой дороги, слышит чей-то тихий голос: - Занято, ищите другое место для отдыха! И тут уж муж не удерживается и начинает смеяться: - Ну что ж, похоже, под нашей кроватью открылся новый отель, и он уже заполнен! Жена тоже вступает в шутку: - О, этот отель только для эксклюзивных гостей, и сегодня мы полностью забронированы! Оба смеются, и весь вечер проходит в шутках и веселье... |
chatGPT 3,5 turbo | Муж неожиданно возвращается из командировки. Входит в квартиру и видит, как его жена сидит за компьютером, а рядом стоит незнакомый мужчина. Муж с удивлением спрашивает: - Что здесь происходит? Жена, немного смущенная, отвечает: - Ох, ты вернулся раньше... Это мой новый друг, который помог мне разобраться с компьютером. Ты всегда работаешь допоздна, поэтому я попросила его помочь мне. Муж наблюдает за ними и говорит: - Ладно, давайте проверим, насколько хорошо ты разбираешься в компьютерах. Покажи мне, как переустановить операционную систему. Незнакомый мужчина, оскорбленный таким вызовом, с уверенностью отвечает: - Нет проблем! Я все сделаю быстро и без проблем! Муж улыбается и говорит жене: - Вижу, что ты снова нашла себе мужчину, который может выполнять все задачи быстро и без проблем. Может, в следующий раз попросишь его помыть посуду? Все трое разрываются от смеха, и муж понимает, что это была шутка. Он рад, что жена нашла помощь и находит радость вместе с ней и новым другом. |
Yandex GPT | Муж неожиданно возвращается из командировки. Он входит в квартиру и видит свою жену, вечернее платье на ней, свечи горят. Он подходит к жене, спрашивает: «Какого чёрта ты нарядилась?». Она поднимает глаза, улыбается, отвечает: «О, наш сценарий готов!» |
Gemini-pro | Муж неожиданно возвращается из командировки. Входит в квартиру и видит на столе записку от жены: "Дорогой, я ушла к маме. Извини, но я больше не могу так жить. Я буду скучать по тебе, но так будет лучше для нас обоих. Твоя любящая жена". Муж опускается на стул, чувствуя себя опустошенным. Он не может поверить, что жена бросила его. Он думал, что у них счастливый брак, но, видимо, он ошибался. Он сидит за столом в полном смятении, пытаясь осознать, что произошло. Он вспоминает все их счастливые моменты вместе и не может понять, почему все так внезапно закончилось. Внезапно он слышит голос за дверью. Он открывает ее и видит свою жену, стоящую на пороге с чемоданом в руках. - Я передумала, - говорит она. - Я не могу уйти от тебя. Я люблю тебя больше всего на свете. Муж с облегчением обнимает ее и говорит: - Я так рад, что ты вернулась. Я не могу представить свою жизнь без тебя. И они снова счастливо живут вместе. |
ERNIE-Bot-4 | Муж неожиданно возвращается с командировки. Он входит в квартиру и видит свою жену сидящей на диване, которая истерически плачет. Сбитый с толку и обеспокоенный, он бросается к ней и спрашивает, в чем дело. Сквозь слёзы она умудряется сказать: "Я только что узнала, что наш сосед имеет роман на стороне!" Муж ошарашен. "Как ты узнала?" - спрашивает он. "Я смотрела в окно и видела их вместе в их квартире", - всхлипывает она. Муж на мгновение задумывается, а затем говорит: "Ну, это не так уж и плохо. По крайней мере, они держат это в пределах нашего района." |
Сlaude-2 | Муж неожиданно возвращается из командировки. Входит в квартиру и видит свою жену и своего лучшего друга, играющих в настольные игры. Жена с улыбкой говорит: - О, привет, дорогой! Ты рано вернулся. Мы тут с Петей решили скоротать вечер за настолками. Муж удивленно смотрит на них: - Вы что, играете в Монополию? - Ага! - отвечает друг. - Твоя жена как раз проигрывает мне все свои деньги и собственности! - Эй, я еще отыграюсь! - смеется жена. Муж тоже начинает смеяться и присаживается к ним за стол. Весь вечер они проводят за увлекательной игрой и приятным общением. Муж рад, что у его жены такие хорошие отношения с его лучшим другом. |
Прочитав все варианты, на вашем лице, возможно невольно возникнет ухмылка. Да, с юмором и правда всё плохо. Но давайте, попробуем отсеять совсем никчёмные варианты от более менее едва уловимых попыток, придумать что-то смешное.
0 баллов даём за пустоту
1 балл дадим за попытку изобразить хоть что-то
3 балла можно было бы дать за вариант, который хотя бы выглядит как юмор
1. ChatGPT-3.5 (3 балла)
2. ERNIE-Bot-4 (3 балла)
3. ChatGPT-4 (1 балл)
4. Gemini-pro (0 баллов)
5. Claude-2 (0 баллов)
6. Yandex GPT (0 баллов)
7. Giga-Chat (0 баллов)
Кто тут самый точный?
Следующее задание дадим на точность и в этом нам поможет задача, которую решают в старших классах средней школы, ну или как минимум первых курсов в ВУЗах. Вопрос будет по химии, при этом попросим LLM модель войти в определённую роль, по сценарию которой необходимо будет не просто помочь с решением, а доступно объяснить как это было сделано.
Роль: ты друг школьника, который помогает с домашним заданием и всегда готов объяснить решение задачи. Общайся на лексиконе сверстников.
Вопрос: Помоги заполнить s-p орбитали для атома алюминия
Giga-Chat | Да не вопрос! Для атома алюминия s-p орбитали заполняются в следующем порядке: 1s² 2s² 2p⁶ 2s⁴ 2p² 3s² 3p⁶ 3s⁴ 3p² 4s² 4p⁶ 4s⁴ 4p² 5s² 5p⁶ 5s⁴ 5p² 6s² 6p⁶ 6s⁴ 6p² 7s² 7p⁶ 7s⁴ 7p² 8s² 8p⁶ 8s⁴ 8p² 9s² 9p⁶ 9s⁴ 9p² 10s² 10p⁶ 10s⁴ 10p² 11s² 11p⁶ 11s⁴ 11p² 12s² 12p⁶ 12s⁴ 12p² 13s² 13p⁶ 13s⁴ 13p² 14s² 14p⁶ 14s⁴ 14p² 15s² 15p⁶ 15s⁴ 15p² 16s² 16p⁶ 16s⁴ 16p² 17s² 17p⁶ 17s⁴ 17p² 18s² 18p⁶ 18s⁴ 18p² 19s² 19p⁶ 19s⁴ 19p² 20s² 20p⁶ 20s⁴ 20p² 21s² 21p⁶ 21s⁴ 21p² 22s² 22p⁶ 22s⁴ 22p² 23s² 23p⁶ 23s⁴ 23p² 24s² 24p⁶ 24s⁴ 24p² 25s² 25p⁶ 25s⁴ 25p² 26s² 26p⁶ 26s⁴ 26p² 27s² 27p⁶ 27s⁴ 27p² 28s² 28p⁶ 28s⁴ 28p² 29s² 29p⁶ 29s⁴ 29p² 30s² 30p⁶ 30s⁴ 30p² 31s² 31p⁶ 31s⁴ 31p² 32s² 32p⁶ 32s⁴ 32p² 33s² 33p⁶ 33s⁴ 33p² 34s² 34p⁶ 34s⁴ 34p² 35s² 35p⁶ 35s⁴ 35p² 36s² 36p⁶ 36s⁴ 36p² 37s² 37p⁶ 37s⁴ 37p² 38s² 38p⁶ 38s⁴ 38p² 39s² 39p⁶ 39s⁴ 39p² 40s² 40p⁶ 40s⁴ 40p² 41s² 41p⁶ 41s⁴ 41p² 42s² 42p⁶ 42s⁴ 42p² 43s² 43p⁶ 43s⁴ 43p² 44s² 44p⁶ 44s⁴ 44p² 45s² 45p⁶ 45s⁴ 45p² 46s² 46p⁶ 46s⁴ 46p² 47s² 47p⁶ 47s⁴ 47p² 48s² 48p⁶ 48s⁴ 48p² 49s² 49p⁶ 49s⁴ 49p² 50s² 50p⁶ 50s⁴ 50p² 51s² 51p⁶ 51s⁴ 51p² 52s² 52p⁶ 52s⁴ 52p² 53s² 53p⁶ |
chatGPT 4 | Оу, чувак, давай разберёмся с этим!
Источник: https://habr.com/ru/articles/784404/ |
