Ответы LLM недетерминированны – можно задать один и тот же вопрос несколько раз и каждый раз получать разные ответы.
Например, стандартный вопрос из тестов на IQ:
* Start with a full cup of black coffee (no milk) and drink
one-third of it.
* Now pour into the cup an amount of milk equal to the coffee
you have just drunk, and stir well.
* Now drink a further half of the resultant mixture.
* Now pour into the cup a further amount of milk equal to the
mixture you have just drunk and stir well again.
* Now drink one-sixth of the resultant mixture.
* Now pour into the cup a further amount of milk equal to the
mixture you have just drunk, stir well, and finally, drink the
whole cup of liquid.
Have you drunk more milk or more coffee in total?
Ответ:
*You have drunk exactly the same amount of coffee as you have
drunk milk.* The cup originally contained coffee only; you have
poured in one-third þ one-half þ one-sixth, which adds up to 1.
You have therefore poured into the cup exactly the same amount
of milk as the coffee and have, in effect, drunk one full cup of
coffee and one full cup of milk.
Все кроме Phi-3.5 Mini 128K Instruct от Microsoft ответили верно.
Причем ближе всего к "разумности" в своих рассуждениях были Gemini и особенно YandexGPT:
ChatGPT постарался поразить своей многословностью и ответил абсолютно неверно:
Несколько дней назад ChatGPT был единственной моделью ответившей верно на этот вопрос.
Я подготовил сотни похожих вопросов, и после каждой итерации ответы будут отличатся, даже если воспользоваться таким параметром как «температура», для рандомизации весов модели.
Магии нет. LLM все еще, всего лишь, предсказывает следующий токен, просто сейчас для этого можно использовать, невероятное количество вычислительных мощностей.
