Умная камера в приложении «Яндекс» научилась делать комплименты с помощью нейросетей. Технологии компьютерного зрения позволяют распознавать даже мелкие детали на изображениях. Поэтому умная камера пишет приятные слова, обращаясь к каждому пользователю индивидуально. Например, она может сделать комплимент по поводу цвета глаз, улыбки, образа или причёски, рассказали Хабру в пресс-службе компании.
Комплиментами можно поделиться, чтобы поднять настроение близким, или использовать их как текст для открытки, например валентинки. Для этого нужно сделать селфи, загрузить фотографию или уже готовое изображение и написать в строке запроса «сделай комплимент».
Чтобы видеть взаимосвязь между деталями и распознавать их, в умной камере и Поиске с Нейро от «Яндекса» используется VLM‑нейросеть (Visual Language Model — визуально‑языковая модель). Она позволяет пользователям эффективно работать с изображениями.
Эта технология уже улучшила визуальный поиск по картинкам в интернете, а теперь применяется для создания комплиментов. Чтобы научить умную камеру использовать оригинальные и поэтичные эпитеты и сравнения, нейросети показали более 14 тыс. пар изображений и текстов с приятными словами.
Благодаря способности VLM‑нейросети распознавать детали, такие как выражение лица, украшения, цвет глаз и элементы интерьера, комплимент всегда получается личным. Например, умная камера может сравнить взгляд коллеги на экран ноутбука со взглядом мудрого философа, а волосы подруги описать как гладкие, словно шёлк.
Скоро возможность получить комплимент от умной камеры появится также в мобильном приложении «Яндекс Браузер» для iOS и Android.
