Аспиранты Стэнфорда разработали нейросеть Predicting Image Geolocations (или сокращенно PIGEON), которая способна определять местоположение по фотографии. Точность работы PIGEON составляет 40 км, и она правильно называет страну в 95% случаев.
Лукаса Хааса, Михала Скрету и Сайласа Альберти объединило увлечение онлайн-игрой GeoGuessr, в которой участникам предлагается определять геолокацию изображённых на фотографиях объектов. В GeoGuessr более 50 млн игроков, которые участвуют в чемпионатах мира, ведут стримы в Twitch и популярные каналы в Youtube. Аспиранты Стэнфорда считали, что сами неплохо играют в GeoGuessr. Более того, им было интересно: смогут ли они создать игрока с искусственным интеллектом, который будет действовать лучше, чем люди. Они обратились к уже существующей системе анализа изображений CLIP и изображениям Google Street View, создав свой собственный набор данных из 500 тыс. изображений сервиса.
Как описывает NPR, «команда добавила в программу дополнительные элементы, в том числе один, который помогал ИИ классифицировать изображения по их положению на земном шаре».
Для проверки PIGEON её создатели устроили «спарринг» для своей нейросети и легенды GeoGuessr Тревора Рэйнболта: «Мы не были первым ИИ, который играл против Рэйнболта. Мы всего лишь первый ИИ, который победил Рэйнболта».
У PIGEON есть много сценариев использования: от определения местоположения на старых снимках до быстрых исследований (например, на предмет присутствия инвазивных видов растений). Недостаток — PIGEON может раскрывать ту информацию о людях, которой они никогда не собирались делиться. По мнению Джея Стэнли, старшего политического аналитика Американского союза гражданских свобод, изучающего технологии, компании и правительства смогут использовать ИИ, чтобы узнавать, какие страны и регионы посещали люди; а злоумышленникам подобные разработки помогут в преследовании своих жертв. И удаление геометок с фотографий уже не защитит конфиденциальность.
Аспиранты Стэнфорда осознают риски, которые несёт их разработка. Они написали статью в соавторстве со своим профессором Челси Финн, но воздержались от обнародования полной модели именно из-за этих опасений.
У Google уже есть функция, известная как «оценка местоположения», которая использует ИИ для определения геолокации по фотографии. В настоящее время в ней используется только каталог, содержащий примерно миллион достопримечательностей, а не 220 млрд изображений улиц, которые собрал Google. Компания сообщила NPR, что пользователи могут отключить эту функцию.
