До определенного момента я свято верил в то, что в современном мире ручное распознавание капчи постепенно становится анахронизмом, особенно, когда речь идет о таких простых капчах - как капча картинка (где необходимо просто распознать текст на фотографии и ввести его в текстовом формате). Но знаете, оказалось все не так однозначно (как бы это ни звучало).
Вероятно простой текст на картинке думающая машина (читай ИИ) распознать сможет, но чем сложнее задача, тем больше возникает вопросов. А если задача большая? Тут уже появляется следующий вопрос - вопрос доверия результату, особенно, если на старте эти самые результаты были неоднозначные.
Но, обо всем по порядку:
Вводная часть и при чем тут сервис распознавания капчи картинки?
Мне понадобилось посчитать количество объектов на спутниковом снимке (в принципе, вовлеченный и мотивированный человек эту задачу выполнит без труда, но захотелось ее автоматизировать) и самое разумное решение, которое возникает в голове - использовать нейросеть, благо они уже прокачались до того, что умеют считывать снимки, анализировать их и выдавать осмысленные ответы.
Никто на первоначальном этапе даже и не думал использовать сервис распознавания капчи, где за распознавание отвечают реальные люди, задача то совсем не про капчу, верно? Но спойлер - я ошибся! Именно из таких проектов, где за распознавание капчи отвечают реальные люди - вырастают проекты по разметке данных.
Что касается конкретно моей, локальной задачи - то притянуть за уши услугу по разметке данных на одном сервисе распознавания капчи не получилось по объективным причинам - мне требовалось в ответе получить конкретное число, а разметка подразумевает под собой выделение конкретной области. И вот тут мы начинаем понемногу давать ответ на вопрос - а при чем тут сервис распознавания капчи картинки?
Решение было найдено именно в этом ключе! Мы заменяем капчу картинку на наш спутниковый снимок и засылаем его на сервис распознавания капчи под видом капчи картинки с задачей - посчитать количество объектов и в поле для текстового поля поставить нужную цифру.
Но я опять отвлекся, обещал же по порядку…
Использование нейросети, для распознавания объектов на спутниковом снимке - почему умная машина не справилась с простой капча-картинкой под видом спутникового снимка
Дано - много спутниковых снимков отелей и резортов, на которых необходимо оцифровать пляжные зонты и иную атрибутику, а простыми словами - подсчитать количество тех или иных предметов на снимке.
Простая задача? На входе вполне себе не сложная, но погружаясь в нее глубже, начинаем сталкиваться с подводными камнями. Низкое качество изображений, цветовой контраст, который не позволяет со 100% уверенностью детектировать тот или иной объект ну и конечно же - несовершенство применяемых методов.
Нейросети было предложено посчитать количество круглых объектов на картинке и предложено несколько разных картинок. В процессе работы стало понятно, что нейросеть не справляется и пишет откровенную чушь (количество, которое писала нейросеть в конце сильно отличалось в большую сторону, от реального).
Сперва все казалось очень круто - загрузил первый снимок, сформировал промт в стиле - “ты крутой аналитик данных, изучи картинку и посчитай количество зонтов на снимке”
После того, как я изучил ответ нейросети я вспомнил анекдот про военного и двух ученых в воздушном шаре:
Двое ученых во время полета на воздушном шаре столкнулись с определенными сложностями и их шар начал снижаться. Внизу они увидели человека, и спросили у него: “Уважаемый, подскажите, где мы находимся?”
“В воздушном шаре”, - не задумываясь ответил этот человек.
“Это военнослужащий”, - сказал один ученый другому.
“Почему ты так решил?”, - спросил второй ученый
“ну как же, ответ быстрый, четкий, но нахер никому не нужный”!
Так и с нейросетью - она ответила максимально быстро и точно, условно, 60 зонтов. Вот только их там было меньше.
Дальше были еще попытки, выделения конкретные области, где считать, но все тщетно… Ответы отличались каждый раз один от другого, что наводило на мысль о сильном галлюцинировании модели.
Методы, которые не работают
Да простят меня авторы методик, которые применяла нейросеть для подсчетов, но они все на практике оказались нерабочими. Вот что использовал искусственный интеллект при работе со снимками:
1. Метод Хафа для обнаружения окружностей (Hough Circle Transform)
Интересные статьи
Интересные статьи
