Я много слушаю различных лекций на YouTube - в основном это античная и современная философия, математика, физика. В прошлом месяце я писал об эксперимантах с распознаванием и оформлением текста и вот сейчас более менее довел проект YouScriptor.com до релизной версии.
Миссией проекта YouScriptor.com я вижу вклад в развитие образования и самообразования. You Scriptor с одной стороны ссылается на Youtube с другой Scriptor(лат) - писарь, который переписывал книги и хранил знания в монастырях, которые в то время были интеллектуальными центрами. Так же это дань уважения моей одной из любимых книг "Имя Розы" Умберто Эко
В разделе Scriptorium можно посмотреть историю уже распознанных видео и отфильтровать по автору канала или теме. Лично я чаще всего смотрю и читаю конспекты лекций авторов Зубов, Хаустов, Бугай - многие из который я уже кинул на распознавание и их можно читать
В новой версии значительно увеличена стабильность и скорость, добавлена мобильная версия, усовершенствован дизайн и эргономика и так же добавлена возможность сохранять результат в PDF документ.
Понятное дело, что я не писал собственные нейросети и языковые модели, подключены сторонние сервисы. На данный момент это OpenAI API. Вопреки ожиданиям многих основная сложность не распознать слова из речи, а оформить из слов оформленный и отформатированный текст. API работает нестабильно, иногда довольно редко глючит и выдает чепуху, но чаще выдает потрясающие результаты. Вот например по лекции о паттерне "компоновщик" он выделил куски кода и отдельно их оформил. При скачивании pdf есть даже подсветка синтаксиса (тут работа уже работа библеотек конвертации).
Для сравнения лекция о стохастическом управлении где много формул на распознавание
При этом, по причине того что это некоммерческий проект на энтузиазме, используется самая дешевая модель. Хотя не исключаю что в будущем можно будет эксперементировать и с другими моделями.
Единственное и ключевое ограничение сейчас - это необходимо, что бы автор не отключал субтиры к видео. Технически версия, которая скачивает аудиодорожку и распознает субтитры самостоятельно у меня есть, но пока я не готов выкладывать ее публично, так как работает она довольно долго и пока не уверен что сервер справится, если начнут массово кидать такие видео на распознавание. К частью, таких версий относительно не много, но думаю, со временем перенесу в паблик и эту функцию.
