…Из Data Lake вынырнула прекрасная дева и протянула Артуру меч, и на том мече рунической вязью было начертано «Big Data». «Пусть он служит тебе верой и правдой, пронзая тьму незнания и проливая свет на самые неочевидные закономерности», — торжественно произнесла Владычица Озера. Король Артур преклонил колени и принял меч из рук девы. Затем оседлал коня и направился в сторону ближайшего дата-центра.
Сезон больших данных на Хабре подошёл к концу. Сегодня мы поговорим о том, какими знаниями вооружили нас авторы сезона, раздадим ценные артефакты, а заодно — побеседуем о перспективах больших данных с авторами сезона и экспертами Газпромбанка.
О хабе
Хаб Big Data появился на Хабре в 2012 году. За этот немалый срок в нём опубликовали около 3300 статей. Вполне логично, что статьи этого хаба чаще всего также участвуют в хабах Машинное обучение, Data Mining и Data Engineering. Самые популярные посты набирают 300–490 тысяч просмотров. Впрочем, местные специалисты по Big Data наверняка и сами могли бы получить эту информацию за 10 минут в Excel, так что перейдём к самому интересному.
Итоги сезона
Под спойлером — таблица со всеми статьями сезона, упорядоченными по рейтингу. Не смотрите, если хотите сохранить интригу.
Кейс внедрение Dbt в Детском Мире
Всем привет! Меня зовут Антон и я руковожу Big Data платформой в Детском Мире. На Хабре проходит сезон Больший данных, и я решил что это отличная возможность поделиться нашим опытом внедрения Dbt (инструмент для оркестрации Sql витрины). На хабре уже статьи по инструменту, в моей статье, покажу как пришли от запуска ноутбука в Zeppelin к промышленному решению запуска большого количества витрин написанных на SparkSql в OnPrem Hadoop.
Как Почта моделирует риски потери отправлений
Привет! Я Кирилл Мамонов, главный аналитик отдела монетизации данных в Почтатехе. Расскажу, как мы создали модель, которая предсказывает до 97% возможных пропаж международных отправлений.
Расчет скидки за первый и последний этаж в Excel (Часть 2)
В первой части иллюстрированной инструкции по проведению расчета величины скидки за первый и последний этаж был показан порядок сбора данных с сайтов объявлений силами Excel и первичный анализ собранных данных.
Во второй части завершаем подготовку данных и рассчитываем величину скидки за первый и последний этаж.
Что такое Self-Service BI и зачем он нужен?
Habr, привет! Меня зовут Женя, и в настоящий момент я лидер направления Self-Service BI в крупном FMCG. Очень хочется начать делиться с вами своими знаниями и наработками, поэтому в рамках первой небольшой статьи решил рассказать вам максимально просто о том, а что же такое Self-Service BI. Поэтому давайте познакомимся с основными подходами к построению Business Intelligence и поймем, почему важен процесс Self-Service.
Все DETRы мира. Часть 2
В прошлой части мы поговорили про эволюцию DETR. Сегодня продолжаем обсуждать вариации архитектуры и нюансы их имплементации. DETR предложил новую архитектуру для детекции - с энкодером, декодером, positional queries, двумя типа этеншна. Но ещё одним ключевым нововведением стал уникальный one-to-one matching loss. Вместо матчинга нескольких предсказаний и одной GT-коробки, мы находим оптимальную комбинацию, которая даёт минимальный лосс. Есть ли у этого подхода недостатки? Оказалось, что да.
Масштабируемая Big Data система в Kubernetes с использованием Spark и Cassandra
В предыдущей статье я рассказал, как организовать систему распределенного машинного обучения на GPU NVidia, используя язык Java с фреймворками Spring, Spark ML, XGBoost, DML в standalone кластере Spark. Особенностью поставленной задачи являлось организация системы под управлением ОС Windows 10 Pro, в Docker‑контейнерах. Эксперимент оказался не вполне успешным. В данной статье я покажу, как воспользоваться имеющимися наработками и запустить Spark Jobs в Kubernetes в режимах client и cluster, опишу особенности работы с Cassandra в Spark, покажу пример обучения модели и ее дальнейшего использования. В этот раз буду использовать язык Kotlin. Репозиторий с кодом доступен на GitLab. Данная статья представляет интерес для тех, кто интересуется системами Big Data и стремится создать систему, позволяющую, в том числе, выполнять задачи распределенного машинного обучения на Spark в Kubernetes, используя GPU NVidia и Cassandra для хранения данных.
Извлечение открытых данных сайта zakupki.gov.ru с помощью СУБД BaseX
Меня зовут Грошев Валерий, я Data Scientist и участник профессионального сообщества NTA. Благодаря концепции открытого правительства, развиваемой в России, в свободном доступе появляются данные о работе государственных органов. Одной из таких площадок с данными является сайт Единой информационной системы (ЕИС) в сфере закупок. Там есть удобный поиск информации, но гораздо больше полезного можно найти на FTP версии сайта — ftp://ftp.zakupki.gov.ru, где хранятся архивы XML‑документов с публичной частью информации о состоявшихся закупках: извещения, протоколы, сведения о договорах. В моем случае была задача проверить, а размещаются ли протоколы и сведения о договорах в соответствии с требованиями 223-ФЗ.
Кластеризация текста в PySpark
На связи участники профессионального сообщества NTA Кухтенко Андрей, Кравец Максим и Сиянов Артем. Любой текст – это не просто коллекция слов, он содержит мысли и намерения его автора. Но вручную невозможно обработать огромное количество текстовой информации и понять какие данные они могут содержать. В таком случае нам поможет кластеризация текста, которая позволит получить представление о данных.
Сassandra для бедных — пускаем в ход HDD
Cost reduction - весьма популярное направление, особенно в дни кризиса IT. Вполне естественным является желание оптимизации расходов на “железо” с минимальной потерей производительности, ведь чем больше данных хранится, тем больше может оказаться профит. В данной статье описан кейс эксплуатации Cassandra на HDD дисках как один из способов оптимизации, имеющей смысл при достаточно большом объеме данных.
Все DETRы мира. Часть 1
Я - большой фанат задачи детекции, она мне нравится по всем критериям. Она самая интересная концептуально - одновременно нужно и искать объекты, и определять их тип <....> В 2020 году вышла крутая статья про новую архитектуру для детекции - DETR. Она меня очень вдохновила, и я тут же бросился впиливать её в проект Маммография (ММГ), тем более что код был с виду очень простой. После недели мучений я не смог выжать ничего адекватного - обучалось ужасно, долго и предиктило в основном фигню. Возможно, я где-то набаговал, но возиться дольше не хотелось. Тем не менее, все три года идея всё-таки впилить DETR преследовала меня по пятам, тем более что за это время вышло несколько десятков статей, тем или иным образом улучшающим оригинальную архитектуру. И вот, в один прекрасный день я зачем-то решил прочитать вообще все статьи про DETRы, а заодно попробовать несколько вариаций в ММГ. Задача оказалась слегка сложнее, чем я ожидал…
Структурирование кредитного портфеля методами машинного обучения
Кредитные организации естественным образом располагают большими портфелями клиентских кредитов. Большими - в том смысле, что к ним начинают быть применимы законы больших чисел, предельные теоремы, а значит, и аппарат статистики, что делает естественным применение машинного обучения.
Задача разбиения кредитного портфеля на более однородные по качеству кредитов под-портфели встречается в финансах уже давно <....> В этой статье мы рассматриваем задачу разбиения кредитного портфеля с использованием гораздо большего количества признаков: всей информации, которой обладает кредитор.
Бигдата, ты ли это?
Возможно ли не замечать “лишних” 30 Tb данных на SSD при живом настроенном мониторинге и героически их обслуживать? Запросто, а ответы на вопросы кто же эти наблюдательные люди, как им это удалось и причем здесь PostgreSQL - ниже.
Тварь дрожащая или право имею: как мы лепили виртуального юриста из русскоязычных нейросетей
Если бы Достоевский жил в наше время, смотрел по вечерам «Черное зеркало» и просто читал новости, то, скорее всего, Раскольникова судил бы Искусственный интеллект. Сейчас довольно сложно представить, как будет выглядеть судебный процесс будущего, где условному судье не придется протирать 6 лет штаны на институтской скамье и насильно впихивать в свой мозг тонны законодательной базы. Кажется, это будет что-то коллективное и похожее на продвинутых присяжных с «закаченными» правовыми нормами, чтобы моральные аспекты при этом оставались на более близкой человеческой стороне.
Привет, Хабр, это команда Alliesverse – платформы для управления бизнесом – и это в наши воспаленные мозги попала идея о современном Раскольникове...
Случилось это на большом мероприятии, посвященному ChatGPT, на которое нас пригласили. Мы подумали: а что если ускорить наступление высокотехнологичного и справедливого суда и попробовать обучить ИИ всем российским кодексам ?
Её величество Иерархия. Классификация и способы хранение в MS Excel
Иерархия, как структура данных, встречается очень часто. В финансах иерархия – это один из самых частых объектов, наряду с плоскими и матричными таблицами.
Тем не менее, иерархия – это достаточно сложный объект, который имеет неочевидную классификацию. Кроме того, часто мы храним иерархию в плоской таблице (в Excel, в базе данных). А это, вообще говоря, не естественная среда обитания для иерархий. Все это еще более затрудняет и запутывает работу с ними.
В статье я разберу ключевые термины и классификацию иерархий, что позволит эффективно работать с ними. Ответим на ряд нетривиальных вопросов: «Все ли иерархии одинаковые?», «Отсутствие детей - это достаточный признак листа?»
Анализ таблиц сопряженности средствами Python. Часть 1. Визуализация
Категориальные данные имеет огромное значение в DataScience. Мы живем в мире категорий: информация может быть сформирована в категориальном виде в самых различных областях - от диагноза болезни до результатов социологического опроса. Частным случаем анализа категориальных данных является анализ таблиц сопряженности (contingency tables), в которые сводятся значения двух или более категориальных переменных. Однако, прежде чем написать про статистический анализ таблиц сопряженности, остановимся на вопросах их визуализации.
Байесовский подход к АБ тестированию
Байесовский подход к АБ-тестам — альтернатива частотному (фреквентистскому) подходу. Поговорим о том, как заменить p-value на более интерпретируемые метрики, используя байесовские методы. На примере теста конверсии сравним частотный и байесовский подходы.
Сравнение технологии JuniStat и лазерных систем для беговых тестов
При первой встрече каждый клуб и федерация обычно интересуется точностью измерений, которые может обеспечить технология JuniStat. В рамках пилотного запуска проводятся замеры по определенному привычному и понятному эталону. За последние полгода были проведены тестирования игроков с целью проверки валидности данных по лазерам тремя федерациями и двумя клубами. Мы получили опыт в этой области и хотим им поделиться. Следует отметить, что все валидации прошли успешно, но результаты требовали пояснений. В большинстве случаев первой реакцией было удивление из-за того, что 70-80% результатов совпадают, а оставшиеся 20-30% выглядят как выбросы, но на самом деле они не являются таковыми. Необходимо проанализировать различные способы измерения и выяснить, по каким причинам результаты различаются. Как измеряют время рывка сейчас?
Data-driven рост с помощью науки о данных и машинного обучения
Машинное обучение меняет способы использования данных компаниями для обеспечения прибыльного роста, предоставляя возможность опередить своих конкурентов. Ведущие игроки на вашем рынке уже используют науку о данных и машинное обучение в частности для принятия более эффективных решений в области маркетинга, продаж и успешного обслуживания клиентов. Еще не поздно воспользоваться этой возможностью - технологические компании могут ускорить свой рост, приняв пять ведущих практик.
Применение методов CRISP-DM для анализа Big Sales Data
Метод обработки данных, полученных в процессе продажи людьми (звонки/встречи), с целью оптимизации воронки, сокращения цикла сделки и увеличения конверсии.
MapReduce: как и зачем?
Данная статья будет интересна просто любопытствующим людям и тем, кому нужно базовое теоретическое знание MapReduce'а. Сам по себе MapReduce уже устарел. Если вы в поиске хороших решений, то увы, в этой статье не будет вестись речь о готовых инструментах.
Мигрируем с Qlik: как создать надежное хранилище для ваших данных
Последние 12 месяцев много обсуждается тема миграции с ИТ‑систем, которые оказались недоступны в России. Во всех компонентах ИТ‑инфраструктуры появились критические зоны, которые раньше закрывались международными продуктами и которые нужно срочно переводить на работающие платформы. Не исключением стала и область бизнес‑аналитики. Иностранные BI‑системы ушли с российского рынка и компании начали интересоваться, на что можно перенести свою аналитическую отчетность.
Меня зовут Александр Гончар и работаю в консалтинговой компании A2 Consulting и для нас тема миграции с зарубежных BI‑решений не является новой. За последние пять лет мы реализовали десяток проектов, в которых осуществляли миграцию из аналитических платформ в другие решения, прежде всего, в части хранилищ данных (ХД). Расскажу сегодня об опыте миграции с такого известного BI‑инструмента, как Qlik.
Как дать крылья своей сводной таблице в Apache Superset
Меня зовут Артур, и я Python-разработчик. Хочу поделиться опытом доработки Apache Superset и рассказать, как мы использовали его для визуализации больших объемов данных в рамках сводных таблиц. Apache Superset - это мощный инструмент для визуализации данных, который широко используется в Open-Source сообществе. Его главными достоинствами являются: простота использования, масштабируемость, поддержка множества источников данных и расширяемость. Но, несмотря на все эти достоинства, в практическом применении могут возникать проблемы, связанные с необходимостью правильной настройки и оптимизации Superset для конкретных задач.
Как мы организовали Data Warehouse в MANGO OFFICE
Меня зовут Борис Садовский, я руководитель группы развития корпоративного хранилища данных (КХД) в MANGO OFFICE. Решил написать статью о состоянии Data Warehouse (DWH), где рассматриваю проблемы, с которыми сталкивалась компания в процессе работы с данным, и методы их решения.
Как мы делали скоринг на микросервисной архитектуре руками не-программистов
2023 год — год противоречивых сигналов для будущего IT-отрасли и, в частности, занятости айтишников. С одной стороны, с поголовной цифровизацией всех сфер и процессов экономики растёт спрос на разработчиков — что, безусловно, плюс для айтишников. С другой — необходимость участия программистов во многих прежде «аналоговых» процессах как таковая стала превращаться в препятствие для цифровизации. Естественным образом, со стороны заказчиков и работодателей возник спрос на решения, которые позволят оцифровывать и автоматизировать процессы без необходимости заменять весь прежний штат программистами. Компании ищут выходы где угодно, включая надежды на то, что программистов заменят нейросети.
В реальности все, кто хоть немного разбираются в вопросе, понимают, что до этого далеко: во многих чувствительных областях нейросети, возможно, никогда не заменят человека — потому что с человека можно спросить за ошибки, а с нейросети взятки гладки. Реальным ответом на запрос рынка видятся сегодня low-code и no-code — то есть, технологии создания ПО с помощью визуального редактора с минимальным написанием кода или без написания кода вообще.
Как рассчитать скидку за первый и последний этаж почти без формул в Excel
В продолжение рассказов о Big Data для простых смертных предлагаем попробовать себя в решении жилищного вопроса: как отличаются цены за квадратный метр на разных этажах. Житейская польза от этой заметки заключается в получении без особых усилий и без специальных навыков достоверных знаний об ожиданиях на рынке недвижимости. Государство скрывает цены реальных сделок, но иметь адекватное представление о настроениях продавцов можно и без знакомого опытного риелтора, сына маминой подруги.
Статья представляет собой пошаговую иллюстрированную инструкцию по решению задачи анализа этажности городской застройки, в т.ч. расчет скидок за первый и последний этажи. В качестве модельного города принят Брянск. Расчетный файл прилагается и его листы пронумерованы в последовательности выполненных операций. Шаблон расчета легко адаптировать для другого города и вида недвижимости.
Геопространственные технологии для управления паспортом медицинского участка
Все началось с голосовых роботов. Во время борьбы с Ковидом наш коллцентр, носящий теперь гордое имя Центр телефонного обслуживания граждан 122, все чаще и чаще выстраивал очереди со временем ожидания ответа оператора свыше 30 минут. Нанять больше людей и начать стабильно укладываться в норматив ответа оператора менее 3-х минут не позволяли размеры помещения и фонда оплаты труда.
Стали пробовать решения для автоматизации контакт центров, которые можно было бы интегрировать с медицинской информационной системой (МИС).
За 3 месяца пилотирования NLP продукта и его интеграции действующие в бизнес-процессы удалось добиться вменяемых результатов по распознаванию номеров медицинских полисов, адресов проживания и имени пациентов. Даже удалось удержать среднее время обслуживания одного звонка на уровне 100 секунд… Однако процент автоматических обслуженных обращений болтался в диапазоне от 11 до 30 процентов, и пациенты продолжали томится в ожидании ответа оператора.
MLOps-платформа Dognauts для разработки и эксплуатации ML-моделей. Часть 1: предыстория создания
Добрый день! Меня зовут Евгений Овчинцев, я работаю в компании Neoflex и в настоящее время являюсь архитектором продукта Dognauts. В данной серии статей я планирую рассказать о том, как создавался и развивался продукт: почему принимались те или иные решения, с какими проблемами пришлось столкнуться и что из всего этого получилось.
FineBI 6.0: 9 полезных обновлений, о которых вы не знали
Меня зовут Регина Камалова, проджект-менеджер в Business Intelligence GlowByte. С того момента, как GlowByte представила российскому рынку вендора FanRuan и его инструмент для бизнес-аналитики FineBI, прошло уже больше года. Наши китайские партнеры не стоят на месте, активно развивают свои продукты и не так давно презентовали новую версию – FineBI 6.0. О полезных обновлениях и хочу рассказать сегодня.
Big Data в облаках
Сегодня хотим затронуть тему облачных технологий. Дмитрий Морозов, архитектор DWH в компании GlowByte, занимается хранилищами данных 6 лет, последние 2,5 года участвует в проектах, использующих облака. В этой статье он сделает обзор облачных решений, которые могут быть полезны для задач хранения больших данных, а также уделит внимание вопросам выбора облачного хранилища. Статья основана на личном опыте, может быть интересна как разработчикам, дата-инженерам, так и менеджерам, отвечающим за корпоративную Big Data-инфраструктуру и ищущим возможности ее масштабировать.
Чем редакции Хабра запомнился этот сезон? В первую очередь — разноплановостью. У статей сезона не было какой-то одной главной темы, на которую пишут так много, что это уже приедается. Были посты о разнообразных аспектах Big Data: хранение данных, обработка, анализ, обзоры существующих инструментов для работы с данными, истории конкретных проектов, туториалы — в общем, на любой вкус и цвет.
Если судить по рейтингу постов, «одной большой темы» нет и для читателей. Высокий рейтинг набрали очень разные статьи: кейс разработки бота-юриста, обзор математических основ A/B-тестирования, туториал по разведочному анализу данных…
Что объединяет статьи наверху рейтинга, так это глубокое погружение в материал. Страшноватые формулы, километровые листинги, дотошное сравнение различных технологий и подходов. Всё то, что отталкивает казуального читателя, а истинного хабраюзера заставляет жмуриться от удовольствия и писать в комментах: «Хабр — торт».
Чем редакции Хабра запомнился этот сезон? В первую очередь — разноплановостью. У статей сезона не было какой-то одной главной темы, на которую пишут так много, что это уже приедается. Были посты о разнообразных аспектах Big Data: хранение данных, обработка, анализ, обзоры существующих инструментов для работы с данными, истории конкретных проектов, туториалы — в общем, на любой вкус и цвет.
Если судить по рейтингу постов, «одной большой темы» нет и для читателей. Высокий рейтинг набрали очень разные статьи: кейс разработки бота-юриста, обзор математических основ A/B-тестирования, туториал по разведочному анализу данных…
Что объединяет статьи наверху рейтинга, так это глубокое погружение в материал. Страшноватые формулы, километровые листинги, дотошное сравнение различных технологий и подходов. Всё то, что отталкивает казуального читателя, а истинного хабраюзера заставляет жмуриться от удовольствия и писать в комментах: «Хабр — торт».
Чем редакции Хабра запомнился этот сезон? В первую очередь — разноплановостью. У статей сезона не было какой-то одной главной темы, на которую пишут так много, что это уже приедается. Были посты о разнообразных аспектах Big Data: хранение данных, обработка, анализ, обзоры существующих инструментов для работы с данными, истории конкретных проектов, туториалы — в общем, на любой вкус и цвет.
Если судить по рейтингу постов, «одной большой темы» нет и для читателей. Высокий рейтинг набрали очень разные статьи: кейс разработки бота-юриста, обзор математических основ A/B-тестирования, туториал по разведочному анализу данных…
Что объединяет статьи наверху рейтинга, так это глубокое погружение в материал. Страшноватые формулы, километровые листинги, дотошное сравнение различных технологий и подходов. Всё то, что отталкивает казуального читателя, а истинного хабраюзера заставляет жмуриться от удовольствия и писать в комментах: «Хабр — торт».
Чем редакции Хабра запомнился этот сезон? В первую очередь — разноплановостью. У статей сезона не было какой-то одной главной темы, на которую пишут так много, что это уже приедается. Были посты о разнообразных аспектах Big Data: хранение данных, обработка, анализ, обзоры существующих инструментов для работы с данными, истории конкретных проектов, туториалы — в общем, на любой вкус и цвет.
Если судить по рейтингу постов, «одной большой темы» нет и для читателей. Высокий рейтинг набрали очень разные статьи: кейс разработки бота-юриста, обзор математических основ A/B-тестирования, туториал по разведочному анализу данных…
Что объединяет статьи наверху рейтинга, так это глубокое погружение в материал. Страшноватые формулы, километровые листинги, дотошное сравнение различных технологий и подходов. Всё то, что отталкивает казуального читателя, а истинного хабраюзера заставляет жмуриться от удовольствия и писать в комментах: «Хабр — торт».
Слово авторам
Объявление победителя — блюдо, которое подают холодным. Чтобы читатель успел нагулять аппетит, мы задали автором сезона несколько вопросов касательно «бигдаты».
В какой момент Data становится Big?
@Alliesverse
Некоторые термины настолько часто звучат в общественной повестке и потому обрастают дополнительными смыслами, что их «исходный код» во многих головах просто теряется. Кажется, именно это произошло с термином Big Data.
Сегодня все компании хотят использовать большие данные, чтобы улучшить свои продукты или услуги, предсказывать поведение потребителей или даже находить новые бизнес-возможности. Но почему именно «большие данные»? Чем их не устраивают обычные «маленькие», и где между ними граница?
Твёрдо убеждены, что в данном случае не только размер имеет значение. И «бигдата» не просто «биггер-зен-южал-дата». Это данные, которые становятся настолько объёмными и сложными, что при помощи стандартных инструментов их обработка затрудняется и стремится к отметке «невозможно». Одно из первых определений Big Data было предложено в 2001 году организацией Gartner, оно звучало так: «Большие данные — это гиперсовокупность информации, которая создаётся в результате огромного объёма, скорости и разнообразия данных, требующих новых технологий для их обработки и сбора».
Окей, Гугл. За определение спасибо, но насколько вообще возможно поймать этот момент перехода?
Обычно речь идёт о нескольких параметрах, которые целесообразно рассмотреть, чтобы сделать вывод, подросли ли данные до «больших». Их можно условно поделить на:
1) объём данных;
2) скорость их сбора;
3) широту и разнообразие источников;
4) форматы данных и многоуровневость структуры.Первый пункт — это, вероятно, самый очевидный параметр. Обычно «большие данные» связывают с огромными объёмами информации. Но что по числам? Сколько именно слайсов данных должно быть, чтобы можно было быть уверенными: данные стали взрослыми и теперь тратят на аптечку больше, чем на гардероб? Общие цифры здесь находятся на уровне петабайт и экзабайт. Для понимания масштаба: в один петабайт влезает 1,2 миллиона фотографий высокого разрешения. Но, конечно, объём самих данных не является определяющим фактором.
Следующий параметр — скорость сбора данных. Компании, которые занимаются этим сбором, часто сталкиваются с невероятно быстрым наполнением хранилища. Например, соцсети собирают информацию о своих пользователях со скоростью, пропорциональной их количеству, — и такие объёмы исчисляются десятками и сотнями терабайт, если бренд компании довольно известен. Основная сложность данного параметра заключается в том, что конкретных пограничных значений (терабайт/час), сигнализирующих о переходе данных во «взрослую жизнь», пока никто так и не установил.
Широта и разнообразие источников данных — ещё один фактор, который необходимо учитывать в оценке того, являются оперативные данные «большими» или нет. Если данные приходят из многих различных источников, то это может привести к тому, что информация становится слишком сложной для оценки и интерпретации. Например, если данные поступают от разных устройств IoT, то бизнес может вскоре не справиться с управлением всеми этими данными.
Форматы данных — ещё один аспект, который стоит учитывать. Данные от сенсоров IoT часто приходят в «сыром» двоичном формате. Анализ таких данных — задача не из простых, особенно учитывая, что они очень быстро наполняют хранилища. Но если из этих данных можно извлечь смысл (например, из показаний датчиков движения получить информацию о положении и перемещении), то бизнес может использовать их для прогнозирования поведения пользователя.
Не менее важна структура данных. В океане данных бизнесу нужно отлично ориентироваться для эффективного самоуправления: нужную информацию должно быть легко найти и сложно потерять. Для управления определёнными типами данных, такими как информация о продажах, обычно используются data warehouses. Они занимаются хранением, управлением и обработкой огромных объёмов данных и могут стать необходимыми при работе с большими данными.
В проверке на большие данные именно первый параметр (объём информации) считается «эталонным», именно он обычно стоит на высшей ступени пьедестала. Другие моменты, такие как скорость сбора и тому подобное, могут значительно варьироваться в зависимости от бизнес-задач.
Таким образом, данные становятся большими, когда их масштаб превышает возможности обработки стандартными инструментами. Чтобы определить это, стоит учитывать объём данных, скорость их сбора, широту и разнообразие источников, форматы данных и структуру. Когда все эти параметры одновременно превышают некоторый порог, компания может с чистой совестью использовать термин Big Data и начинать использовать «взрослые» инструменты для работы с ними.
Насколько изменилось представление о Big Data с момента появления термина?
@softError
Хороший вопрос. На мой взгляд, фундаментально представление о BigData не изменилось, изменилось лишь восприятие цифр: когда-то и 100 Гб казались огромным объёмом, а теперь ими никого не удивишь. Все же основные принципы работы с такими данными были описаны в работах 70–90-х — все подходы, использующиеся для их хранения и обработки, родом оттуда.
Что самое интересное произошло в отрасли за последний год?
Денис @Robastik
Очень большие языковые модели окончательно развеяли миф о «божественной природе» человеческой души.
Что самое сложное в работе с большими данными?
@softError
С точки зрения и разработчика, и девопса самое сложное — это хранить столько данных, сколько реально нужно. Не всегда очевидно, какие данные реально нужны, а какие можно хранить не так долго — в такие обсуждения часто вовлечены многие отделы, и прийти к консенсусу не всегда возможно.
Как стать специалистом по Big Data — точка входа, дорожная карта и т. п.
@NewTechAudit
Выбирая путь специалиста по большим данным, стоит учесть особенности своего характера. Для работы требуются усидчивость и способность концентрироваться на задаче: например, предобработка данных занимает много времени. При этом часто нужно искать креативные решения. В будущем это поможет специалисту по Big Data не выгореть на своей непростой стезе.
Но одним характером не обойтись. Нужна математическая база: для понимания того, что происходит под капотом, нужно знать теорию вероятностей, математическую статистику, линал и пр.
Далее необходимо знание Python и SQL. При изучении Python нужно сконцентрироваться на получении опыта работы с библиотеками для анализа и визуализации данных.
Затем переходим к машинному обучению: нужно изучить основные алгоритмы и кейсы их использования, понять метрики.
И, наконец, можно приступить к deep learning: на этом этапе важно научиться предобрабатывать неструктурированные данные, понять принципы работы основных фреймворков и архитектур современных нейросетей.
Обучение никогда не заканчивается: следим за новостями мира AI (читаем статьи на arXiv, смотрим видео с международных конференций, публикации от ключевых людей отрасли) — и постоянно пробуем новые подходы.
Слово партнёру сезона
Мария Косарева
Вице-Президент, начальник Департамента анализа данных и моделирования в Газпромбанке
Сезон Big Data завершается, но работа с большими данными продолжается. Мы хотели бы поблагодарить участников: статьи оказались интересными и полезными. Авторы Хабра всегда отличались глобальным видением и вниманием к самым маленьким деталям — именно этот навык делает специалистов лучшими на рынке. Среди статей участников сезона нам показалась интересной тема про LawAI: автор и комментаторы поднимают один из важнейших вопросов о применении ИИ. Если человек, принимая решение, руководствуется не только фактами и знаниями, но и моралью, этикой, эмоциями, может ли и должен ли это учитывать ИИ? На этот вопрос сообществу ещё предстоит найти ответ. Другие важные вопросы, которые занимают сейчас умы разработчиков всего мира: на каких данных обучать модели, как заставить нейросеть говорить правду и перестать выдумывать «отсебятину».
Также среди наших фаворитов — статьи участников, посвящённые визуализации данных. Такой вопрос особенно остро стоит в больших компаниях: важна не только точность, но и наглядность, а качественная презентация для представителей бизнеса — тоже часть профессии аналитика и дата-сайентиста.
Ещё одна статья, заинтересовавшая нас, — про байесовский подход к А/B-тестированию. Как отметил в комментариях наш ведущий эксперт по разработке моделей для бизнеса, мы также рассматриваем возможность поэкспериментировать в банке с таким подходом.
Мы видим, что работой с Big Data и искусственным интеллектом сегодня заняты специалисты из совершенно разных областей. Мы в Газпромбанке сейчас работаем над моделями, которые помогут менеджерам в принятии важных решений, основываясь на датацентричном подходе. Сегодня уже существует множество интересных решений, нестандартных подходов в развитии этих направлений. Мы благодарны сообществу за то, что оно открыто делится успешными и неудачными кейсами — так, объединив усилия, мы все сможем двигаться чуточку быстрее к высокотехнологичному и датацентричному будущему.
Победитель
Итак, пришло время объявить человека, покрывшего себя бессмертной славой победителя сезона Big Data. И им становится (барабанная дробь… фанфары…) пользователь @ANazarov со статьёй Анализ таблиц сопряжённости средствами Python. Часть 1. Визуализация. Часто бывает так, что комментарии к хабрапосту интереснее и информативнее самого поста. Статья победителя оказалась настолько интересной и информативной, что на протяжении сезона никто не осмелился её прокомментировать. Количество экспертизы, вложенной в эту статью, оставляет у читателя лишь один вопрос: когда будет вторая часть?
Вместо легендарного меча Владычица Озера данных вручит триумфатору новенький Apple MacBook Air 13, а также грант в 30 000 ₽ — на корм боевому коню и на подготовку ещё одной крутой статьи. А теперь — без лишних слов — слово победителю.
Что самое интересное в анализе данных? Техническая часть, математическая основа, эвристический поиск?
В анализе данных ключевое слово всё-таки «анализ», поэтому для меня наиболее интересны темы, связанные как с самими методами анализа, так и с опытом их применения. Всегда полезно изучить опыт решения задач другими специалистами.
Лично для меня особенно интересна математическая основа, тем не менее все аспекты важны.
Какие статьи сезона больше всего запомнились?
Из того, что запомнилось в данном сезоне, отмечу следующие публикации:
Извлечение открытых данных сайта zakupki.gov.ru с помощью СУБД BaseX
Кластеризация текста в PySpark
Структурирование кредитного портфеля методами машинного обучения
Сравнение технологии JuniStat и лазерных систем для беговых тестов
Геопространственные технологии для управления паспортом медицинского участка
Выводы
Как говорил Стэн из мультсериала South Park, «сегодня мы многое поняли». Выводы, которые можно сделать по итогам сезона, с одной стороны, неудивительны, но с другой — приятны. Авторам Хабра по-прежнему хватает глубоких интересных кейсов, чтобы о них написать. Читателям Хабра по-прежнему нравятся технические лонгриды, «сложная лепота», если перефразировать название романа Питера Уоттса. А сезоны в очередной раз показывают себя хорошим способом мотивировать авторов. Поэтому не уходите далеко от монитора — скоро будет объявлен старт нового сезона.
