Big Data (большие данные): что это и как их используют

Термин Big Data означает не просто «большие (крупные, объемные) данные» в буквальном переводе, а подразумевает комплекс технологий сбора, хранения обработки и анализа информации. Несмотря на то, что это понятие вошло в обиход чуть больше десятилетия назад, работа с большими информационными массивами велась еще в шестидесятых годах XX века. В это время начали создаваться центры обработки данных. Но технологии Big Data в сегодняшнем понимании термина развивались параллельно с ростом влияния интернет-сервисов и общей цифровизации на все сферы жизни.

Колоссальные информационные объемы, проходящие через современные цифровые сервисы, требовали специальных механизмов качественной обработки, хранения, консолидации, обеспечения безопасности. Это положило начало интенсивным IT-разработкам в области Биг Дата, созданию алгоритмов структурирования и организации надежных хранилищ.

Развитие интернет-торговли и таргетированной рекламы, популярность соцсетей и всевозможных геолокационных приложений способствуют непрерывному совершенствованию обработки больших данных Big Data, появлению новых методик и выпуску соответствующих аппаратных решений.

Основные характеристики Big Data — volume, velocity, variety (объем, скорость, разнообразие). Дополнительные характеристики, которые стали актуальными в последние годы, — достоверность и ценность.

Объем больших данных выражается числовыми значениями с множеством нулей. Эта характеристика измеряется десятками и сотнями терабайт, а в некоторых профессиональных областях — сотнями петабайт. Обработка такого объема требует сверхвысоких скоростей и непрерывной генерации. Источники Big Data разнообразны по типу и местонахождению. Это определяет и третью характеристику — разнообразие, которое отличает большие данные от простых.

Достоверность данных крайне важна для коммерческих и различных отраслевых информационных систем. Информация, не соответствующая реальности, наносит вред бизнесу и нарушает уровень статистики. Ценность данных относится к индивидуальным характеристикам, которые определяет сам пользователь по критерию принесения той или иной информацией реальной пользы бизнес-процессам.

Сфера применения Big Data

Со временем прогнозируется внедрение Big Data практически во все отрасли жизни и работы, и это неудивительно, если проанализировать скорость развития интернет-технологий и сервисов. По данным статистических исследований сейчас работа с большими данными наиболее актуальна для маркетинга, медицины, банковской и финансовой сферы, бизнеса и транспорта.

В целевом маркетинге Big Data является ключевым рабочим инструментом и непосредственной средой деятельности. При помощи аналитических систем изучаются поведенческие тенденции целевой аудитории, осуществляется предиктивная аналитика, прогнозируется уровень продаж и результативность рекламы. По данным аналитики оценивается сезонность услуг, работ и товаров.

В медицине технологии Big Data существенно улучшают качество медицинских услуг, способствуют эффективной профилактике заболеваний и своевременному выявлению очагов эпидемий, позволяют анализировать сложные врачебные случаи и выбирать правильные методы лечения.

В сфере финансов большие данные позволяют выявлять случаи мошенничества, управлять финансовыми рисками, прогнозировать тренды, анализировать рыночные тенденции. Специальные разработки помогают управлять денежными рисками, определять кредитоспособность клиента, формировать отчетность и эффективно взаимодействовать с заемщиками.

В сфере транспорта обработка больших информационных объемов важна для оптимизации маршрутов следования, планирования транспортного потока, обеспечения сохранности грузов и безопасности пассажирских перевозок. Big Date помогают организовывать перемещение беспилотных транспортных средств.

В бизнесе применение технологий Биг Дата безгранична, начиная с открытия торговых точек в определенных локациях и заканчивая прогнозированием прибыли на основании анализа данных.

Другие распространенные области использования Биг Дата: ритейл, политика (организация предвыборных мероприятий), социология, телекоммуникации, военное дело, геологоразведка и т. д.

Кто работает с большими данными

В области работы с технологиями Big Data выделяется три основных профессиональных направления: data-инженер, data-сайентист, аналитик.

Компании разного уровня и направления коммерческой деятельности внедряют специализированные системы в несколько этапов. На начальной стадии в IT-инфраструктуру предприятия интегрируется технологическая разработка для сбора, хранения и обработки больших информационных массивов, сервисы и инструменты для дальнейшей удобной работы аналитика.

На втором этапе данные загружаются в заранее организованное хранилище. Выбор ХД осуществляется по нескольким критериям, из которых наиболее важные для решения — методика обработки информации, формат хранения, доступ и безопасность. Вторая стадия внедрения напрямую связана с дальнейшим управлением системой и составляющими элементами. В зависимости от потребностей и возможностей владельца сервиса для хранения данных выбирается частное облачное хранилище, публичная или локальная БД.

Третья стадия внедрения связана с анализом информации. На этом этапе применяют сервисы машинного обучения, генетические технологии и алгоритмы. Анализ данных в результате выделяет ценную для бизнеса информацию.

В процессе работы с большими данными функции дата-инженера заключаются в выстраивании и обслуживании системы данных, предварительной обработке информации для дальнейшего использования. На первой и третьей стадии специалист извлекает данные, трансформирует и загружает в систему.

Дата-сайентист работает в смежной области машинного обучения, математического анализа и программирования, создает прогнозные модели и программные алгоритмы, использует в работе различные языки программирования и знания доменной области.

Дата-аналитик отвечает за сбор, исследование, обработку и интерпретацию данных. Специалист делает выводы на основании анализа, которые являются отправными точками для принятия решений менеджмента, научных экспериментов, бизнеса и других областей. В задачи бизнес-аналитика входит сортировка информации и очистка от лишних данных, поиск закономерностей в информационных массивах, графическая или табличная визуализация результатов анализа, написание кодов, составление запросов, формирование отчетов и т. д.

Все три профессии сегодня активно востребованы ввиду развития технологии больших данных в России и во всем мире. При этом в РФ относительно недавно началось активное внедрение системы больших данных, если сравнивать ситуацию с другими странами. Главные отечественные потребители технологии Big Data — банки, логистические центры, энергетические концерны, промышленные предприятия. Разработка сервисов также находится на начальном этапе развития.

В банковской сфере анализ больших массивов данных используется в Сбербанке, ВТБ-24, Альфа-банке, Тинькофф-банке. Системы защищают банковские операции от мошеннических действий, помогают управлять рисками, оценивать кредитоспособность, улучшать качество сервиса, оптимизировать расходы. Клиенты этих банков по достоинству оценили удобство услуг, приток аудитории в эти банки увеличился с момента внедрения новых технологий, прибыль финансовых структур возросла. Случаи мошенничества сократились более чем в 10 раз.

В Сбербанке работает биометрическая система идентификации клиентов по фото. В ВТБ24 при помощи технологий обработки больших данных формируется финансовая отчетность, анализируются отзывы клиентов на сайтах, осуществляется управление клиентским оттоком и сегментация. В Альфа-банке технология Биг Дата задействована для оценки кредитоспособности новых клиентов, персонализации контента, управления рисками и других целей.

В коммерции внедрение систем больших данных охватило поставщиков информационных продуктов, дата майнеров, системных интеграторов, потребителей ПО и создателей полезных сервисов. Технология охватила также крупные промышленные предприятия. Металлургический комбинат в Магнитогорске при помощи специализированного сервиса контролирует и снижает сырьевые расходы, оптимизирует затраты материалов на основании анализа больших объемов данных. Нефтегазовое предприятие в Сургуте пользуется специальной системой, которая отслеживает коммерческие процессы в режиме реального времени, автоматизирует ценообразование и учет продукции.

На основе Big Data создаются полезные сервисы типа Google Trends, 1С-Битрикс BigData, RTB-Media, Alytics, Crossss и другие.

Преимущества и недостатки работы с Big Data

Технология Биг Дата помогает решать многочисленные проблемы управления колоссальными информационными массивами, принимать всесторонне взвешенные решения, автоматизировать аналитические и отчетные процессы. Использование систем способствует предотвращению техногенных катастроф, развитию коммерческой деятельности, улучшению качества сервиса в разных сферах. Благодаря использованию современных систем обработки данных снижается статистика мошенничества, финансовых и информационных преступлений, сокращаются затраты средств на оплату труда штатных сотрудников и время на обработку данных.

Использование Биг Дата приносит ощутимые выгоды:

• ускоряет выпуск программных продуктов;
• упрощает процессы планирования;
• облегчает поиск заинтересованной потребительской аудитории;
• оптимизирует поставки продукции;
• улучшает качество обслуживания;
• упрощает взаимодействие с клиентами;
• повышает лояльность заказчиков.

Но интенсивный рост обрабатываемой информации в цифровом поле не прекращается. При улучшении технологий хранения не снимаются определенные проблемы, с которыми сталкиваются владельцы баз данных. Информация нуждается в оперативной и качественной обработке. Основная часть рабочего времени аналитиков уходит на преобразование данных в доступный вид для пользователей.

В бизнесе для поддержки статуса соответствия трендам необходимо постоянно осваивать стремительно появляющиеся на рынке новые сервисы и инструменты. Это связано с крупными вложениями. По прогнозам аналитиков, в будущем технология охватит не только крупные, но и мелкие, и средние коммерческие структуры. Это потребует большого количества новых разработок и адаптаций.

Выбор данных для обработки также является проблемой для внедрения Биг Дата в разные сферы. Трудности касаются этики сбора пользовательских данных (Ай-Пи адресов, почтовых сообщений, информации о местоположении, покупках в интернет-магазинах, запросах по интересам и т. д.). Вопросы информационной безопасности остаются во многих случаях небезупречно проработанными.

Проблемой внедрения технологии Big Data является дороговизна программных продуктов, недостаток средств и специалистов соответствующей квалификации. Для корректной работы систем необходим найм маркетологов, аналитиков и других профессионалов в области решения конкретных бизнес-задач на основе эффективной обработки больших объемов информации.

Вывод

Современные реалии требуют новых и эффективных средств обработки информации, поэтому прогрессивная технология больших данных внедряется и будет внедряться в разные области человеческой жизнедеятельности. Блокчейн и искусственный интеллект способствуют делегированию части ответственности от человека к машине. Удаленная работа и самостоятельная систематизация данных — технократические признаки ближайшего будущего. То, что когда-то казалось фантастикой, сегодня прочно входит в повседневность. Поэтому в будущем ожидаются новые достижения науки, исследовательской деятельности, производства, связанные с использованием феномена Big Data..