Введение
«Для работы с корпоративными данными методология DataOps означает гораздо больше, чем просто DevOps», – таково мнение технического директора Exasol Матиаса Голомбека, которое он сформулировал в блоге. Матиас уверен, что DataOps способна очень сильно увеличить продуктивность работы с данными и обладает реальным потенциалом для внедрения и распространения данных и аналитики для принятия решений.
DataOps – это понятие, которое сформировалось на стыках различных корпоративных стратегий работы с данными на протяжении нескольких последних лет. В процессе своего формирования концепция DataOps быстро привлекала новых последователей, занимая все большее место в профессиональной деятельности data-экспертов. На сегодняшний день DataOps становится мейнстримом в работе с данными.
Объем работы с данными в компаниях неуклонно растет и тенденций к замедлению нет. Одновременно с ростом объемов данных растут их сложность и изменчивость. В свете этих обстоятельств DataOps может быть решением, которое поможет сократить время, чтобы в аналитическом цикле перейти от идеи к пониманию того, как ее реализовать, от потребностей компании к созданию моделей и диаграмм. DataOps может стать именно тем, в чем так нуждаются data-команды, находящиеся под давлением больших объемов данных.
Вопросы возникающие при начале работе с DataOps:
- Что такое DataOps и кто это придумал?
- Как именно DataOps может помочь улучшить существующие корпоративные стратегии работы с данными?
Что такое DataOps?
DataOps — методология управления корпоративными данными, которая позволяет перенести опыт DevOps на управление данными и аналитику.
Интеллектуальный фундамент, на котором основана методология DataOps, был проработан командой DataKitchen, но, если вкратце – для работы с корпоративными данными методология DataOps мощнее , чем DevOps.
Безусловно, DataOps многое берет у DevOps, когда речь идет об оптимизации билдов кода, улучшения качества и снижения времени вывода аналитических приложений на рынок. Также как и DevOps, DataOps способствует внедрению использования автоматизированных инструментов и вовлекает в единый рабочий процесс ранее разрозненные группы специалистов, формируя кросс-функциональные группы.
Помимо вышеизложенного, DataOps вносит гибкие методологии, позволяющие data-группам быстрее реагировать на потребности бизнеса, путем формирования итераций своих релизов, что обеспечивает более быстрые интервалы в инновациях. DataOps менее затратна в производстве за счет использования статистического контроля процессов (SPC) для автоматизации управления процессом работы с данными и мониторинга (Ops составляющая аналитики). При этом, DataOps предоставляет возможность осуществлять непрерывное управление данными и гарантию качества, что имеет критически важное значение для обеспечения ускорения интервалов производства.
Если подытожить, цель DataOps состоит в том, чтобы позволить пользователям – data scientist’ам или data-аналитикам тратить больше времени на создание, развертывание и улучшение моделей и визуализаций, а не на создание процесса работы с данными и соответствующих инструментов с нуля или перестройку существующих.
DataOps использует машинное обучение, однако это не является главной причиной роста ее популярности
Итак, мы рассмотрели теоретическую часть. Но что дает DataOps на практике?
DataOps на практике
По моим наблюдениям в работе с клиентами, рост популярности DataOps в некоторой степени привязан к развитию машинного обучения, а также к необходимости создания шаблонов для ускорения извлечения ценности из данных. Объединение data-специалистов, инженеров-программистов, а также специалистов из смежных дисциплин в единые, кросс-функциональные DataOps-команды, положительно сказывается на качестве создаваемых ими моделей машинного обучения, которые получают более экспертную оперативную поддержку после своего развертывания. Это упрощает и ускоряет работу data scientist’ов (которые, как правило не имеют познаний инженеров-программистов) по проверке правильного развертывания моделей и предоставления указаний по обслуживанию, обновлениям и оптимизации производительности.
Более обобщенно DataOps дает преимущества команде аналитики в любой ее профессиональной деятельности.
По мере того, как в организациях растут объемы и увеличивается число видов данных, растет и число пользователей. В этих условиях управление данными и их доставка, как правило, становятся основными “бутылочными горлышками” в аналитическом цикле “время-извлечение ценности”. Таким образом, отказ от DevOps в пользу DataOps для более тесного взаимодействия людей, процессов и технологий (также как и в разработке программного обеспечения) может значительно повысить продуктивность работы с данными.
В общем, если DataOps обеспечивает вам улучшение в предоставлении высококачественных данных и вызывающих доверие идей, тогда у DataOps есть реальный потенциал для формирования демократизации данных и аналитики самообслуживания.
Методология DataOps неизбежна. По крайней мере для крупных организаций это верно на 100%.
Внедрение DataOps – это непростое мероприятие, учитывая то, что эта методология сильно влияет не только на инструменты, но и на сформированные команды специалистов. (Люди всегда меняются медленнее, чем технологии.)
Однако объемы данных продолжают расти, а с ними растут и потребности бизнеса. Наше собственное недавнее исследование показало, что более двух третей лиц, ответственных за принятие деловых и технических решений в компаниях, сообщают о получении все большего количества запросов на анализ данных от разных бизнес-отделов. Эти респонденты также ожидают, что в будущем эта потребность будет расти во всех сферах коммерции.
В этом контексте большинство руководителей знают, что в их работе крайне необходим более формализованный, но при этом гибкий подход к работе с данными и к развертыванию моделей. Data-организациям и cоответствующим IT-отделам нецелесообразно оказывать ежедневную прямую поддержку каждой бизнес-группе.
Таким образом, переход на DataOps, возможно, является неизбежностью для большинства организаций и почти наверняка является таковой для крупных организаций.
