Как упростить обработку Big Data с помощью SAP HANA и SAP Cloud Platform Big Data Services

Введение

SAP Cloud Platform Big Data Services год назад стала частью портфеля SAP , с приобретением Altiscale, ведущего поставщика Big Data как услуги. За это время мы встретились со многими организациями, стремящимися узнать больше о нашем предложении, потому что они хотят решить свои проблемы по обработке больших данных. Большинство этих встреч было сосредоточено на стратегиях объединения новых типов данных и существующих корпоративных данных, и мы неоднократно приходили к выводу, что интеграция с платформой SAP HANA может значительно упростить данный вариант использования больших данных для клиентов.

Связывание хранилища аналитических данных с озером данных не сказать, что это совсем новая тематика. Altiscale достигла совершенства как компания, состоящая из одного продукта, предоставляющая организациям платформу Hadoop и Spark с полным спектром услуг в облаке. Заказчики извлекли выгоду из интегрированного подхода к большим данным, который включал инфраструктуру, программное обеспечение, операции и поддержку удобного сервиса по подписке, но им часто приходилось связывать платформу Altiscale с хранилищем данных или витриной данных от второго поставщика для создания своих отчетов и аналитических решений. Теперь являясь частью SAP, мы можем предложить более  мощную комбинацию  для наших пользователей: SAP HANA и SAP Cloud Platform Big Data Services.

Использование сервисов больших данных для обработки данных

При совместном использовании SAP Big Platform Big Data Services позволяют произвести очистку данных и преобразования необработанных данных, прежде чем они будут обрабатываться в SAP HANA для дальнейшего, более детального анализа. Крупномасштабная инфраструктура хранения и обработки данных Big Data Services, основанная на Hadoop, делает платформу наиболее подходящим местом для загрузки, обработки и последующего хранения терабайтов менее структурированных внешних данных – потоков кликов, журналов, IoT, текста, изображений и видео. Анализ обработанных данных с использованием SAP HANA позволяет пользователям использовать проверенную платформу для вычисления в памяти и использовать ее высокую производительность и параллелизм для аналитики с малыми задержками.

Рисунок 1. SAP Cloud Platform Служба больших данных как средство обработки данных для внешних данных и SAP HANA как высоко интерактивная аналитическая платформа

В ходе встреч по продажам, семинаров для клиентов и различных мероприятий большинство встреченных нами специалистов по  обработке данных согласились с тем, что беспрепятственная интеграция между SAP HANA и Big Data Services принесет значительную пользу их организациям. Использование SAP HANA в качестве центральной точки входа для большинства пользователей системы больших данных позволяет открывать данные как из уровня памяти, так и из уровней Hadoop с помощью знакомых инструментов и приложений. Таким образом новые внешние источники данных  становятся доступными для не технических пользователей, тем самым возможно повторное  использование существующих инвестиций в экосистему SAP HANA.

В качестве дополнения к SAP HANA, SAP Big Platform Big Data Services обладает определенными качествами, которые делают ее идеальными для использования в качестве перерабатывающей базы данных, особенно для больших объемов неструктурированных типов данных, которые предприятия пытаются использовать сегодня. Big Data Services могут выступать в качестве гибкого облачного ETL-механизма для задач переработки данных, прозрачного наращивания и сжатия Big Data кластеров клиентов в соответствии с рабочей нагрузкой. Службы больших данных также предлагают организациям возможность воспользоваться преимуществами программного обеспечения с открытым исходным кодом, как Spark, и его возможностей машинного обучения и потоковой передачи для своих требований к данным и проектированию их архитектуры.

Использование сервисов больших данных для устаревающих данных

Дополнительное преимущество, которое пользователи получают от объединения сервисов больших данных SAP HANA и SAP Cloud Platform, – это возможность перемещать более старые данные (или данные с более низким значениями) в их среды Hadoop. Службы больших данных хорошо подходят для хранения больших объемов данных, к которым редко обращаются, и в то же время предоставляют пользователям возможность запрашивать эти данные при необходимости с помощью возможностей виртуализации данных SAP HANA посредством  интеллектуального доступа к данным SAP HANA.

Рисунок 2: Архитектура Data Refinery, включая корпоративные данные и устаревание данных

Управляемое соединение SAP HANA, доступное в сервисах больших данных.

Связь между SAP HANA и SAP Cloud Platform Big Data Services достигается за счет использования интеллектуальной интеграции данных (SDI) и интеллектуального доступа к данным (SDA) SAP HANA. SDI обеспечивает перемещение данных между Big Data Services и SAP HANA. В то время как SDI позволяет вводить в SAP HANA меньшие наборы уточненных данных для запросов, SDA позволяет удаленно запрашивать данные в службах больших данных из SAP HANA посредством использования виртуальных таблиц и без перемещения данных в SAP HANA.

Использование SDI и SDA требует, чтобы в среде Big Data Services работали определенные компоненты, агент обеспечения данных и Spark Controller. Начиная с четвертого квартала 2017 года, в Big Data Services существуют возможности устанавливать, настраивать и управлять этими компонентами, обеспечивая надежное постоянное соединение между Big Data Services и SAP HANA в рамках своего предложения по управляемому подключению SAP HANA.

У пользователей будет возможность использовать любой путь доступа – перемещение данных или виртуализация данных – для запроса данных в Big Data Services из SAP HANA. Пользователи также могут использовать Data Lifecycle Manager (DLM) для определения стратегий многоуровневого хранения данных между SAP HANA и Big Data Services. Использование SAP HANA в сочетании с сервисами Big Data Services дает дополнительное преимущество, заключающееся в том, что приложения, написанные для SAP HANA, теперь могут быть расширены без изменений использования данных из сервисов Big Data Services.

 

Поддержка SAP Data Hub для сервисов больших данных

Недавно был запущен SAP Data Hub, который помогает организациям управлять сложными ландшафтами корпоративных данных и будет поддерживать службы больших данных SAP Cloud Platform. Клиенты смогут использовать SAP Data Hub для организации загрузки внешних и корпоративных данных в Big Data Services и SAP HANA, а также координировать работу по проектированию архитектуры данных и их обработки  в Big Data Services в рамках своих конвейеров данных.

Повышение продуктивности организаций с помощью больших данных

Мы ожидаем, что сочетание сервисов больших данных SAP HANA и SAP Cloud Platform станет мощным стимулом для распространения использования больших данных на предприятии. Благодаря полностью управляемой интеграции между двумя продуктами, SAP в одном лице может предложить простоту унифицированного решения для больших данных, включающего в себя ведущую в категории базу данных  вычисления в памяти и компоненты больших данных как услуга. В ситуациях, когда пользователям сложно внедрить новые типы данных в существующее хранилище данных или когда им приходится сталкиваться со сложностями эксплуатации озера данных на Hadoop и хранилища данных от разных поставщиков, сочетание SAP HANA и Big Data Services поможет стать организациям значительно более продуктивными с их активами данных.

 

Оригинал статьи:

https://blogs.saphana.com/2017/09/26/simplifying-big-data-with-sap-hana-and-sap-cloud-platform-big-data-services/