Введение
Очень часто в последнее время мы слышим об экспертах по данным (Data Scientist), аналитиках данных (Data Analyst) инженерах данных(Data Engineer). Давайте размберемся в этих профессиях и поймем разницу между ними.
Большинстов людей часто путают эти термины. Кто эти эксперты по данными, аналитики и инженеры данных? Чем они похожи друг на друга? Что они делают? Каковы роли каждой профессии? Какие технологии они используют? Какие навыки требуются, чтобы стать экспертом по данным, аналитиком данных и инженером данных?
Экперт по данным
Эксперты по анализу данных – это специалисты в области статистики, математики, программирования и построения алгоритмов машинного обучения, которые умеют делать прогнозы и отвечать на ключевые вопросы бизнеса. Эксперт по анализу данных является более высокклассным специалистом, чем аналитик по данным. Эксперт по данным все еще должен уметь очищать, анализировать и визуализировать данные, но у него будут более фундаментальные знания и навыки, а также будет способен обучать и оптимизировать модели машинного обучения. Эксперты по данным отвечают за оценку статистических моделей, создание более совершенных прогностических алгоритмов с использованием машинного обучения, тестирование и постоянное повышение точности моделей машинного обучения, построение визуализаций данных для подведения итогов углубленного анализа.
Эксперт по данным должен иметь знания и навыки:
- машинное обучение,
- глубокое обучение,
- нейронная сеть,
- статистика,
- прогнозное моделирование,
- Владеть языками программирования и технологиями:Hadoop, R, SAS, Python, Scala, Apache Spark
Аналитик данных
Как видно из названия, аналитики данных – это профессионалы, которые заняты обработкой и анализом данных. Аналитик данных берет необработанные данные, очищает и систематизирует их, анализирует , делает выводы и передает результаты выводов заказчику, для принятия им более правильных решений. Аналитики данных имеют разные наименования в зависимости от отрасли, например, как бизнес-аналитик, аналитик баз данных и аналитик бизнес-аналитики.
Аналитики данных отвечают за очистку и организацию данных, их анализ, создание визуализации и представление результатов внутренней команде и бизнес-клиентам компании. Аналитик данных помогает компании принимать лучшие бизнес-решения в будущем.
Аналитик данных должен иметь представление о таких навыках, как:
- визуализация данных,
- статистика,
- обработка данных,
- анализ данных,
- Должен владеть следующими инструментами и программами: Microsoft Excel, SPSS, SPSS Modeler, SAS, SAS Miner, SQL, Microsoft Access, Tableau.
Инженер данных
Инженеры данных являются разработчиками, строителями и менеджерами инфраструктуры «больших данных». Проще говоря, инженеры по обработке данных очищают, подготавливают и оптимизируют данные для их обработки. Именно после обработки данным эксперты по данным смогут начать применять различные методы анализа и визуализации для получения значимых результатов. Они также обеспечивают бесперебойную работу системы. Инженеры данных работают в тесном сотрудничестве с “Экспертами по данным.
Инженер по данным должен иметь представление о таких навыках, как:
- системы баз данных SQL, NoSQL, Hive,
- API данных,
- моделирование данных,
- решения для хранилищ данных,
- инструменты ETL,
- Иметь навыки работы с инструментами, как MongoDB, Cassandra, DashDB, R, Java. , Python, SPSS.