Профессия ETL разработчик
Разные типы данных крупные организации собирают, хранят и обрабатывают из множества источников. Сведения извлекаются, преобразуется и переносятся в хранилища данных за счет ЕTL-систем. Работу с данными системами ведет ETL- разработчик. Этот специалист отвечает за консолидацию, федерализацию и обмен данными. ЕTL- разработчик извлекает данные из внешних источников, преобразовывает данные на основе имеющейся бизнес-модели, а затем загружает преобразованные данные в хранилище данных.
в месяц
в месяц
в месяц
- Высшее IT/техническое образование либо последние курсы государственного технического ВУЗа
- Базовое понимание физической модели данных одной из промышленных БД
- Владение SQL на базовом уровне (навыки в написании простых запросов)
- Опыт работы в роли разработчика DWH не менее 1 года
- Уверенные знания SQL
- Не менее 1.5 лет опыта разработки, как минимум, на одном из следующих ETL инструментов: SAS DI, Informatica PC, ODI
- Высшее техническоематематическое образование
- Опыт работы на проектах построения Хранилищ данных в качестве ETL-разработчика или архитектора
- Опыт работ с DWH, либо детальный слой/витрины
Дмитрий Аношин: инженер данных Amazon, автор канала «Инжиниринг Данных», основатель проекта «Datalearn». Сначала кажется все достаточно просто: есть данные и инструменты для работы с ними. Однако, с другой стороны, очень просто потеряться в огромном количестве информации. Лучший способ начать обучение – это начать с простого, и продвигаться к более сложным вещам. Есть возможность учиться и развиваться бесплатно. Существует много ресурсов, таких как Coursera, Edx, на которых есть курсы по аналитике, визуализации, машинному обучению и другим областям. Западные ресурсы обычно на английском языке. Однако есть отечественный ресурс - DataLearn, с помощью которого возможно разобраться с иностранной терминологией.
Антон Мордвинов: аналитик данных в банке. В этой профессии можно найти себя даже если нет знаний по высшей математике. Важно только концентрироваться на решении прикладных задач и умелом применении инструментов. Стоит начать обучение с книг. А затем перейти к технической базе знаний. Для этого необходимо изучить языки Python и R, базу данных SQL, машинное обучение. После того как будет изучена теория, необходимо пробовать свои навыки на реальных задачах. Портал Kaggle содержит много данных в открытом доступе, свободные к анализу. Здесь часто происходят соревнования по анализу.
Наталья Мордвинова: профессиональный маркетолог. Чтобы стать специалистом ETL-разработки необходимо получить знания в разных областях. Каждую сферу можно осваивать постепенно. Для изучения стоит проходить онлайн курсы и самостоятельно изучать теорию и решать задачи с помощью ментора. Еще поддержку возможно получить в Slack, где предусмотрен чат под каждый проект. Также будущему ETL-разработчику очень важно обладать такими качествами, как самоорганизация и целеустремленность. Необходимо ориентироваться в больших объёмах информации и находить самые актуальные методы и принципы.
Платформа бизнес-аналитики обеспечивает подключение к различным источникам данных. Также здесь предоставляются инструменты анализа, и обеспечивается визуализация результатов на любом устройстве. Платформа обеспечит моментальный доступ к информации и актуальным отчетам. Все это позволит принимать правильные управленческие решения. Каждый модуль отвечает за решение определенной задачи: загрузка данных из существующих информационных систем, автоматизированный ввод данных, анализ и обогащение данных.
Vixtract – это сборка на основе популярных открытых инструментов обработки информации. Она позволяет аналитикам BI самостоятельно выгружать, очищать и преобразовывать данные, подключиться к любым источникам, автоматизировать созданные задания ETL. Основными достоинствами ViXtract являются удобство работы аналитика и большие возможности развития. В основе платформы лежат три компонента:
-Jupyter – интерактивная среда для работы с Python;
-PETL – библиотека преобразования данных;
-Cronicle – надежный планировщик с удобным интерфейсом.
Эта книга посвящена разным советам, которые помогут стать продуктивнее и более качественно программировать. Здесь приведены основные типы данных языка Python и подходы к написанию кода. Книга рекомендуется к прочтению как новичкам, так и опытным специалистам. Преимущества издания: множество интересных решений задач и хороший язык повествования.
Книга о том, как визуализировать результаты более качественно. Здесь детально описаны все этапы создания правильных графиков, а также приведены контрпримеры. В книге нет формул, хитрых и необычных графиков, сложных кейсов. Уроки в ней основаны на базовой теории, но при этом просты и понятны благодаря множеству примеров из реальной жизни; их можно с легкостью применить в вашей презентации.
Практически вся литература, посвященная сфере IT, написана на английском языке. Deep Learning и Neural Networks - это первая книга о глубоком обучении, написанная на русском языке российскими авторами. В ней приведено огромное количество примеров, различных историй из науки и ссылок на источники. Дано max объяснений и min минимум кода, серьезный материал о машинном обучении сочетается с увлекательным изложением.
В этой книге обсуждается, как реализовать методы ETL. Рассмотрен тематический обход, который применяется в таких областях, как высокочастотная алгоритмическая торговля и целенаправленные диалоговые системы. Здесь также есть примеры концепций машинного обучения, таких как обучение под наблюдением, глубокое обучение и НЛП.
«BI-аналитика» от Geekbrain. Курс позволит научиться анализировать данные, создавать понятные отчёты, с помощью которых возможно принять правильные управленческие решения. Предлагаются разные формы обучения: занятия в группе с преподавателем, онлайн-лекции и вебинары, видеозаписи занятий. По итогам обучения выдается диплом, а также гарантируется трудоустройство. Курс подойдет для аналитиков и специалистов из смежных сфер (возможно оптимизировать работу и использовать BI-инструменты для обработки информации).
«ETL-разработчик» от Нетологии. Курс от нетологии – кратчайший путь до уровня Middle. Обучение предназначено для новичков, аналитиков, инженеров данных или разработчиков. Основная цель – помочь повысить эффективность проекта. Курс подойдет для новичков в data science, аналитиков и программистов Python, JS, Java, C++. Программа курса:
-SQL и работа с базами данных.
-Data Warehouse.
-BI-решения.
-Выпускной проект.
«Профессия Веб-разработчик» от Skillbox. Курсы позволят с нуля научиться создавать полноценные сайты и веб-приложения. Здесь знакомят с НTML, CSS, JavaScript и PHP. По итогам выдается диплом, а также предоставляется помощь в трудоустройстве. Курс подойдет для:
-Новичков в веб-разработке: с нуля изучаются основы программирования на JavaScript и PHP, учат верстать сайты на HTML и CSS.
-Начинающим разработчикам: работа с самыми популярными языками программирования, изучаются фреймворки Vue, React или Angular.
-IT-специалистам: здесь учат рограммировать на JavaScript и PHP, даются знания в ТypeScript.