Data Engineer
Опыт работы: 3-6 лет
Мы ищем Data Engineer, который умеет собирать витрины, джойнить данные и проверять полученный результат. Вам предстоит работать с большими данными совместно с аналитиками и командой ML.
О проекте:
Проект представляет собой оптимизацию работы производства и поставки готовой продукции. В область нашей ответственности входит разработка инструментов, позволяющих бизнесу планировать объемы производства, решать логистические и маркетинговые задачи, а также предоставлять оперативные данные для принятия решений.
Чем предстоит заниматься
- проектировать и собирать витрины данных по разработанному ТЗ
- проектировать, разрабатывать и поддерживать ETL-процессы для загрузки данных из/в Data Lake
- писать документацию - комментировать код
- работать с data-аналитиками для создания новых и оптимизации существующих витри
Что для нас важно
- опыт на позиции Data Engineer от 3-х лет
- понимание основных операций СУБД и принципов DWH
- опыт работы с Hadoop технологиями (Spark, Hive и тд)
- опыт работы с Azure/Yandex облачными платформами
- опыт разработки и поддержки ETL-пайплайнов (Airflow/Azure Data Factory)
- хорошее знание SQL, Python
- уверенный опыт работы с базами данных PostgreSQL и ClickHouse
- опыт работы с инструментами обеспечения качества данных (Great Expectations)