Lead Big Data Engineer

Обязанности:

• Участие в сложных интеграционных проектах по развитию гибридного DWH (Hadoop, Oracle) в роли технического архитектора
• Разработка и проектирование потоков данных, алгоритмов загрузки и обработки данных в Hadoop
• Оптимизация и настройка производительности ETL-процессов
• Анализ и тестирование существующих решений в технологическом стеке Hadoop
• Наш стек: Hadoop, hive, spark, nifi, kafka, amqp, rest, DevOPS, containerization/virtualization, big daa storage & rocessing, mapReduce and distributed computing, ml engines, streaming analytics, ETL tools (informatica and etc.), data governance (MDM, Flows processing, meta management, data quality management, datalifecycle, security …)  data viz intruments – tableau, powerBI

Требования:

• Опыт внедрения и поддержки кластеров данных на основе Apach Hadoop (HDFS, YARN, MapReduce, Spark, HAWQ, Hive/Cloudera)
  
• Опыт разработки ETL средств
• Опыт работы с крупномасштабными распределенными on-line системами
• Плюсом будет опыт работы с DMP системами и с инструментами визуализации данных
• Желателен опыт программирования на Scala/Java 8
• Опыт работы с NoSQL базами данных (HBase, Cassandra)
• Опыт работы с реляционными СУБД (Oracle, MS SQL)
• Навыки работы с Unix shell
• Приветствуется опыт работы с промышленными ETL-инструментами (Informatica, ODI)

Условия:

• Работа в стабильной Компании – лидере рынка с уникальной корпоративной культурой;
• белая заработная плата и социальный пакет;
• развитая система премирования;
• ДМС, компенсация питания, мобильной связи;
• отличная Команда профессионалов;
• возможности профессионального и вертикального развития;
• офис м. Шаболовская.