Azure Data Engineer
... Blob Storage. Knowledge of Azure Data Factory (ADF), Azure Databricks, Azure Synapse Analytics (formerly SQL Data Warehouse), and other Azure data tools. Data Modeling and Database Design: Experience ...
Data engineer
Қала :
Казахстан, Алматы, проспект Гагарина, 124
Компания :
AVIATA.KZ
Жалақы :
Табылды :
2 hours ago
Сипаттама
Aviata — одна из лидирующих компаний в области бронирования и продажи авиабилетов в Казахстане. Наш сервис включен в рейтинг Forbes "50 крупнейших интернет-компаний Казахстана". Удостоились награды «Компания года — 2014» по результатам Национальной интернет-премии Award.kz.
Обязанности:
- Участвовать в разработке отчетной системы, разрабатывать и поддерживать batch ETL-процессы (Python, SQL, Airflow).
- Разрабатывать и поддерживать обработку потоков данных (Python, RabbitMQ), строить витрины данных.
- Дорабатывать и развивать хранилище данных, интегрировать новые источники данных в DWH.
- Реализовывать проверки качества данных DQ, внедрять новые инструменты по работе с данными в компании.
Требования:
- Хорошое знание SQL - оконные функции, сложные join'ы и подзапросы, опыт оптимизации больших SQL запросов.
- Понимание принципов работы реляционных и колоночных СУБД, опыт проектирования DWH моделирование данных, разбиение по слоям.
- Хорошее знание Python (навыки работы с Pandas будут плюсом), опыт построения data pipeline’ов при помощи Airflow.
- Владение инструментами - Git, Docker, навыки работы с NoSQL СУБД.
- Будет плюсом - знание технологий DBT, Greenplum, Spark, Data Lake, k8s.
Мы предлагаем:
-
Сильная команда. Ребята постоянно прокачиваются, много читают и любят свое дело. Мы гордимся не только тем, какие у нас профессионалы, но и тем какие они личности.
-
Обучение за счёт компании. Если хотите пройти курсы или пойти на конференцию, связанную с вашей областью, компания готова оплатить стоимость обучения.
-
Библиотека с профессиональной литературой. Мы регулярно обновляем список книг, которые можно читать в офисе и брать домой.
- Комфортный офис. Мы переехали в новый офис, где создали еще больше приятных условий для работы: комната отдыха, разные места для работы.
Ұқсас бос орындар
Data engineer
... euros revenue. Catch the ride Data Engineer plays a critical role in data processing, responsible for designing and ... the quality and reliability of data that drives end-to-end ... level in the field of data engineering - Ability to find innovative ...
Senior Azure Data Engineer
... Apache Pig Azure Stream Analytics Data visualization: Power BI Tableau QlikView Data management: Azure Data Lake Storage Gen2 Azure Data Factory (ADF) Azure Synapse Analytics (formerly Azure SQL Data Warehouse) Cloud computing: Azure Virtual ...
Data Engineer
... API, GraphQL, DBT, etc. ) and data pipeline orchestration (e.g., Airflow, ... and transforming large volumes of data, data quality and data validation Experience in SQL (SQL ...
Data Manager to Data Analytics team
... in a dedicated Data & Analytics department. At the moment, ... identifying key data problems challenges development Data strategy, based on Data Governance Framework implementing Data Governance Data Management supporting of the data projects acting as a PMO ...
Data engineer
Вакансия: Data Engineer Мы ищем опытного Data Engineer для присоединения к нашей команде VILED Если вы готовы взять на себя ответственность за поддержание и развитие нашего Data Warehouse (DWH), то эта вакансия ...
Data Engineer
В команду разработки ищем Data Engineer-а на проекты по развитию ...
Data Engineer
... Вас: Опыт работы на позиции Data Engineer не менее 2 лет; Опыт ...
Data Engineer
... качества данных в контуре Big Data Platform; Интеграция с новыми источниками ... ; Обеспечение вывода в промышленное окружение data quality кодов по SOXcritical потокам; ...
Data engineer
... ∙ Продвинутое знание Python ∙ Опыт построения data pipeline’ов при помощи Airflow ∙ Владение ...
Database engineer
... field. Proficiency in SQL and data modeling. Proven experience as a Database Engineer or similar role (minimum 3 years). Strong understanding of data storage solutions, such as Azure ...
Data Engineer
ЕСЛИ ВАМ ИНТЕРЕСНО: Создание и поддержка общей структуры систем данных, включая базы данных, хранилища данных и озера данных. Разработка и оптимизация процессов ETL для извлечения, трансформации и загрузки данных из различных источников в центральное ...
Data Engineer
Крупнейший универсальный коммерческий банк Казахстана приглашает тебя в свою команду. Мы ищем талантливых людей, готовых развиваться и расти вместе с нами. Группа Halyk – это более 17 000 сотрудников в Казахстане и ряде других стран. Наш банк успешно ...
Market insight manager
... the stakeholders to understand the data-analysis steps, enabling them to ... - this includes local movements in Data Warehousing, Visualization, and Infrastructure platforms ...
Research Fellow in Data Analytic (Bishkek, Kyrgyz Republic)
... to the establishment of the Data Hub at the Graduate School ... key terms and concepts of Data Science and Machine Learning. Develop ... years of experience working in data analytics or related area and ...
Senior Data Scientist / Machine Learning Engineer with AWS
... for a skilled Senior Data Scientist Machine Learning Engineer to join our team, with a focus on finance-related machine learning processes.Our candidate should have experience in data science, machine learning, MLOps and data engineering, enabling them to ...
MLOps Engineer
... + cross-functional teams. Our Data Science team is working in ... for an experienced MLOps engineer to help us to build ... dev test stage environments, data processing pipelines, machine learning workflows ... with tools for managing data flows (e.g. Spark, Kafka, ...
Data Office Manager
... architecture of SFA solution and data warehouse Leads internal and external ... , Integration services. Power BI, ETL Data strategy development and implementation experience Big data and machine learning technologies is ...
DX/Shopper Insights Manager
... WCCE for Organized Trade with Data, Shopper Category Customer opportunities & insights ... methodologies and techniques (retail audit data, qual&quant research methodologies etc); ... the use of my personal data and resume by the companys ...