Data engineer Data Vault в розничной сети
Job in
Boise, Ada County, Idaho, 83701, USA
Listed on 2026-11-06
Listing for:
NDA
Full Time
position Listed on 2026-11-06
Job specializations:
-
IT/Tech
Data Engineering, SRE/Site Reliability, Unix/Linux, IT QA Tester / Automation
Job Description & How to Apply Below
Проект посвящён построению, развитию и оптимизации ETL/ELT-пайплайнов, внедрению Data Vault 2.0 и современных практик инженерии данных для крупной розничной сети.
Задачи- Создавать и развивать Spark-пайплайны, включая Structured Streaming
- Проектировать модульные и динамические DAG в Airflow, разрабатывать кастомные операторы, сенсоры и хуки
- Строить слоистую модель в dbt, реализовывать incremental-модели, snapshots и макросы, настраивать Slim CI
- Проектировать структуры Data Vault 2.0 для новых источников данных
- Выбирать архитектуру и форматы хранения данных, проектировать схемы с учётом ожидаемой нагрузки
- Настраивать CI/CD-процессы в Git Lab, окружения dev, stage и prod, runners и approvals
- Внедрять фреймворки контроля качества данных, настраивать метрики и оповещения
- Развивать Semantic Layer и выстраивать lineage в Data Hub
- Составлять и контролировать дата-контракты
- Опыт в инженерии данных от 4 лет
- Уверенное владение Python: ООП, асинхронность, многопоточность, типизация, тестирование и профилирование кода
- Продвинутые навыки работы со Spark: оптимизация и настройка задач, анализ планов выполнения и логов
- Глубокое понимание SQL, EXPLAIN, планов выполнения запросов, настройки индексов и особенностей разных движков СУБД
- Навыки администрирования СУБД: партиционирование, шардирование, репликация, настройка резервного копирования и миграций, понимание блокировок и уровней изоляции транзакций
- Опыт работы с Airflow: XCom, настройка пулов и SLA, Kubernetes Pod Operator
- Высокий уровень владения dbt
- Практический опыт работы с Kubernetes и Docker, умение оптимизировать образы контейнеров
- Опыт работы с S3, настройки lifecycle-правил и управления версиями объектов
- Навыки работы с Git, включая rebase и cherry-pick, организация версионирования релизов
- Умение создавать дашборды и настраивать оповещения в Grafana или аналогичных инструментах
- Будет плюсом: опыт внедрения и поддержки Data Vault 2.0, работа с Iceberg и Delta Lake, понимание специфики розничной торговли и больших объёмов транзакционных данных
Срок привлечения — 24 месяца с возможностью продления Вакансия актуальна до 27.10 включительно до 17:00
To View & Apply for jobs on this site that accept applications from your location or country, tap the button below to make a Search.
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
Search for further Jobs Here:
×