Remote Senior Data Engineer: Data Platform & Lakehouse
Remote / Online - Candidates ideally in
Houston, Harris County, Texas, 77001, USA
Listed on 2026-10-30
Houston, Harris County, Texas, 77001, USA
Listing for:
Miractal
Full Time, Remote/Work from Home
position Listed on 2026-10-30
Job specializations:
-
IT/Tech
Data Engineering, Data Warehousing, IT Specialist, Data Science Manager
Job Description & How to Apply Below
Ищем Data Engineer, который поможет развивать платформу данных: от потоковой загрузки событий и построения моделей до холодного хранения и контроля качества данных.
Задачи:- Развивать потоковую загрузку событий из RabbitMQ в Click House: подключать новые потоки, настраивать дедупликацию и backfill исторических данных
- Строить холодное хранилище на Apache Iceberg: выгружать архив из Click House через Spark, переносить исторические данные, развивать подготовленный слой и историю справочников
- Настраивать инкрементальную загрузку данных из 1С и реплик PostgreSQL, в перспективе — внедрять CDC
- Разрабатывать витрины и модели данных на dbt и materialized views Click House
- Ежедневно сверять полноту данных и суммы с источниками, настраивать тесты качества данных, мониторинг свежести и объёма потоков
- Оркестрировать процессы в Airflow, развивать CI/CD моделей и DAG, поддерживать runbook потоков
- Участвовать в архитектурных решениях и код-ревью, развивать каталог данных
- Опыт в Data Engineering от 4–5 лет
- Промышленный опыт работы с Click House:
Merge Tree-движки, materialized views, репликация и оптимизация запросов - Уверенное знание SQL и Python
- Опыт работы с dbt в продакшене: модели, тесты и CI
- Опыт разработки и эксплуатации DAG в Apache Airflow
- Опыт работы со Spark и табличными форматами для lakehouse — Iceberg, Delta или Hudi; понимание S3-совместимых хранилищ
- Опыт потоковой загрузки данных из брокеров сообщений — RabbitMQ или аналогов; понимание at-least-once и идемпотентности
- Понимание medallion-архитектуры, SCD2 и инкрементальной загрузки
- Знание Docker и Kubernetes на уровне пользователя, опыт работы с Git
- Будет плюсом: Опыт загрузки данных из MS SQL или 1С; Знание Debezium и CDC; Опыт работы с dlt и Open Metadata; Знакомство с платёжными и персональными данными; Опыт работы с on-prem инфраструктурой
- Конкурентную заработную плату — обсудим после собеседования
- Удалённый формат работы
- График 5/2: с 10:00 до 19:00
- Мощный рабочий ноутбук 100% компенсацию больничных Корпоративную скидку на изучение английского языка в Skyeng
Position Requirements
10+ Years
work experience
To View & Apply for jobs on this site that accept applications from your location or country, tap the button below to make a Search.
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
(If this job is in fact in your jurisdiction, then you may be using a Proxy or VPN to access this site, and to progress further, you should change your connectivity to another mobile device or PC).
Search for further Jobs Here:
×