[Hiring] Data Engineer @GGsel

Role Description

Мы ищем Дата-инженера для аудита, доработки и поддержки текущих решений.

• Разработка и поддержка пайплайнов
• Проектирование ETL/ELT-процессов для переноса данных из PostgreSQL и других источников в ClickHouse
• Написание надёжных и идемпотентных DAG в Airflow для регулярного обновления витрин данных
• Построение слоёв данных с использованием dbt
• Обеспечение качества данных: тесты, проверка свежести, мониторинг аномалий
• Оптимизация хранилища и производительности
• Тюнинг ClickHouse: настройка схем таблиц под конкретные бизнес-запросы, устранение узких мест
• Оптимизация SQL-запросов для снижения нагрузки на БД
• Управление ресурсами кластера ClickHouse: CPU, RAM, Disk I/O
• Контроль стоимости хранения
• Администрирование и надёжность
• Обеспечение отказоустойчивости: настройка репликации и бэкапов
• Мониторинг состояния пайплайнов и баз данных
• Оперативное реагирование на инциденты

Qualifications

• Глубокое знание ClickHouse
• Проектирование схем: Знание семейства движков MergeTree, выбор ключей партиционирования и сортировки для оптимального сжатия и скорости чтения
• Оптимизация запросов: Умение читать планы запросов, оптимизировать потребление памяти, настраивать материализованные представления (Materialized Views) и проекции
• Администрирование: Настройка шардирования и репликации, управление TTL, мониторинг слияний
• Оркестрация: Управление сбором данных через Apache Airflow
• Трансформация: Опыт работы с dbt для построения слоев данных
• Python: Разработка ETL-скриптов, работа с Pandas, интеграция с API
• SQL: Владение на уровне эксперта (аналитические запросы, оптимизация)
• Инфраструктура: Docker (для развертывания ClickHouse), Git

Benefits

• Удаленная работа из любой точки мира
• Конкурентная зарплата + performance премия 2 раза в год
• Гибкий график и фокус на результат
• Оплата обучения, курсов и конференций
• Возможность реально влиять на продукт и команду