Data Engineer (Web3)@ Hibachi

О позиции

Мы ищем Data Engineer для работы в компании Hibachi. Ваша роль будет заключаться в разработке и поддержке эффективных потоков данных, что позволит нам принимать обоснованные решения на основе данных. Эта позиция предлагает возможность работать удалённо и влиять на развитие компании в сфере Web3.

Чем вы будете заниматься

• Разработка потоков данных: проектирование, создание и поддержка пакетных и потоковых данных с использованием PySpark, AWS Glue и Airflow.
• Моделирование данных и архитектура: проектирование модульных, многоразовых и масштабируемых моделей данных с соблюдением лучших практик.
• Управление ETL/ELT процессами: обеспечение эффективного извлечения, очистки и агрегации данных.
• Разработка визуализаций: создание дашбордов в QuickSight или аналогичных BI инструментах для предоставления полезной информации заинтересованным сторонам.
• Мониторинг и отладка: выявление и устранение узких мест в производительности потоков данных.

Требования

• Степень бакалавра или магистра в области компьютерных наук, инженерии или смежной области (или эквивалентный опыт).
• Опыт работы более 2 лет с PySpark для пакетных и потоковых потоков данных.
• Глубокие знания AWS Glue, Apache Airflow и Iceberg.
• Опыт работы с инструментами CDC, такими как AWS DMS.
• Продвинутые знания SQL, включая оптимизацию производительности и сложные преобразования.
• Опыт работы с BI платформами (QuickSight, Tableau, Power BI) для разработки дашбордов.

Будет плюсом

• Понимание тестовых фреймворков (например, Pytest) для потоков данных, юнит-тестирования и QA процессов.
• Отличные коммуникативные навыки, способность связывать технические и бизнес-требования.

Что мы предлагаем

• Конкурентоспособная зарплата в диапазоне $140K - $200K в год.
• Гибкий график работы и возможность работать удалённо.
• Доступ к современным инструментам и технологиям.
• Поддержка профессионального роста и обучения.
• Дружелюбная команда и поддерживающая атмосфера.