Data Engineer для CodeGen-платформы
Что за роль
Задача связана с анализом использования CodeGen-платформы и AI-инструментов в разработке. Вы будете работать с данными из внутренних сервисов, GitLab, Jira и логов AI-агентов, а также готовить метрики и аналитические витрины.
Чем вы будете заниматься
- Разрабатывать ETL/ELT-пайплайны и поддерживать обновление данных.
- Проектировать базы данных и аналитические витрины.
- Анализировать использование ресурсов, качество и производительность сервисов.
- Проверять гипотезы о влиянии LLM на процессы разработки, тестирования, аналитики и DevOps.
- Участвовать в создании RAG-решений, включая подготовку и индексацию данных.
- Готовить метрики, дашборды и визуализации с помощью Superset, Streamlit и Python.
Требования
- Отличное знание Python и уверенное владение SQL.
- Опыт работы с pandas, Polars или аналогичными инструментами.
- Опыт работы с реляционными СУБД и хранилищами данных, разработки ETL/ELT-пайплайнов и использования оркестратора.
- Опыт работы со структурированными и неструктурированными данными.
- Регулярное использование AI-инструментов для разработки и аналитики, например Claude Code или Codex.
- Умение самостоятельно исследовать данные и проверять гипотезы.
Будет плюсом
- Опыт с Apache Airflow, LLM, GenAI, RAG, AI-агентами, векторными базами данных или поисковыми системами.
- Знание Git, GitLab и процессов разработки ПО, а также базовых методов статистического анализа.
Что мы предлагаем
- Полная занятость, возможна удалённая работа.
- Оплата — от 240 000 до 250 000 ₽.
Кто здесь добьётся успеха
Уверенно проектирует и поддерживает надёжные ETL/ELT-пайплайны на Python с pandas или Polars и SQL, умеет выбирать подход к обработке данных по объёму, скорости и требованиям к обновлению.
Комфортно работает с разнородными источниками — GitLab, Jira, внутренними сервисами и логами AI-агентов — и превращает их данные в согласованные аналитические витрины для оценки использования CodeGen-платформы.
Имеет senior-опыт проектирования хранилищ и оптимизации запросов в PostgreSQL, Greenplum или Oracle, а также организации хранения данных в Amazon S3; самостоятельно отвечает за качество и стабильность контуров данных.
Самодисциплинирован и инициативен в удалённой работе: умеет уточнять требования к метрикам, документировать решения и последовательно разбирать проблемы качества, производительности и использования ресурсов без постоянного контроля.
Ресурсы для обучения
Карьерный путь
Обзор рынка
Навыки и требования
Тренды отрасли
Новости AI/Big Data
Загружаем новости отрасли...
Ищем релевантные статьи за последние 6 месяцев