Data Engineer (AI-сценарии)

О позиции

Мы строим внутреннее AI-ядро зарубежного банка и ищем Data Engineer, который будет отвечать за слой данных, необходимый для AI-сценариев. Ваша задача будет заключаться в подготовке и хранении данных для моделей и агентов, чтобы они получали правильные, чистые и актуальные данные из нужных источников. Эта позиция Data Engineer не связана с классическим ETL, а фокусируется на векторных базах, индексах и поисковых движках.

Чем вы будете заниматься

• Проектировать и сопровождать слой хранения для AI-платформы: векторные базы, поисковые индексы, гибридный поиск, metadata-фильтрация.
• Подключать и готовить корпоративные источники данных для RAG-сценариев: документы, базы, API, внутренние системы.
• Строить пайплайны подготовки данных: chunking, очистка, нормализация, обогащение, генерация embeddings.
• Валидировать качество данных на входе и на выходе, включая проверку того, что сгенерировал AI.
• Работать с SQL и реляционными данными: запросы, проверки, интеграция структурированных источников в AI-пайплайны.
• Настраивать и оптимизировать retrieval: релевантность, полнота, скорость, reranking.
• Управлять версионированием данных, индексов и конфигураций.
• Обеспечивать data governance: права доступа, аудит, работа с чувствительными и персональными данными.

Требования

• Опыт работы на роли Data Engineer, Analytics Engineer, ML Data Engineer, Search Engineer или Knowledge Engineer с production-ответственностью.
• Практический опыт построения и сопровождения data-пайплайнов, которые реально использовались в продакшене.
• Уверенная работа с SQL — умение разобраться в сложных данных, проверить гипотезу, найти проблему.
• Опыт работы с поиском, индексами или retrieval-системами.
• Умение работать на стыке данных и продукта: понимание, для какого сценария нужны данные и в каком виде.
• Плюсом будет опыт в банке, финтехе, телекоме или другой регулируемой среде.

Технологический стек

• PostgreSQL, ClickHouse или аналогичные СУБД.
• Qdrant, pgvector, Weaviate, Milvus, Elasticsearch — хотя бы часть из этого.
• Embeddings, hybrid search, metadata filtering, reranking.
• Airflow, Prefect, Dagster или аналогичные инструменты оркестрации пайплайнов.
• Docker, Linux, Kubernetes, CI/CD.

Будет плюсом

• Опыт работы с PII, masking, анонимизацией и разграничением доступов.
• Опыт с корпоративным поиском, knowledge management, data cataloging.
• Опыт парсинга и извлечения данных из неструктурированных источников (PDF, сканы, HTML).
• Понимание RAG-архитектуры и влияние качества данных на качество ответов.

Что мы предлагаем

• Гибкий график работы и возможность удалённой работы.
• Конкурентная зарплата в диапазоне $5,000 - $7,000 в месяц.
• Поездки в Ереван за счет компании 2 раза в месяц на 2-3 дня.
• Доступ к обучающим ресурсам и возможность профессионального роста.
• Дружелюбная команда и поддержка в развитии.