Старший инженер по данным@ Keyrock

Компания Keyrock с 2017 года зарекомендовала себя как ведущий маркет-мейкер в области цифровых активов, насчитывающая более 250 сотрудников из 42 стран. Мы предоставляем услуги в области маркет-мейкинга, торговли опционами, высокочастотной торговли, OTC и DeFi. Центральная команда данных существует всего несколько месяцев и строит платформу данных Keyrock, чтобы предоставить сотрудникам и AI-агентам необходимые данные и контекст для быстрой и автономной работы. Ваша задача будет заключаться в создании потоковых и пакетных конвейеров, которые будут собирать, нормализовать и распределять данные о рынке, торговле и портфелях, обеспечивая устойчивость к сбоям потоков и обменов. Вы будете разрабатывать инструменты самообслуживания (SDK, шаблоны, AI-агенты), чтобы другие команды могли публиковать, потреблять и строить на основе продуктов данных без ожидания от команды. Вам предстоит управлять контрактами данных и эволюцией схем, проектировать lakehouse и временной слой в зависимости от паттернов запросов потребителей. Также вы будете строить и развивать рамки управления данными и качества данных: обнаружение устаревших потоков, валидация схем, проверки диапазонов, идемпотентные записи, происхождение, владение и самовосстановление. Ваша работа будет заключаться в создании аналитики, на которой будет основываться бизнес: спреды между биржами, VWAP на глубине, микроархитектура книги заказов, виды портфелей, экспозиция и производительность. Вы будете делать наблюдаемость, стоимость и производительность первоклассными с первого дня, а также рассматривать инфраструктуру как код (Docker, Terraform, CI/CD). Мы ищем специалиста с более чем 8-летним опытом создания производственных систем данных, на которые полагаются другие. Вы должны обладать высокой квалификацией в Python и SQL, понимать, как работает движок. Вам необходимо иметь глубокое понимание моделирования данных как для потоковых, так и для аналитических нагрузок. Опыт проектирования и эксплуатации потоковых систем на Kafka, Redpanda, MSK или Kinesis, а также понимание разделения, групп потребителей, смещений и реестров схем будет большим плюсом. Вы должны использовать хранилище временных рядов в производстве (желательно ClickHouse; TimescaleDB, QuestDB или аналогичные), уметь обсуждать проектирование таблиц в зависимости от паттернов запросов. Опыт работы с архитектурой lakehouse, понимание компоновки таблиц, разделения и компакции также необходимы. Вы должны строить системы с самовосстановлением и идемпотентностью; Docker, Terraform и CI/CD — это ваш способ работы. Понимание данных финансового рынка: книги заказов, сделки, справочные данные, портфели, экспозиции — будет большим плюсом. Знания в области криптовалют, традиционных финансов или обоих направлений также будут преимуществом. Дополнительные навыки: Apache Iceberg или Delta Lake; DataHub или аналогичные; Rust.