Что за роль

Нужно собрать пилотную версию AI-шлюза, который помогает компаниям Великобритании снижать расходы на использование моделей и защищать персональные данные. Шлюз на LiteLLM будет располагаться между приложениями клиентов и OpenAI, Anthropic и Google. Целевой срок готовности к пилоту — середина декабря.

Чем вы будете заниматься

• Настроить ключи, бюджеты и учёт расходов по клиентам.
• Реализовать маскирование персональных данных с Presidio и британскими детекторами, включая NI, NHS с проверкой контрольной суммы и почтовые индексы.
• Добавить изолированное для каждого клиента точное и семантическое кеширование, повторы запросов и резервные модели.
• Реализовать журнал экономии с базовым сравнением в shadow mode, базовую маршрутизацию пакетных запросов, диагностику cache hit и оповещения о резких скачках расходов.
• Подготовить дашборд, ежемесячный отчёт об экономии, журнал аудита, тесты и документацию.

Требования

• Опыт создания backend-шлюза или proxy-проекта, а не только чат-бота.
• Практический опыт с LiteLLM, Presidio и AWS.
• Готовность указать стоимость по этапам, доступность в неделю и дату начала.
• Еженедельные обновления о ходе работы.

Будет плюсом

• Знание UK GDPR.
• Опыт работы с пакетными API провайдеров и prompt caching.

Что мы предлагаем

• Оплата по фиксированной стоимости и этапам после прохождения приёмочных тестов.
• Код размещается в GitHub компании с первого дня.
• Для отобранных кандидатов предусмотрено небольшое оплачиваемое тестовое задание по детекторам британских персональных данных.
• Перед получением полного описания проекта отобранные кандидаты подписывают краткое NDA.