Что за роль

Нужно создать готовый к пилотному запуску AI-шлюз, который будет снижать расходы компаний на модели и защищать персональные данные. Проект строится на LiteLLM; целевой срок — середина декабря.

Чем вы будете заниматься

• Настроить клиентские ключи, бюджеты и учёт расходов.
• Реализовать маскирование персональных данных с Presidio и британскими детекторами для NI, NHS и почтовых индексов.
• Добавить раздельное для клиентов точное и семантическое кеширование, повторы запросов и резервные модели.
• Сделать журнал экономии с базовым сценарием в shadow mode, маршрутизацию базовых пакетных запросов, диагностику попаданий в кеш и оповещения о скачках расходов.
• Подготовить панель управления, ежемесячный отчёт об экономии, журнал аудита, тесты и документацию.

Требования

• Опыт разработки backend-систем и API.
• Опыт создания AI-шлюза или прокси, а не только чат-бота.
• Опыт работы с LiteLLM, Presidio и AWS.
• Указать стоимость по этапам, доступность в неделю и дату начала.
• Предоставлять еженедельные отчёты о ходе работы.

Будет плюсом

• Знание требований UK GDPR.
• Опыт работы с пакетными API провайдеров и prompt caching.

Что мы предлагаем

• Фиксированная оплата по этапам после прохождения приёмочных тестов; общий бюджет — 5 000–10 000 долларов США.
• Код будет размещён в GitHub компании с первого дня.
• После отбора кандидаты подпишут краткое соглашение о неразглашении; одному или двум финалистам могут предложить небольшое оплачиваемое тестовое задание по британским детекторам персональных данных.