Python/LLM engineer

Python/LLM engineer

Грейд: Senior

Период привлечения: ASAP, долгосрочно

Языки: разговорный английский

Ключевая цель — разработка backend-сервисов для оркестрации и выполнения end-to-end симулированных диалогов с развёрнутыми AI-агентами в корпоративном масштабе. Речь идёт о взаимодействии LLM-персоны клиента с живым агентом через real-time каналы. Домен направлен на обеспечение максимально реалистичного, надёжного и высококонкурентного тестирования агентов. В зону ответственности входит provision инфраструктуры для каждого запуска (каналы, деплойменты, верификация окружения), управление тысячами одновременных симулированных диалогов через WebSocket-мост, мониторинг прогресса задач и уровня ошибок, сохранение транскриптов и результатов для движка оценки, а также отслеживание использования для биллинга и аудита. Сервис является фундаментальным runtime для Evaluations, поэтому latency, throughput, graceful degradation и observability — это ключевые продуктовые требования, а не опциональные дополнения.

Успешный специалист на этой должности — это инженер с сильным продуктовым мышлением, способный работать автономно, брать на себя end-to-end ответственность за многомесячные deliverables и эффективно взаимодействовать с кросс-функциональными командами. Роль предполагает техническое лидерство, наставничество и участие в проектировании систем на дорожных картах длительностью 9–18 месяцев.

Место в структуре организации: команда Evaluations / платформенная команда, тесное взаимодействие с продуктовыми, инфраструктурными и QA-командами.

– Проектирование, разработка и поддержка высокопроизводительных низколатентных backend-сервисов на Python с использованием asyncio для оркестрации end-to-end симулированных диалогов с AI-агентами.

– Provisioning инфраструктуры для каждого запуска: каналы, деплойменты, верификация окружения.

– Управление тысячами одновременных симулированных диалогов через WebSocket-мост (python-socketio) с обеспечением устойчивости к переподключениям, backpressure и частичной доставке сообщений.

– Мониторинг прогресса задач и уровня ошибок, реализация retry-механизмов, идемпотентности и graceful degradation.

– Сохранение транскриптов и результатов для движка оценки, отслеживание использования для биллинга и аудита.

– Интеграция LLM через внутренний LLM gateway (OpenAI SDK), работа с prompt-driven customer personas, streaming ответов, управление недетерминированными выходами, оптимизация стоимости и latency.

– Проектирование API для масштабируемых потоков данных с contract-first подходом (OpenAPI/AsyncAPI) в распределённых сервисах.

– Обеспечение observability: OpenTelemetry + OTLP, Datadog, SLO, структурированное логирование.

– Написание и поддержка тестов: pytest (async, xdist), Testcontainers, respx, Pact contract tests, Locust load tests, staging E2E; соблюдение ruff, mypy strict, SonarQube.

– Участие в CI/CD: Docker, Helm, Kubernetes, GitHub Actions, Unleash feature flags, Renovate.

– Техническое лидерство на сложных проектах, наставничество, эффективное партнёрство с кросс-функциональными командами для достижения общих бизнес-целей.

– Вторичный фокус (nice-to-have): работа с frontend-стеком (TypeScript, React, TanStack Query, Zod, single-spa microfrontend, Vitest, Playwright).

– Подтверждённый опыт архитектуры, создания и поддержки высокопроизводительных низколатентных систем для real-time streaming данных.

– Знание WebSocket/Socket.IO, server-sent events, persistent connections и связанных edge cases (переподключения, backpressure, частичная доставка сообщений).

– Продвинутые навыки Python (особенно async/asyncio). Владение TypeScript — сильное преимущество. Фокус на проектировании scalable, testable и maintainable software.

– Твёрдое понимание design patterns, clean code и event-driven архитектур. Опыт планирования задач, fan-out тысяч конкурентных job, retry-механизмов, идемпотентности и graceful degradation. Знание message brokers (Kafka, NATS) — существенное преимущество.

– Практический опыт production-деплоя LLM: prompt engineering, streaming responses, управление недетерминированными выходами, оптимизация cost/latency, внедрение надёжного тестирования и observability для AI-компонентов.

– Опыт проектирования API для масштабируемых потоков данных, в частности с использованием contract-first методологий (OpenAPI/AsyncAPI) в распределённых сервисах.

– Чёткое понимание использования product analytics для генерации user-focused insights и влияния на бизнес-результаты.

– Опыт system design и технического лидерства на сложных проектах с дорожными картами 9–18 месяцев.

– Способность эффективно работать в динамичной agile-среде, писать высокомасштабируемый код и доводить высокоэффективные инициативы до завершения.

– Отличные навыки collaboration и лидерства, опыт эффективного партнёрства с кросс-функциональными командами.

– Высокая степень автономности и end-to-end ownership многомесячных deliverables: управление scope, execution и operational readiness (reliability, observability, quality assurance) с минимальным надзором.

– Сильное продуктовое мышление: способность ориентироваться в неоднозначных требованиях, предлагать обоснованные trade-offs, глубоко понимать problem space и совместно со стейкхолдерами строить оптимальные решения.