Analista de Testes Pleno

Você tem o desafio. A gente tem a solução.

Com mais de 20 anos de mercado, somos um dos principais players de recuperação de crédito e relacionamento do Brasil.

Chegamos pra alavancar as jornadas de negociação com humanização nas relações, digitalização e eficiência na recuperação de crédito.

Usamos dados para mudar o futuro, trazendo ofertas personalizadas no momento que o cliente mais precisa.

Integramos canais para que o atendimento seja por onde o consumidor mais usa e da forma mais simples possível.

Sem letras miúdas ou juridiquês. Aqui é ganha-ganha pro cliente e pra sua empresa.

Eficiência e humanização caminhando juntas, rumo à revolução.

Isso é Intervalor. E este é apenas o começo

Responsabilidades e atribuições

Estamos buscando um QA Engineer especializado em testes de agentes conversacionais baseados em IA Generativa.

Esse profissional será responsável por garantir a qualidade, confiabilidade e consistência das respostas de agentes baseados em LLMs, estruturando estratégias de teste, automação de validação e monitoramento de comportamento dos agentes.

Essa pessoa trabalhará próximo de Prompt Engineers, especialistas de IA e analistas de dados, garantindo que os agentes evoluam de forma segura e confiável ao longo do tempo.

Diferente de testes tradicionais de software, este papel envolve validar comportamentos probabilísticos de modelos de linguagem, analisando aspectos como: Precisão das respostas; Consistência do comportamento; Alucinações; Aderência a políticas e guardrails; Qualidade da experiência conversacional

Requisitos e qualificações

Essa pessoa irá:Criar estratégias de testes para agentes conversacionais baseados em LLMsDesenvolver cenários de teste para validação de comportamento do agenteAutomatizar testes de prompts e respostas do modeloIdentificar alucinações, inconsistências e respostas inadequadasCriar datasets de teste e suites de regressãoValidar aderência a guardrails e políticas de respostaParticipar da análise de qualidade antes de deploy de novas versões do agenteTrabalhar com times técnicos na correção e melhoria do comportamento do agenteMonitorar qualidade das respostas em produçãoVocê trabalhará com tecnologias como:Large Language Models (LLMs)Test automation frameworksAPIs e automação de testesFerramentas de análise de conversasTest datasetsPipelines de avaliação de IAFerramentas comuns incluem:Python (desejável)Frameworks de testes automatizadosFerramentas de experimentação com LLMsAmbientes de simulação de conversas

Requisitos e qualificações

Experiência em Quality Assurance ou Test AutomationExperiência em criação de cenários e planos de testeCapacidade de estruturar testes sistemáticos para sistemas complexosExperiência com APIs e testes automatizadosExperiência prática com ferramentas de IA como ChatGPT, Claude, GeminiPerfil analítico e investigativoForte atenção a detalhesDiferenciais fortesExperiência com IA Generativa ou LLMsExperiência com testes de chatbots ou voicebotsConhecimento em NLP ou análise de textoExperiência com automação de testes em PythonExperiência em Customer Experience ou Contact CentersExperiência com testes de sistemas baseados em IA