Senior AI Analyst delivering value in AI. Conducting EDA, defining KPIs, and evaluating models for production impact.
Responsibilities
Realizar estudos para recomendar métricas e critérios de aceite que traduzam objetivos de negócio em KPIs e limiares quantitativos, mensurável e defendível nas discussões de priorização e go/no-go.
Construir e manter datasets e ground truth (incluindo cenários de teste) a partir de EDA, amostragem e rotulação com qualidade, criando base confiável para treinar, comparar e validar modelos, RAG e agentes.
Avaliar sistematicamente modelos, pipelines de RAG e agentes de IA por meio de experimentos offline/online, AB tests e análise de erro, para selecionar a melhor abordagem e comprovar que a solução entrega valor real.
Projetar e executar experimentos com hipóteses claras, desenho estatístico adequado e documentação dos resultados, permitindo decisões técnicas e de produto baseadas em evidência e não em opinião.
Manter uma suíte de regressão de modelo/assistente que rode a cada mudança relevante, com scripts e checks automatizados, para impedir que novas versões destruam ganhos já conquistados em releases anteriores.
Monitorar continuamente performance e draft em produção por meio de dashboards, alertas e revisões periódicas, identificando degradação de qualidade ou mudança de distribuição de dados e disparando planos de mitigação.
Medir impacto de negócio das soluções de IA ligando métricas técnicas a indicadores operacionais/financeiros, comparando cenário antes/depois ou grupos de controle, para sustentar decisões de investimento e priorização de roadmap.
Documentar experimentos, decisões, limitações e trade-offs em formatos reprodutíveis (notebooks, relatórios curtos, changelog), garantindo rastreabilidade técnica e facilitando auditorias e futuras iterações.
Atuar no desenho de requisitos e arquitetura de IA trazendo visão de dados e avaliação desde o discovery, revisando escopo e apontando riscos de mensurabilidade ou viabilidade, para evitar casos de uso que não se sustentam nos dados.
Colaborar de forma ativa com engenharia e gestão de projetos na definição de critérios de aceite, plano de testes e leitura de resultados, garantindo que cada entrega chegue em produção já acompanhada de evidência quantitativa.
Requirements
Ensino Superior completo em Ciência de Dados, Estatística, Matemática ou Matemática Aplicada, Ciência da Computação, Engenharia da Computação, Sistemas de Informação, Engenharia de Produção, Engenharias, Geologia, Física ou Economia.
Identity Intelligence Analyst supporting the Office of National Security at HHS. Focused on threat identification and analysis in a government intelligence setting.
Process Intelligence Analyst optimizing publishing workflows at Springer Nature. Analyzing performance metrics and reducing turnaround times with cross - functional collaboration.
Background & Data Intelligence Analyst aiding in investigations of insurance fraud through data mining and research. Join the Special Investigations Unit in San Diego, California.
Senior Analyst for Digital Products at Globo, shaping data - driven strategies and optimizing digital performance. Collaborating across teams to enhance user engagement in the digital landscape.
Market Intelligence Analyst at Braveo conducting market trend analysis to support strategic business decisions. Focused on data - driven insights in a hybrid work environment.
Senior Analyst in Market Intelligence at a construction materials company. Candidate responsible for strategic analysis and product portfolio management.
Academic Intelligence Analyst supporting integration processes and data analysis for YDUQS education project. Collaborating to improve academic models and generate strategic insights.
Market Intelligence Analyst responsible for monitoring market indicators and analyzing complex datasets. Supporting strategic decisions and presenting insights to executives.