Senior Data Engineer designing and optimizing data platforms for clients using Microsoft Azure, Microsoft Fabric, Power BI, and Databricks. Working closely with clients to deliver scalable solutions.
About the role
- Senior Data Engineer optimizing data pipelines for AI solutions developed for clients. Working on data architecture and implementing machine learning models for scalable environments.
Responsibilities
- Responsável por projetar, construir e otimizar pipelines de dados para soluções de inteligência artificial desenvolvidas sob encomenda para clientes do Distrito.
- Projetar e implementar arquiteturas de dados escaláveis para suportar modelos de machine learning e IA generativa;
- Desenvolver e otimizar pipelines para ingestão, processamento e armazenamento de grandes volumes de dados;
- Trabalhar com arquitetos de soluções e engenheiros de machine learning para transformar requisitos de negócio em soluções técnicas eficientes;
- Garantir qualidade, governança e segurança dos dados, aplicando melhores práticas de engenharia de dado;
- Implementar estratégias de MLOps para automação de pipelines e versionamento de modelos;
- Colaborar na integração de APIs e sistemas distribuídos para processamento de dados em tempo real;
- Monitorar a performance e escalabilidade dos sistemas de dados, identificando oportunidades de otimização.
Requirements
- Experiência sólida c/ modelagem de dados e ETL, incluindo frameworks como Apache Airflow, Data Factory ou Spark;
- Domínio de bancos de dados SQL (PostgreSQL, MySQL) e NoSQL (MongoDB, Redis, Cassandra)
- Conhecimento em VectorDB, como Qdrant, é considerado diferencial importante;
- Experiência com arquiteturas de big data e processamento distribuído;
- Conhecimento em Python (Pandas, PySpark) e ferramentas de MLOps (MLflow, Kubeflow, Vertex AI);
- Experiência com serviços de cloud computing (AWS, Azure, GCP ou OCI);
- Familiaridade com contenedores e orquestração (Docker, Kubernetes);
- Experiência com segurança e governança de dados.
- Diferenciais:
- Experiência com engenharia de dados aplicada à IA generativa e modelos LLM;
- Conhecimento em arquiteturas orientadas a eventos (Kafka, RabbitMQ);
- Experiência em infraestrutura como código (Terraform, CloudFormation);
- Certificações em engenharia de dados e cloud computing.
Benefits
- Vaga também para PcD
Job title
Job type
Experience level
Salary
Not specified
Degree requirement
No Education Requirement
Tech skills
Location requirements
Data Engineer providing technical expertise on mission - critical NAVSUP OIS program. Work involves data architecture and database management in AWS GovCloud environments.
Senior Data Engineer focusing on data infrastructure for an AI - driven insurtech startup based in Nepal. Collaborating with teams to optimize data models and maintain data quality.
Senior Professional Consultant leading architecture and design for SAP BW and SAC solutions at Freudenberg. Collaborating with stakeholders and optimizing performance of data landscapes.
Senior Data Engineer designing and managing data architectures to transform large - scale data into insights for Humana. Involves leading technical discussions and implementing best data practices.
Data Engineer II at Early Warning Services developing data science tools and infrastructure. Collaborating on software enhancements and mentoring interns in a hybrid work environment.
ウーブン・バイ・トヨタのデータプラットフォーム実現に情熱を持つエンジニアを募集中。スケーラブルなデータアーキテクチャの設計・実装を担当します。
Senior Data Architect responsible for optimizing data architecture and supporting data - driven business decisions at TruStage. Leading technical guidance for data architecture and cross - functional team collaboration.
Senior Data Architect developing data architecture plans at The Hartford, collaborating with internal teams to align data standards and practices. Leading complex solutions with a focus on operational effectiveness.
Senior Solution Architect defining architecture framework for SA‑CCR in regulatory risk. Collaborating with stakeholders to ensure compliance and efficient data governance.