Senior Data Engineer at Matrix, focusing on data pipeline development and optimization for the energy market. Collaborating on scalable solutions for data processing and analytics.
Responsibilities
Desenvolver e otimizar Pipelines de Dados (Batch) performáticos e escaláveis para ingestão de dados estruturados, semi-estruturados e não estruturados ao nosso Data Lake (GCS);
Desenvolver e gerenciar cargas de ETL/ELT para processamento de dados em Spark/SQL para alimentar as camadas Trusted (Silver) e Refined (Gold) em nosso Data Warehouse (BigQuery);
Atuar na consolidação e modelagem de dados de fontes internas e externas a fim de viabilizar iniciativas de Analytics, Business Intelligence, Data Science, GenAI e Produtos de Dados;
Desenvolver integrações de dados online (Streaming) para ingestão e processamento de dados na GCP;
Projetar e implementar arquiteturas de dados eficientes, otimizando tempo de desenvolvimento, performance e custo computacional;
Replicar regras de negócio no processo de transformação de dados para a geração de datasets;
Criar e manter processos de Data Quality, Data Assurance, Linhagem e Versionamento de Dados;
Ser a Referência Técnica do Time de Data & Analytics da Matrix Energia, suportando as iniciativas mais inovadoras e ousadas do nosso cotidiano.
Requirements
Graduação em cursos de Computação, Sistemas, Tecnologia, Dados ou áreas afins;
Sólida experiência nas linguagens Python, Spark/SQL;
Experiência em CI/CD, preferencialmente em GitHub;
Experiência em Google Cloud Platform (GCP), Google Cloud Storage (GCS) e Google BigQuery;
Experiência com ferramentas de orquestração de dados tais como Airflow ou Prefect;
Experiência com tecnologias de data streaming tais como Pub/Sub ou Azure Functions;
Conhecimento sobre Modelagem de Dados na metodologia Medallion.
Benefits
Saúde de qualidade com a Omint: tenha acesso a uma rede de saúde e odontológica de primeira linha através da Omint com cobertura nacional.
Cartão Alelo Pod para seus gastos flexíveis com o Vale Refeição e Alimentação, sendo aceito nas principais redes de restaurantes e supermercados.
Nossa jornada de trabalho tem carga horária flexível e sustentável.
Mobilidade: você pode escolher uma modalidade que faz sentido para você! Vale Transporte, auxílio combustível ou estacionamento.
Total Pass: plataforma online dedicada à promoção da qualidade de vida, saúde e bem-estar. Planos que proporcionam acesso a academias, estúdios e serviços online, com descontos exclusivos da Matrix, abrangendo não apenas você, mas também até 3 dependentes.
Seguro de vida em grupo.
Participação nos Lucros e Resultados (PLR), mediante atingimento de metas e performance.
Trabalhar com uma equipe fantástica em um ambiente colaborativo que busca construir um futuro brilhante e mais sustentável.
Enterprise Architect Sr position at PNC collaborating with technology stakeholders to build enterprise data architecture. Focus on data models, governance, and guiding data decisions for business strategy.
Data Engineer architecting and maintaining data products using Databricks and Power BI for Nitro's digital transformation efforts. Collaborating to optimize processes and leverage cloud technologies.
Lead Data Engineer driving major transformation in enterprise technology at Capital One. Collaborating with Agile teams to develop, test, and implement innovative full - stack solutions.
Senior Data Engineer at Teya, focusing on scalable data product development and architectural design. Join to help build the modern data platform for advanced analytics and AI.
Seeking a Data Engineer with Palantir expertise, focusing on scalable solutions and data workflows. Join EXL, a leader in data analytics and digital operations.
Senior Data Engineer at Keyrus leading the design, development, and delivery of scalable data platforms. Collaborating with teams to translate requirements into production - grade solutions and mentoring engineers.
Senior Data Engineer for global payments platform designing ETL pipelines and data models. Collaborating across teams to tackle complex data challenges in an innovative fintech environment.