Engenharia de Dados
Construção de pipelines, processos de ETL/ELT, integração, migração e disponibilização de dados em larga escala.
- Pipelines de dados
- ETL / ELT
- Migração de dados
- Data Warehousing
Engenheiro de Dados com mais de 6 anos de experiência em Big Data, ETL, integração e migração de dados. Atuação em projetos corporativos com Python, SQL, Hadoop, SAP HANA, Vertica, Azure, AWS e ferramentas de orquestração.
Trajetória, experiência e propósito
Atuo na área de dados desde 2019, construindo soluções que envolvem processamento, integração, tratamento e análise de informações em ambientes de Big Data.
Ao longo da minha trajetória, trabalhei em projetos para grandes empresas como Samsung, Oi, Claro e Starbucks, sempre focado em engenharia de dados, ETL, automação de processos, migração de dados, cloud computing e desenvolvimento de soluções tecnológicas.
Nos últimos anos, tenho me especializado em IA Generativa, com experiência em Amazon Bedrock, LangChain, TensorFlow, RAG e vetorização de dados com PGVector para automação de tarefas empresariais.
Meu foco está em transformar problemas complexos em soluções de dados eficientes, automatizadas e escaláveis.
ETL em larga escala com Databricks, agentes de IA com Amazon Bedrock, RAG e vetorização com PGVector.
Migração de dados do SAP HANA para Vertica, ETL com Pentaho, Jenkins e Python.
Pipelines de Big Data, orquestração com JETL, Python, HQL, SQL e serviços Azure.
Pipelines com JiangETL, auditoria Teradata/SQL Server, OLAP (SSAS) e comitê de implantação.
Aplicações Back-end e Windows Forms, PostgreSQL, C#, scripts e automação de processos.
Suporte a servidores Windows, Oracle Micros, MySQL, Oracle, WMWare e gestão de incidentes.
Áreas de conhecimento e atuação
Construção de pipelines, processos de ETL/ELT, integração, migração e disponibilização de dados em larga escala.
Processamento e organização de grandes volumes de dados com Hadoop, Databricks, Sqoop e SSAS.
Desenvolvimento com Python (Pandas, PySpark), SQL e HQL para transformação, validação e análise de dados.
Experiência com AWS (Redshift, Bedrock, Analytics) e Azure (Data Factory, Storage, SQL) para soluções escaláveis.
Automação de fluxos com Apache NiFi, Pentaho, Jenkins, JETL e JiangETL para reduzir atividades manuais.
Treinamento de modelos com LangChain e TensorFlow, agentes com Amazon Bedrock, RAG e vetorização com PGVector.
Ferramentas e conceitos que utilizo no dia a dia
Soluções desenvolvidas ao longo da trajetória
Projeto de migração de dados e objetos do SAP HANA para Vertica em ambiente corporativo Samsung. Envolveu migração de views, procedures, tabelas, functions e jobs, com adaptação e validação de regras de negócio para garantir consistência e integridade dos dados entre as plataformas.
Desenvolvimento e treinamento de agentes de IA voltados à automação de tarefas empresariais. Implementação de RAG (Retrieval-Augmented Generation) para acesso a dados externos, vetorização com PGVector e busca por similaridade.
Construção e otimização de pipelines de dados em ambientes de Big Data. Orquestração de processos ETL com JETL, manipulação com Python, HQL e SQL, e integração de serviços Azure para ingestão e transformação.
Extração, limpeza e modelagem de grandes volumes de dados para prospecção comercial e treinamento de agentes de IA. Uso de Pandas, Requests, Selenium e Beautiful Soup, com modelagem em PostgreSQL e MongoDB.
Base acadêmica e aprendizado contínuo
Tecnólogo em Análise e Desenvolvimento de Sistemas
Faculdade Anhanguera · 2018–2021
Visão técnica de uma solução de engenharia de dados
Tem um projeto envolvendo dados, automação, sistemas ou desenvolvimento web? Entre em contato para conversarmos.