Seguem os repositórios de projetos e estudos:
Big Data - Cadastro Rural
Para o sexto e último projeto da trilha de Engenharia de Dados do Santander Coders + AdaTech, tivemos que comparar as solicitações entre banco distribuído e banco centralizado. A fim de utilizar tecnologias diferentes, foi configurado um ambiente Docker com Spark, Delta Tables e Hive para a solução de banco distribuído e adicionado Pandas e Bibliotecas de conexão com banco de dados MySQL para conexão com banco externo. Para a solução distribuída foi criada uma pipeline de um processo de ETL com arquitetura Medallion e verificados os tempos de querys para duas situações: As Delta Tables da camada Silver; As tabelas salvas e gerenciadas com o Hive. Após isso foi criado um ambiente para as querys do banco de dados MySQL externo e utilizado Pandas para responder conexão e verificação dos tempos de resposta.Analytics Engineering
Para o quinto projeto da trilha de Engenharia de Dados do Santander Coders + AdaTech, tivemos que criar um pipeline de um processo de ETL e adicionar Great Expectations para verificar e validar a qualidade dos dados. O projeto foi realizado inteiramente no Databricks a partir de dados disponibilizados pelo AirBnB, utilizando notebooks para armazenar funções e objetos, um notebook para as entrypoints e um notebook com o script de utilização. O projeto contou arquitetura Medallion, Delta Tables tabelas na camada gold utilizando Hive para consultas.Data Pipeline
Para o quarto projeto da trilha de Engenharia de Dados do Santander Coders + AdaTech, tivemos que criar um pipeline de um processo de ETL. O projeto foi iniciado em ambiente local para realização de alguns testes e então o projeto foi migrado para o *Databricks* para real aplicação. O processo de extração foi realizado a partir de API e tanto os dados brutos como transformados foram salvos em arquivos *.parquet*, sendo os dados transformados também disponibilizados em formato *delta* e em banco de dados para ser acessado diretamente. Finalmente, o processo contou com a elaboração de tabelas para resposta a algumas perguntas de negócio e disponibilização dessas tabelas em bando de dados. O projeto também contou com automação para que os dados pudesses ser extraídos e transformados em intervalos específicos de tempo.Data Quality
Para o terceiro projeto da trilha de Engenharia de Dados do Santander Coders + AdaTech, tivemos que aplicar conceitos de POO para criar uma classe de Data Quality. A classe deve gerar um relatório com estatística descritiva, dispersão e mais informações sobre uma base de dados em *.csv*. O objetivo é ter informações o suficiente para gerar insights de uma maneira rápida e facilitar as posteriores etapas de limpeza de dados e análise exploratória. Além disso, o projeto tinha como objetivo o trabalho colaborativo utilizando o github para, em grupo, desenvolver a aplicação.Santander Coders 2024 - POO CRUD
Para o segundo projeto da trilha de Engenharia de Dados do Santander Coders + AdaTech, tivemos que aplicar conceitos de POO para criar um CRUD (Create, Read, Update Delete). O objetivo é a manipulaçao de objetos e foi proposto que fosse trabalhado com dicionários. Utilize dessas definições para simular um sistema destinados a Instituições de saúde, com registros de Instituições, Consultas, Médicos e Pacientes (todos fictícios). Também foi criada uma interface para interação com o usuário e um Gerenciado para fazer integração entre Interface, Objetos e arquivos .json. A escolha de arquivos .json se deu porque não poderíamos usar bibliotecas não nativas e porque quis simular a aplicação de um banco de dados.Santander Coders 2024 - Algoritmo KNN
Para o primeiro projeto do curso de Engenharia de Dados, tivemos que aplicar algumas definições básicas de python e lógica de programação para criar um algorítmo de KNN sem o auxílio de bibliotecas externas. O KNN (K-Nearest Neighbors) é um modelo supervisionado de Machine Learning que pode ser utilizado tanto para classificação quanto para regressão. O desafio envolve criar e utilizar o modelo para corretamente classificar o perfil de investidores baseado nas carteiras de investimento.Classificação de Objetos
Projeto de classificação de imagens. O intuito do projeto é aplicar uma Rede Neural Convolucional para classificar objetos. Nesse caso o tema de estudo eram hortifrutas para uma rede de supermercados. O projeto utiliza bibliotecas redes PyTorch como base para a rede neural e Gradio para testar o resultado. Também foi criada uma aplicação no HuggingFace do projeto.Segmentação de Clientes
Projeto de segmentação de clientes. O intuito do projeto é aplicar tecnologias e técnicas para segmentar clientes através de dados de pesquisa realizada junto dos mesmos. O projeto utiliza algorítmos de PCA para diminuição de dimensionalidade e KMeans para segmentação dos clientes com a biblioteca scikit-learn.Predição de Churn
Projeto de Prediçao de Churn. O intuito do projeto é aplicar tecnologias e técnias para prever o Churn dos funcionários d euma empresa, baseado nos dados do disponíveis. O projeto é baseado em modelos de classificação da biblioteca scikit-learn, xgboost e lightgbm e a comaração das métricas entre eles.Predição de Preços
Projeto de Prediçao de Preços. O intuito do projeto é aplicar tecnologias e técnias para prever o resultado do valor de seguro de vida, baseado nos dados do usuário. O projeto é baseado em modelos de regressão linear e compara as métricas com árvore de decisão.EDA - ENEM 2023
Projeto de Análise Exploratoria de Dados (EDA). O intuito do projeto é aplicar tecnologias e técnicas aprendidas em um projeto com dados reais. A partir disso, obter insights sobre os dados apresentados. A base de dados é referente ao ENEM de 2023, disponibilizada publicamente.Challenge Alura - Decodificador
O início da trilha de Back-End do programa Oracle Next Education traz conceitos de lógica de programação e desenvolvimento web em HTML e CSS. Esse projeto é a última etapa do início do curso, e possui algumas regras específicas que deveriam ser seguidas, mas com a obrigatoriedade de personalização pessoal. O deploy pode ser visualizado no GitHub Pages ou no Vercel.OP_Pages
Projeto pessoal. Desde os meus 15 anos eu leio o Mangá One Piece. Decidi automatizar a checagem e download dos últimos capítulos. Para isso criei um scrapper para perder menos tempo fazendo essa organização.Fiasco2DnD
Projeto Pessoal. Jogo e Mestro campanhas de RPG. Normalmente o início das campanhas é necessário fazer uma gambiarra narrativa para que os personagens possuam um motivo para continuarem como grupo. Pensando em deixar essa situação mais flúida, fiz uma pequena automação para gerar conexões aleatórias entre os jogadores. A adaptação é baseada em um RPG de nome "Fiasco".DiscordBot - The Firemind (Projeto Pessoal)
Projeto Pessoal. Criei um servidor Discord para a campanha que mestro e decidi adicionar algumas apllicações para os jogadores. Coloquei algumas integrações e bots para o jogo e decidi criar um Bot a partir da API da OpenAI para caso algo precise ser criado na hora, poderia utilizar o bot e a interação com os jogadores. Esse é o projeto do Bot e o nome é em referência a um personagem do cardgame Magic the Gathering.