📊 Projeto ETL - Python + Power BI

Pipeline completo de ETL (Extract, Transform, Load) desenvolvido em Python para extração, transformação e carga de dados, com exportação otimizada para análise no Power BI.

🎯 Funcionalidades

• ✅ Extração: Coleta de dados de banco de dados PostgreSQL
• ✅ Transformação: Limpeza, normalização e agregação de dados
• ✅ Carga: Gravação de dados tratados no banco de dados
• ✅ Exportação: Geração de arquivo CSV otimizado para Power BI

📁 Estrutura do Projeto

etl_python_powerBi/
│
├── config/
│   └── db_config.py          # Configurações de conexão com banco de dados
│
├── extract/
│   └── extract_data.py       # Módulo de extração de dados
│
├── transform/
│   └── transform_data.py     # Módulo de transformação e limpeza
│
├── load/
│   └── load_data.py          # Módulo de carga e exportação
│
├── main.py                   # Arquivo principal de execução
└── README.md                 # Documentação do projeto

🔧 Pré-requisitos

• Python 3.7+
• PostgreSQL
• Bibliotecas Python:
  • pandas
  • sqlalchemy
  • psycopg2 (driver PostgreSQL)

📦 Instalação

1. Clone o repositório ou faça download dos arquivos

2. Instale as dependências:

pip install pandas sqlalchemy psycopg2-binary

⚙️ Configuração

1. Configure as credenciais do banco de dados no arquivo config/db_config.py:

def get_engine():
    user = "seu_usuario"
    password = "sua_senha"
    host = "localhost"
    port = "5432"
    db = "nome_do_banco"
    
    return create_engine(f"postgresql://{user}:{password}@{host}:{port}/{db}")

2. Certifique-se de que a tabela vendas existe no banco de dados com a estrutura esperada:
   • cliente (texto)
   • data_venda (data)
   • valor (numérico)
   • categoria (texto)

🚀 Como Executar

Execute o pipeline ETL completo com o comando:

python main.py

O que acontece durante a execução:

1. Extração: Dados são extraídos da tabela vendas do banco de dados
2. Transformação:
   • Remove duplicatas
   • Normaliza nomes de clientes (primeira letra maiúscula)
   • Converte datas para formato datetime
   • Preenche categorias vazias com "Não Informado"
   • Agrega dados por cliente e mês (total de vendas e quantidade)
3. Carga: Grava dados tratados na tabela vendas_tratadas
4. Exportação: Cria arquivo vendas_powerbi.csv no diretório raiz

📊 Uso no Power BI

Após a execução bem-sucedida:

1. Abra o Power BI Desktop
2. Clique em Obter Dados → Texto/CSV
3. Selecione o arquivo vendas_powerbi.csv gerado
4. Importe os dados e comece suas análises

Campos disponíveis no CSV:

• cliente: Nome do cliente
• ano_mes: Período (formato YYYY-MM)
• total_vendas: Soma total de vendas do cliente no período
• quantidade: Número de transações do cliente no período

🔍 Detalhes dos Módulos

Extract (extract/extract_data.py)

Responsável por conectar ao banco de dados e extrair dados da tabela especificada utilizando SQLAlchemy.

Transform (transform/transform_data.py)

Aplica transformações e limpeza nos dados:

• Remoção de duplicatas
• Normalização de texto
• Conversão de tipos de dados
• Tratamento de valores nulos
• Agregações por período

Load (load/load_data.py)

Gerencia a carga de dados tratados:

• Gravação no banco de dados
• Exportação para formato CSV

Main (main.py)

Orquestra todo o pipeline ETL, executando os módulos na sequência correta.

🛠️ Personalização

Para extrair outras tabelas:

Modifique a chamada em main.py:

df_raw = extract_table("nome_da_tabela")

Para alterar transformações:

Edite a função clean_and_transform() em transform/transform_data.py

Para mudar o nome do arquivo de saída:

Altere o parâmetro em main.py:

export_for_powerbi(df_final, "novo_nome.csv")

⚠️ Observações

• Certifique-se de que as credenciais do banco de dados estão corretas antes de executar
• O arquivo CSV será sobrescrito a cada execução
• A tabela vendas_tratadas será recriada (substituída) no banco de dados a cada execução

📝 Licença

Este projeto está disponível para uso educacional e comercial.

---

Desenvolvido com Python 🐍 | Otimizado para Power BI 📊