Este projeto apresenta uma arquitetura de pipeline de dados de baixo custo, projetada para startups que precisam processar e analisar dados de vendas de forma eficiente.
Introdução
Este projeto descreve uma arquitetura de pipeline de dados de baixo custo voltada para startups, com foco em integração de dados de vendas a partir de APIs e CRMs, utilizando tecnologias modernas e acessíveis. O objetivo é criar uma solução escalável para ingestão, transformação e visualização de dados, garantindo que tanto engenheiros de dados quanto analistas possam colaborar eficientemente. A arquitetura proposta inclui a divisão do pipeline em múltiplas camadas (Bronze, Silver e Gold), integração com APIs, Airbyte para ingestão de dados, Airflow para orquestração e DBT para transformação de dados. A plataforma colaborativa "Briefer" também é integrada, permitindo que analistas de dados acessem e utilizem os dados transformados de forma eficiente.
Assistente IA Especialista em Analise de Dados e Vendas
Além do pipeline de dados, o projeto inclui uma interface de assistente AI no Streamlit, que possibilita interagir com um modelo de IA, como ChatGPT ou Llama3. Essa interface oferece uma experiência prática para análise de vendas e insights, permitindo que analistas façam perguntas e obtenham respostas rápidas e insights relevantes.
Dashboard Interativo
Como parte da solução, desenvolvemos um dashboard interativo utilizando o Streamlit, que permite visualizar e analisar os dados de vendas e recursos humanos de forma intuitiva e eficiente. O dashboard apresenta métricas-chave, gráficos interativos e tabelas informativas, facilitando a tomada de decisões baseadas em dados.
Principais funcionalidades do dashboard:
- Vendas ao Longo do Tempo: Gráfico que mostra a evolução das vendas, ajudando a identificar tendências e sazonalidades.
- Vendas por Produto: Análise dos produtos mais vendidos, destacando quais geram mais receita.
- Top 10 Melhores Vendedores: Ranking dos vendedores com maior volume de vendas, reconhecendo a performance individual.
- Folha Salarial Mensal: Acompanhamento dos custos mensais com salários, monitorando a evolução da folha de pagamento.
- Distribuição de Funcionários por Gênero: Visualização da composição da equipe, promovendo insights sobre diversidade.
- Média Salarial por Cargo: Comparação das remunerações médias entre diferentes posições na empresa.
- Contratações por Mês: Gráfico que evidencia o ritmo de crescimento da equipe ao longo do tempo.
- Aniversariantes do Mês: Lista dos funcionários que fazem aniversário no mês atual, fortalecendo o engajamento interno.
O dashboard foi projetado para ser acessível e fácil de usar, permitindo que membros da equipe sem conhecimento técnico aprofundado possam explorar e interpretar os dados disponíveis.
Sequence Diagram
O diagrama abaixo ilustra a interação entre as principais camadas e componentes da arquitetura, desde a ingestão dos dados brutos até sua transformação e disponibilização para análise.
sequenceDiagram
participant U as Usuário
participant SW as Sistema Web Streamlit
participant V as Validação Pydantic
participant DB as Banco de Dados SQLAlchemy
U ->> SW: Inserir Dados
SW ->> V: Enviar Dados para Validação
alt Dados Válidos
V ->> DB: Inserir Dados no Banco de Dados
DB ->> SW: Confirmação de Armazenamento
SW ->> U: Dados Salvos com Sucesso
else Dados Inválidos
V ->> SW: Retornar Erros de Validação
SW ->> U: Exibir Mensagem de Erro
end
O diagrama a seguir descreve o fluxo de dados desde a entrada do usuário no frontend até a validação dos dados e o salvamento no banco de dados, se aprovado.
graph TD
A[Usuário Digita no Frontend] --> B{Validação do Contrato de Dados}
B -- Dados Válidos --> C[Salva no Banco de Dados]
B -- Dados Inválidos --> D[Erro de Validação Exibido]
A --> |Entrada de Dados| B
B --> |Validação pelo Pydantic| C
B --> |Falha na Validação| D
C --> E[Dados Salvos com Sucesso]
D --> F[Mostrar Mensagem de Erro no Frontend]
Tecnologias Utilizadas
PostgreSQL com pg_duckdb
- Descrição: O PostgreSQL é um dos bancos de dados relacionais de código aberto mais robustos e amplamente adotados no mercado. Com a extensão pg_duckdb, ele ganha a capacidade de executar consultas analíticas complexas em um armazenamento colunar otimizado, combinando a escalabilidade e a confiabilidade do PostgreSQL com a performance analítica da DuckDB.
- Uso no Projeto: Utilizado como banco de dados principal e para operações analíticas de grande volume, permitindo que consultas intensivas sejam processadas de forma mais rápida e eficiente.
FastAPI com Swagger
- Descrição: FastAPI é um framework moderno e de alto desempenho para a construção de APIs com Python 3.6+ baseado em tipos de dados. Ele é projetado para ser rápido e fácil de usar, oferecendo validação automática de dados e documentação interativa.
- Uso no Projeto: Utilizado para criar a API que manipula dados de funcionários, produtos e vendas. O FastAPI gera automaticamente a documentação da API utilizando Swagger, permitindo que os desenvolvedores testem as endpoints diretamente pela interface.
- Acessando o Swagger: Após iniciar a aplicação com o comando
uvicorn main:app --reload, a documentação do Swagger pode ser acessada em http://127.0.0.1:80/docs.
NGINX
- Descrição: NGINX é um servidor web de alto desempenho que também pode atuar como um balanceador de carga e proxy reverso. Sua arquitetura assíncrona o torna extremamente rápido e eficiente no uso de recursos.
- Uso no Projeto: O NGINX está sendo usado como load balancer, distribuindo as requisições entre múltiplas instâncias do backend (Backend-1, Backend-2, Backend-3). Assim, se algum backend estiver sobrecarregado, o NGINX encaminha requisições para outro backend disponível. Ele garante maior disponibilidade (caso um container falhe, ainda há outros disponíveis), ajuda na escalabilidade (suportando mais requisições) e melhora a performance ao distribuir de forma equilibrada o tráfego entre os backends.
graph TD
A[Usuario] -->|Envia Requisicao HTTP| B{NGINX Load Balancer}
B -->|Distribui Requisicoes| C[Backend-1]
B -->|Distribui Requisicoes| D[Backend-2]
B -->|Distribui Requisicoes| E[Backend-3]
Streamlit
- Descrição: Streamlit é uma biblioteca Python de código aberto que permite a criação de aplicativos web interativos de forma rápida e fácil. Utilizado principalmente para construir dashboards e interfaces de dados, o Streamlit é ideal para prototipagem rápida e visualização de dados sem a necessidade de conhecimentos avançados em desenvolvimento web.
- Uso no Projeto: Utilizado para construir o frontend da aplicação, permitindo que os usuários insiram dados de vendas, fornecedores, funcionários e produtos de forma interativa e visualizem os resultados diretamente na interface, por meio de um dashboard.
Pydantic
- Descrição: Pydantic é uma biblioteca de validação de dados que utiliza modelos baseados em classes Python para garantir que os dados inseridos estejam no formato correto. É amplamente utilizada para validação e serialização de dados, garantindo integridade e consistência.
- Uso no Projeto: Pydantic é utilizado para validar os dados inseridos pelos usuários no frontend, garantindo que as informações estejam corretas antes de serem processadas e salvas no banco de dados.
Psycopg2
- Descrição: Psycopg2 é uma biblioteca que permite a interação com bancos de dados PostgreSQL diretamente através de Python, facilitando a execução de comandos SQL e o gerenciamento das conexões.
- Uso no Projeto: Utilizado para conectar a aplicação ao banco de dados PostgreSQL, executar comandos SQL, e salvar os dados validados.
SQLAlchemy
- Descrição: SQLAlchemy é uma poderosa biblioteca de SQL toolkit e ORM (Object-Relational Mapping) para Python. Ele permite a interação com bancos de dados relacionais de forma mais intuitiva, utilizando objetos Python em vez de comandos SQL diretamente.
- Uso no Projeto: SQLAlchemy foi utilizado para gerenciar a conexão com o banco de dados PostgreSQL e facilitar as operações de CRUD.
MkDocs
- Descrição: MkDocs é uma ferramenta estática de documentação em Python que permite a criação de sites de documentação de forma simples e estruturada. É especialmente útil para projetos que precisam de uma documentação clara e acessível para os desenvolvedores e usuários.
- Uso no Projeto: MkDocs é utilizado para gerar a documentação do sistema, detalhando como o projeto foi estruturado, as funcionalidades desenvolvidas, e como o sistema deve ser mantido e atualizado.
- Configuração e Execução:
- Para visualizar a documentação localmente, execute:
mkdocs serve
- Acesse a documentação em:
http://127.0.0.1:8000/
MinIO
- Descrição: MinIO é uma solução de armazenamento de objetos de código aberto compatível com o protocolo Amazon S3, ideal para o armazenamento escalável de grandes volumes de dados. Ele permite o uso local de serviços de armazenamento distribuído para dados não estruturados, como arquivos, logs e objetos de dados.
- Uso no Projeto: No contexto deste projeto, MinIO é utilizado para armazenar dados brutos de produtos, funcionarios e fornecedores, por exempo: imagens, documentos em pdf. Ele serve como a camada de armazenamento persistente dos dados nas fases de ingestão e transformação.
Airbyte
- Descrição: Airbyte é uma plataforma de integração de dados de código aberto que permite conectar facilmente APIs, bancos de dados e outros sistemas para ingestão de dados em tempo real.
- Uso no Projeto: Responsável pela ingestão de dados a partir de diferentes APIs e fontes de dados, garantindo que os dados sejam movidos para as camadas corretas do pipeline.
Airflow
- Descrição: Apache Airflow é uma plataforma de orquestração de workflows que permite o agendamento e monitoramento de pipelines de dados.
- Uso no Projeto: Orquestra a execução de todos os componente