Loading repository data…
AngelitaSVB / repository
Implementação do primeiro pipeline ETL (Extract, Transform, Load) usando PySpark e Jupyter Notebook para carregar dados de um CSV delimitado por ponto e vírgula (exportacao_cursos_fatec_21_10_2025.csv) para um banco de dados SQL Server local (datalake_local)
A transparent discovery signal based on current public GitHub metadata.
This score does not audit code, security, maintainers, documentation quality, or suitability. Verify the repository and its current documentation before adoption.
Este repositório contém os entregáveis da primeira Sprint, focada na montagem do ambiente e na implementação do primeiro pipeline de ETL (Extract, Transform, Load) de ponta a ponta.
O objetivo foi processar dados de cursos FATEC e carregá-los em um ambiente SQL Server local.
sa) e a senha são lidos de Variáveis de Ambiente (SQLPWD) e não estão hardcoded no código.etl_fatec_cursos.ipynb)| Etapa | Ação | Solução Técnica Implementada |
|---|---|---|
| Extração (E) | Leitura do CSV (.csv) | Configurado para delimitador ; (ponto e vírgula), quote='"', e codificação UTF-8. |
| Transformação (T) | Limpeza de Colunas | Remoção de acentos (Área $\rightarrow$ Area) e caracteres especiais nos nomes das colunas. |
| Transformação (T) | Limpeza de Dados | Limpeza do conteúdo das células (removendo espaços duplos/extras) usando F.trim e F.regexp_replace. |
| Carga (L) | Escrita no SQL Server | Dados carregados na tabela dbo.cursos_fatec_2025 em modo overwrite. |
| Arquivo | Função |
|---|---|
etl_fatec_cursos.ipynb | Contém o código PySpark completo do pipeline ETL. Deve ser executado em ordem. |
01_setup_database.sql | Script inicial para garantir a existência do banco de dados datalake_local. |
exportacao_cursos_fatec_21_10_2025.csv | Arquivo de dados de origem para reprodutibilidade. |
set SQLPWD=SuaSenhaAqui antes de iniciar o Jupyter.Selected from shared topics, language and repository description—not editorial ratings.
antonio-pilan /
Nos estudos de Machine Learning usando o Livro do O'Reilly, fiz um grande resumo no Notebook Jupyter juntamente ao primeiro exemplo dado no livro sobre o algorítmo KNN e sua implementação usando Scikit-Learn
27/100 health