Loading repository data…
lucaslvs / repository
Um Crawler desenvolvido em Python com utilizando Scrapy, Numpy, Pandas e Matplotlib, que busca os gastos com o programa Bolsa Família, com dados de 2004 em diante.
A transparent discovery signal based on current public GitHub metadata.
This score does not audit code, security, maintainers, documentation quality, or suitability. Verify the repository and its current documentation before adoption.
Um Crawler desenvolvido em Python com utilizando Scrapy, Numpy, Pandas e Matplotlib, que busca os gastos com o programa Bolsa Família, com dados de 2004 em diante.
Criado por:
Tem o objetivo de coletar os dados de gastos do bolsa família por estado e facilitar a exibição dessas informações
Entre no repositório e crie um ambiente virtual com o virtualenv:
cd fatec-government-alms
virtualenv venv
Ative o ambiente virtual:
source venv/bin/activate
Instale as dependências:
pip install -r requiriments.txt
Há plot que será necessrio utilizar a API do Google, então, acesse: https://developers.google.com/maps/documentation/javascript/get-api-key
Pegue a chave de sua API e insira no arquivo plot.py, para que assim a visualização possa ser feita.
Para executar o script para extração, estruturação e o arquivo com os dados em fortamto JSON execute:
python main.py
Para utilizar os métodos de plot é necessário criar um objeto da classe Plot.
from util.plot import Plot
plt = Plot()
A utilização das classes é bastante simples, veja:
Para fazer o plot do gráfico de gastos dentro de um período de tempo, em um certo estado, basta utilizar:
plt.plot_timeline('BAHIA', 2004, 2007)
O plot do gráfico de comparação de gastos entre estados use:
plt.verify_mean('BAHIA', 'RORAIMA', 2004, 2007)
Caso queira gerar os gastos de um único estado, em todos os anos, use:
plt.plot_only_out('SÃO PAULO')
Se necessário gerar o gasto em um ano específico, use:
plt.plot_state_year('SERGIPE', 2007)
Se quiser verificar qual a porcentagem de gasto de cada ano de um determinado estado utilize
plt.plot_percent_year('RORAIMA', 2004, 2014)
Se necessário exibir todos os dados, e um comparativo de representação entre os estados e seus gastos, use:
plt.plot_total()
Por fim, há a possibilidade de exbir um mapa com os pontos dos estados e seus gastos:
plt.plot_map(aux, '2016')
OBS: Para usar esta função é necessário adicionar uma chave de API do Google Maps no código plot.py
Selected from shared topics, language and repository description—not editorial ratings.
ayresgneto /
Projeto ETL desenvolvido em Python 3.7.7: Extração de dados utilizando um crawler. Jupyter Notebook com transformação dos dados para uma melhor visualização analítica e carga em uma tabela do SGDB SQL Server,
27/100 health