Loading repository data…
rictom / repository
Script em python para carregar os arquivos de cnpj com dados públicos da Receita Federal para o formato sqlite
Script em python para baixar e converter os arquivos de dados públicos de CNPJs para o formato SQLITE. O código é compatível com o layout das tabelas disponibilizadas pela Receita Federal a partir de 2021. AVISO IMPORTANTE: Ao final de janeiro/2026, a RFB alterou o layout da página e caminho dos arquivos. O script para baixar arquivos foi atualizado em março/2026, baseado na rotina do projeto cnpj-data-pipeline.
Os arquivos csv zipados com os dados de CNPJs são disponibilizados mensalmente em https://dados.gov.br/dados/conjuntos-dados/cadastro-nacional-da-pessoa-juridica---cnpj. As tabelas maiores, como empresas, estabelecimentos e sócios, estão divididas em dez partes. A tabela empresas tem dados das matrizes dos cnpjs, como razão social, natureza jurídica e capital social. A tabela estabelecimentos contém dados cadastrais de cada matriz/filial, como nome fantasia, cnae, endereço, etc. A tabela sócios tem informações como nome de sócio, data de entrada e tipo de vínculo. O dicionário de dados está disponível aqui. Depois de deszipadas, cada arquivo é um csv, isto é, arquivo de texto com as colunas separadas pelo caractere ponto e vírgula (;). Devido ao grande tamanho das tabelas (são mais de 60 milhões de registros) fica inviável trabalhar diretamente os csvs no Excel ou outro aplicativo de planilha. Este projeto gera um arquivo em formato sqlite.
Python 3.9 ou posterior;
Bibliotecas pandas, dask, sqlalchemy, wget.
Recomenda-se instalar o Anaconda, que já configura o Python e ferramentas de programação;
Verifique se você tem mais de 60GB de disco livre, cerca de 30GB para a base em sqlite e 25GB para os arquivos do site da Receita zip ou descompactados. Os 25GB poderão ser liberados depois de rodar o script.
Baixe o código do projeto pelo botão "Download ZIP" no menu "Code":
Isso fará baixar um arquivo zip com o código deste repositório. Descompacte em alguma pasta, por exemplo, na raiz do disco C:
Atenção: Você poderia abrir um console do DOS pela lupa do Windows e digitar "cmd", ou pelo menu contextual, mas assim o console não iria estar no "ambiente" correto e as instruções para rodar os scripts não iriam funcionar.
Se você instalou o Anaconda no Windows, todas as operações de linha de comando devem ser no "ambiente" correto utilizando o Anaconda prompt.
Quando se está em um ambiente padrão do Anaconda prompt, o console começa com (base) C:\Users\<apelido do usuário>:
Se não for utilizar o Anaconda, sugere-se criar um environment "ambiente" próprio para rodar o projeto. Siga as orientações para criar um ambiente no python, sem Anaconda: https://docs.python.org/pt-br/3/library/venv.html
Use o comando cd para "navegar" o prompt até a pasta com o código deste projeto, por exemplo, cd C:\cnpj-sqlite-main. Isto dependerá do lugar que você descompactou a cópia deste projeto no seu HD. Instale as bibliotecas necessárias neste projeto usando o comando no Anaconda prompt: pip install -r requirements.txt Para baixar os arquivos disponíveis no site da Receita Federal, faça o seguinte comando no Anaconda prompt na pasta deste projeto: python dados_cnpj_baixa.py Isto irá baixar os arquivos zipados do site da Receita na pasta "dados-publicos-zip".
Para iniciar a conversão dos arquivos para o formato sqlite, digite em um console do Anaconda prompt: python dados_cnpj_para_sqlite.py
Ao final, será gerado um arquivo cnpj.db, no formato sqlite, com cerca de 30GB, que poderá ser aberto no DB Browser for SQLITE (https://sqlitebrowser.org/).
O arquivo cnpj.db poderá ser usado no meu projeto rede-cnpj (https://github.com/rictom/rede-cnpj), que permite visualização gráfica de relacionamentos entre empresas e sócios. Este projeto está rodando online em https://www.redecnpj.com.br. O projeto https://github.com/rictom/cnpj_consulta também utiliza o arquivo cnpj.db para visualizar os dados de cnpj em formato de tabela.
## Problema recorrente: Se por acaso ocorrer um erro do tipo "Engine object has no attribute execute", altere a versão da biblioteca sqlalchemy pelo comando: pip install sqlalchemy==1.4.47
Após baixar os arquivos, o processamento levou cerca de 2hs no Windows 10 em um notebook i7 com de oitava geração, 1h30 no Ubuntu no notebook i7 8th, 1h no MacOS com processador M1.
Se você não tem familiaridade com python, pode utilizar o aplicativo em https://www.redecnpj.com.br/rede/pag/aplicativo.html#rede_programa_baixar que serve para baixar a base do site de dados abertos da Receita Federal e faz a conversão para sqlite. Baixe e rode APENAS as partes 1 e 2 do programa. Leia o manual antes de executar.
O arquivo final poderá ser aberto no DBBrowser for SQLITE.
Lista das tabelas do arquivo cnpj.db no DBBrowser.
Na pasta exemplos há amostras de consultas em SQL para exibir dados de empresas. Cole os exemplos na aba "Executar SQL" do DBBrowser para testar.
Isso irá apresentar o resultado:
A forma mais direta de gerar listas é abrindo a base cnpj.db com o DBBrowser. Contudo, para quem não tem familiaridade com SQL, pode-se utilizar o script em https://github.com/rictom/cnpj_consulta que gera listas a partir de parâmetros como UF, Município ou CNAE. Existe a versão em python ou em aplicativo Windows.
O projeto seguinte é uma api em python (fastAPI) para consultar a base em sqlite cnpj.db: https://github.com/rictom/cnpj_api
O script em https://github.com/rictom/cnpj-mysql faz o carregamento dos dados para MYSQL ou POSTGRES.
versão 0.7 (março/2026)
versão 0.6 (julho/2024)
versão 0.5 (janeiro/2024)
versão 0.4 (setembro/2022)
versão 0.3 (maio/2022)
versão 0.2 (janeiro/2022)
versão 0.1 (julho/2021)
Selected from shared topics, language and repository description—not editorial ratings.
rictom /
Script em python para carregar os arquivos de cnpj dos dados públicos da Receita Federal em MYSQL e em POSTGRES.