Awesome

CNPJ-SQLITE

Script em python para converter os arquivos de dados públicos de CNPJs para o formato SQLITE. O código é compatível com o layout das tabelas disponibilizadas pela Receita Federal a partir de 2021.

Dados públicos de CNPJs no site da Receita:

Os arquivos csv zipados com os dados de CNPJs estão disponíveis em https://dados.gov.br/dados/conjuntos-dados/cadastro-nacional-da-pessoa-juridica---cnpj ou https://arquivos.receitafederal.gov.br/cnpj/dados_abertos_cnpj/ (link a partir de 28/10/2024.)

Pré-requisitos:

Python 3.9 ou posterior; Bibliotecas pandas, dask, sqlalchemy, wget. Recomenda-se instalar o Anaconda, que já configura o Python e ferramentas de programação; Verifique se você tem mais de 60GB de disco livre, cerca de 30GB para a base em sqlite e 25GB para os arquivos do site da Receita zip ou descompactados. Os 25GB poderão ser liberados depois de rodar o script. Baixe o código do projeto pelo botão "Download ZIP" no menu "Code": Isso fará baixar um arquivo zip com o código deste repositório. Descompacte em alguma pasta, por exemplo, na raiz do disco C:

Usando o Anaconda prompt:

Atenção: Você poderia abrir um console do DOS pela lupa do Windows e digitar "cmd", ou pelo menu contextual, mas assim o console não iria estar no "ambiente" correto e as instruções para rodar os scripts não iriam funcionar. Se você instalou o Anaconda no Windows, todas as operações de linha de comando devem ser no "ambiente" correto utilizando o Anaconda prompt.

Quando se está em um ambiente padrão do Anaconda prompt, o console começa com (base) C:\Users\<apelido do usuário>:

Se não for utilizar o Anaconda, sugere-se criar um environment "ambiente" próprio para rodar o projeto. Siga as orientações para criar um ambiente no python, sem Anaconda: https://docs.python.org/pt-br/3/library/venv.html

Utilizando o script:

Use o comando cd para "navegar" o prompt até a pasta com o código deste projeto, por exemplo, cd C:\cnpj-sqlite-main. Isto dependerá do lugar que você descompactou a cópia deste projeto no seu HD. Instale as bibliotecas necessárias neste projeto usando o comando no Anaconda prompt: pip install -r requirements.txt Se desejar apenas uma relação dos arquivos disponíveis no site da Receita Federal ou baixar os arquivos, faça o seguinte comando no Anaconda prompt na pasta deste projeto: python dados_cnpj_baixa.py Isto irá baixar os arquivos zipados do site da Receita na pasta "dados-publicos-zip".

ATENÇÃO: Em 14/8/2024 a página de dados abertos foi modificada, o script dados_cnpj_baixa.py foi atualizado para pegar a pasta do mês mais recente.

<s>O download no site da Receita é lento, pode demorar várias horas (a última vez levou 8 horas) </s>Se o download estiver muito lento, outra forma de baixar os arquivos é usar um gerenciador de downloads, como o https://portableapps.com/apps/internet/free-download-manager-portable. Crie uma pasta com o nome "dados-publicos". Se houver arquivos antigos nesta pasta, apague ou mova-os de lugar.

Para iniciar a conversão dos arquivos para o formato sqlite, digite em um console do Anaconda prompt: python dados_cnpj_para_sqlite.py

O processamento leva cerca de 2hs em um notebook i7 de oitava geração com SSD.

Ao final, será gerado um arquivo cnpj.db, no formato sqlite, com cerca de 30GB, que poderá ser aberto no DB Browser for SQLITE (https://sqlitebrowser.org/).

O arquivo cnpj.db poderá ser usado no meu projeto rede-cnpj (https://github.com/rictom/rede-cnpj), que permite visualização gráfica de relacionamentos entre empresas e sócios. Este projeto está rodando online em https://www.redecnpj.com.br. O projeto https://github.com/rictom/cnpj_consulta também utiliza o arquivo cnpj.db para visualizar os dados de cnpj em formato de tabela.

<s>## Problema recorrente: Se por acaso ocorrer um erro do tipo "Engine object has no attribute execute", altere a versão da biblioteca sqlalchemy pelo comando: pip install sqlalchemy==1.4.47 </s>

Versão aplicativo Windows 10 do script:

Se você não tem familiaridade com python, pode utilizar o aplicativo em https://www.redecnpj.com.br/rede/pag/aplicativo.html#rede_programa_baixar que serve para baixar a base do site de dados abertos da Receita Federal e faz a conversão para sqlite. Baixe e rode APENAS as partes 1 e 2 do programa. Leia o manual antes de executar.

Arquivo sqlite com a base CNPJ:<a id="arquivo_sqlite"></a>

O arquivo final poderá ser aberto no DBBrowser for SQLITE.

Lista das tabelas do arquivo cnpj.db no DBBrowser.

Na pasta exemplos há amostras de consultas em SQL para exibir dados de empresas. Cole os exemplos na aba "Executar SQL" do DBBrowser para testar.

Conversão para mysql:

O script em https://github.com/rictom/cnpj-mysql faz o carregamento dos dados para o banco de dados em MYSQL.

Histórico de versões

versão 0.6 (julho/2024)

biblioteca parfive para download de arquivos em paralelo no script dados_cnpj_baixa.py

versão 0.5 (janeiro/2024)

utilizando sqlite3 ao invés de sqlalchemy para gerar conexão, de forma que não há mais dependência de sqlalchemy<2.x

versão 0.4 (setembro/2022)

inclusão de índice na coluna "nome fantasia" da tabela estabelecimento.

versão 0.3 (maio/2022)

inclusão de índice na coluna representante_legal da tabela sócios.

versão 0.2 (janeiro/2022)

removido código não utilizado

versão 0.1 (julho/2021)

primeira versão