A cópia local é um arquivo em formato zip contendo os arquivos originais da Pnadc em microdados. Além dos arquivos originais da Pnadc, a cópia local contém uma pasta com os arquivos de metadados (dicionários de variáveis) e uma pasta com os arquivos de microdados convertidos para csv. Os arquivos csv são necessários para gerar os arquivos de painéis.
O usuário não deve editar a cópia local manualmente, apenas extrair os arquivos.
A partir do menu Arquivo, o usuário pode criar um Novo arquivo para armazenar a cópia local, ou Abrir um arquivo existente. O usuário pode manter várias cópias locais, mas o aplicativo só trabalha com uma de cada vez. Antes de abrir, o aplicativo verifica se o arquivo zip contém uma cópia local válida da Pnadc.
Após criada, a cópia local está vazia. Para baixar os arquivos do IBGE, é preciso Verificar os arquivos no servidor do IBGE (menu Sincronizar). Após a verificação o aplicativo compara os arquivos remotos com os da cópia local, informa a quantidade de arquivos a serem atualizados, e pede para o usuário confirmar a atualização.
Caso o usuário não deseje uma cópia integral da Pnadc, basta não atualizar a cópia local depois da verificação e fazer uma seleção dos arquivos desejados. Depois de fazer a seleção, deve usar a opção Atualizar (menu Sincronizar). Os arquivos que não foram selecionados passam a ser ignorados.
Sempre que uma cópia local é aberta, ou após uma atualização, o aplicativo informa a data da última atualização abaixo do nome do arquivo que a contém.
Quando uma cópia é aberta e não houve verificação dos arquivos remotos, a lista de arquivos remotos é a existente no servidor do IBGE na data da última atualização. Após a verificação, a lista de arquivos remotos é a atual. O aplicativo sempre informa o tempo transcorrido desde a última atualização para que o usuário não faça verificações desnecessárias.
Além da lista de arquivos no servidor do IBGE na data da última verificação, o aplicativo exibe também a situação de cada arquivo na cópia local:
O comando Atualizar (menu Sincronizar) baixa e remove os arquivos conforme a situação, ignorando os sincronizados e os não selecionados.
Sempre que a cópia local é atualizada, o aplicativo analisa os arquivos e cria uma pasta na cópia local chamada metadados que contém:
As cópias dos dicionários do IBGE não possuem nada especial, apenas evitam ter de procurá-los em pastas diferentes da distribuição original.
Os arquivos json contendo a lista de microdados só consideram os arquivos que possuem um dicionário. Isto é, se a cópia local tiver os microdados da Pnadc trimestral, mas não o dicionário correspondente, os arquivos de microdados serão desconsiderados (e vice-versa). Caso o usuário deseje manter uma cópia local parcial da Pnadc, é importante selecionar os dicionários dos arquivos de microdados escolhidos. Sem eles não é possível converter os microdados para csv e gerar os painéis.
Os arquivos json contendo os dicionários de variáveis servem tanto para o próprio aplicativo gerar os arquivos csv e os painéis, quanto para o usuário que precise destas informações em um formato legível por linguagens de programação – uma vez que os arquivos originais do IBGE, além de estarem no antigo formato binário do Excel, possuem um layout para leitura por seres humanos que dificulta o seu processamento.
Os metadados são gerados automaticamente sem nenhuma intervenção do usuário. Maiores detalhes sobre o conteúdo dos arquivos json e sugestões de uso são apresentados adiante.
Os arquivos de microdados da Pnadc são fornecidos com arquivos de texto formatado em registros com campos de comprimento fixo. Para ler estes arquivos, é necessário especificar as posições dos campos das variáveis do registro, seguindo os metadados fornecidos nos dicionários de variáveis.
O aplicativo converte automaticamente os arquivos de microdados da cópia local para o formato csv, com base nos dicionários de variáveis. Para tanto, basta marcar a opção Microdados em csv no menu Ferramentas.
Desmarcar a opção remove os arquivos csv da cópia local.
Os microdados em csv são armazenados na pasta microdados da cópia local.
Quando a cópia local é atualizada, os microdados em csv também são atualizados de acordo com a necessidade. Junto com os microdados em csv são armazenados arquivos json contendo o nome dos arquivos de microdados e dicionários originais do IBGE.
Os arquivos csv gerados pelo aplicativo têm os campos separados por vírgulas e o texto é codificado usando o padrão utf-8.
Os arquivos de painéis são criados a partir da cópia local, que precisa ter os microdados em csv. Os microdados de painel são gerados em formato csv.
Os painéis não são armazenados na cópia local, mas em outro arquivo zip. A partir do menu Ferramentas, o submenu Painéis oferece duas opções: Gerar ou Atualizar um arquivo com painéis.
As duas opções pedem primeiro para o usuário escolher o local e o nome do arquivo novo ou existente. Depois, o aplicativo se encarrega de analisar a cópia local para identificar os painéis. Caso o arquivo zip aberto já contenha arquivos de painéis, o aplicativo os analisa para atualizar apenas aqueles para os quais há novos arquivos de variáveis suplementares, ou cujos arquivos originais foram atualizados.
Se a cópia local for parcial, também é necessário que contenha ao menos um painel básico, formado por cinco trimestres consecutivos (microdados e dicionários de variáveis). Por exemplo, se a cópia local contiver os microdados dos quatro trimestres de 2012 e do primeiro trimestre de 2013, e o dicionário de variáveis trimestrais, haverá um painel; se a cópia também tiver os microdados de primeira visita de 2012, o painel incluirá as variáveis suplementares da primeira visita.
Junto com os microdados de painéis são armazenados arquivos json contendo o nome dos arquivos de microdados e dicionários originais do IBGE.
A separação, identificação e montagem dos painéis pode demorar consideravelmente no caso dos painéis que contam com muito arquivos de microdados com variáveis suplementares (Pnadc anual), e exige 16GB de memória RAM.
Este aplicativo foi escrito por Rafael Guerreiro Osorio, pesquisador do Ipea, e não oferece garantias, use por sua própria conta e risco.
Para usar os microdados da Pnadc, é fundamental ler a documentação fornecida pelo IBGE e dominar técnicas de processamento de microdados.
Alterações na estrutura do servidor de arquivos do IBGE, ou mudanças na forma de distribuição da Pnadc podem tornar este aplicativo inoperante.