O Desafio do pareamento de grandes bases de dadosmapeamento de métodos de record linkage probabilístico e diagnóstico de sua viabilidade empírica

Resumo

Este trabalho verificou o desempenho preditivo de algoritmos de pareamento de registros (record linkage – RL) probabilístico para a integração de bases de dados reais de grande porte, avaliando os efeitos da definição das variáveis de blocking (blocagem ou indexação), de funções de distanciamento de strings (sequência de caracteres) e de algoritmos de pareamento fonético em relação à qualidade das previsões e à complexidade computacional. Realizou-se um levantamento bibliográfico dos principais métodos de RL determinístico e probabilístico, bem como de avanços recentes aliando técnicas de machine learning (aprendizado de máquinas) e principais pacotes e implementações disponíveis em linguagem open-source (código aberto) R. Os resultados podem fornecer heurísticas para problemas de integração de registros administrativos em escala nacional e são de potencial valia para a formulação e a avaliação de políticas públicas.

Ficha do documento

Tipo

Estudo

Ano

2018

Instituição

Instituto de Pesquisa Econômica Aplicada (Ipea)

Fonte

Repositório do Ipea

Idioma

Português

Acesso

Acesso aberto

Identificador

oai:repositorio.ipea.gov.br:11058/8705

Licença

Licença Comum

Abrangência

Brasil

Temas

Políticas PúblicasDados

Palavras-chave

Bases de DadosPesquisasRelatórios de PesquisaPareamento de registrosBlockingRegistros administrativosBig DataR - Statistical computing