Análises de convergência e consistência de métricas de ranqueamento

Resumo

Cada vez mais interagimos com sistemas de buscas e esses sistemas contam com uma base crescente de documentos para filtrar e ordenar. Para avaliar a qualidade desses sistemas, diversas métricas de ranqueamento estão disponíveis com características específicas que devem encaixar no cenário de recuperação de informação. Com o advento de novas técnicas como uso de aprendizado de máquina em ranqueamento, também se espera algumas características numéricas das métricas que as tornem bons objetivos de otimização. Algumas destas métricas mais usadas como o NDCG@k possuem propriedades numéricas particulares que exigem atenção, especialmente ao analisar resultados de experimentos isolados. Neste trabalho demonstramos o comportamento assintótico desta e algumas variantes de métricas de ranqueamento mais utilizadas e apresentamos uma variante do NDCG que experimentalmente preserva suas características positivas enquanto mitiga características indesejadas.

Ficha do documento

Tipo

Dissertação

Ano

2020

Instituição

Fundação Getulio Vargas

Fonte

Repositório da FGV

Idioma

Português

Acesso

Não informado

Identificador

oai:repositorio.fgv.br:10438/29863

Palavras-chave

Recuperação da informaçãoRanqueamentoAprendizado de ranqueamentoMétricas de ranqueamentoMatemáticaSistemas de recuperação da informaçãoAprendizado do computadorAnálise matemática