EVALUACIÓN DE LA RECUPERACIÓN DOCUMENTAL (FORO TREC)
Desde 1992 se viene celebrando anualmente la Conferencia de Recuperación de Texto (TREC), promovida por el gobierno estadounidense, que pone a disposición de los participantes una colección de millones de textos en varios idiomas. TREC es la principal referencia actual para la valoración y prueba de un Sistema de recuperación de información.
Los objetivos fundamentales de TREC son:
- Desarrollar una infraestructura para el refinamiento y evaluación de los sistemas para la Recuperación de Información que operan sobre distintos idiomas, tanto en contextos monolingüales como multilingües.
- Crear bancos de pruebas de información reutilizable que pueda ser empleada por desarrolladores con propósitos de evaluaciones comparativas.
- Crear una comunidad de desarrolladores e investigadores que estudien los mismos problemas y compartan los mismos intereses, con la finalidad de estimular el desarrollo de los sistemas de recuperación de información multilingüe.
Este foro es importante para los buscadores web, puesto que las técnicas que se utilizan son posteriormente aplicadas a la recuperación de datos por parte de los mismos.
En ella, para comprobar la capacidad de un sistema de recuperación y organización de información para proveer documentos relevantes, se utilizan fundamentalmente 2 medidas de evaluación, que son también aplicables de algún modo a la evaluación de un buscador web. Las dos medidas son las siguientes:
- Recall o exhaustividad: proporción de material relevante recuperado de todos los documentos relevantes en la colección de documentos, independientemente de que estos se recuperen o no.
- Precisión: proporción de material recuperado realmente relevante del total de documentos recuperados.
Ambas medidas son combinadas de la siguiente forma:
![[Valid RSS]](validrss.png "Validate my RSS feed")
![[Valid Atom 1.0]](./validatom.png "Validate my Atom 1.0 feed")