Тематическая релевантность

Тематическая релевантность Тематическая релевантность (topical relevance; также имеет четыре уровня: высокорелевантный, вполне релевантный, слаборелевантный и нерелевантный. Компоненты оцениваются по обеим составляющим, а оценки затем кодируются в виде цифр и букв. Код 2S означает вполне релевантный компонент, который имеет маленькое покрытие, а код ЗЕ означает высокорелевантный компонент, имеющий точное покрытие. Теоретически возможны 16 комбинаций уровней покрытия и релевантности, но не все могут встречаться на практике. Например, нерелевантный компонент не может иметь точное покрытие, поэтому комбинация 3N невозможна.

Эта схема оценки учитывает тот факт, что бинарные оценки релевантности, являющиеся стандартными в неструктурированном поиске, непригодны для XML-поиска. Компонент 2S предоставляет неполную информацию и его грудно интерпретировать вне контекста, но он частично удовлетворяет запросу. Функция Q вместо бинарного вывода “релевантный/нерелевантный” позволяет использовать шкалу релевантности.

К этому модифицированному определению релевантных элементов в качестве приближения можно применить стандартные определения точности, полноты и F-меру. Правда, при этом следует учесть некоторые тонкости, поскольку теперь мы используем шкалу оценок, а не бинарные выводы. Библиографические ссылки, касающиеся дальнейшего обсуждения направленного поиска (focused retrieval).

У такого способа оценки релевантности есть один недостаток: он не учитывает перекрытие. Концепция маргинальной релевантности в контексте неструктурированного поиска рассматривалась. В контексте XML-поиска эта проблема становится еще острее, поскольку в списке результатов могут возникать вложенные узлы. Многие ш недавних исследований в рамках INEX были посвящены разработке алгоритмов и количественных оценок, позволяющих находить неизбыточные списки результатов и правильно их оценивать. Библиографические ссылки приведены в разделе.

В табл. приведены результаты двух прогонов INEX 2002 на основе модели векторного пространства, описанной в разделе. Более точным оказался метод Sim- Merge, учитывающий меньше структурных ограничений и в основном опирающийся на сравнение ключевых слов. Медианная средняя точность метода SimMerge (где медиана вычисляется по средней точности по темам) равна лишь 0,147. Качество XML-поиска часто ниже неструктурированного поиска, поскольку XML-поиск сложнее. Вместо того чтобы просто найти документ, мы должны найти его структурную часть, наиболее реле-вантную по отношению к запросу. Кроме того, качество XML-поиска (измеренное так, как описано в этом разделе) может быть ниже, чем неструктурированного, поскольку использование шкалы оценок снижает значение оценки. Рассмотрим систему, которая возвращает на первом месте списка результатов документ, оценка релевантности по градуированной пгкале равна 0,6, а бинарная оценка— 1. Тогда при бинарных оценках интерполированная точность при нулевой полноте равна 1.0. а при использовании шкалы снижается до 0,6

tel-icq