Оценка XML-поиска

Оценка XML-поиска Основным мероприятием по исследованию XML-поиска является программа INEX (INitiative for the Evaluation of XML retrieval), в рамках которой созданы эталонные коллекции, наборы запросов и оценки релевантности. На ежегодных конференциях INEX представляются и обсуждаются результаты исследований. Коллекция INEX 2002 состоит примерно из 12 тысяч статей из журналов, издаваемых Институтом инженеров по электротехнике и электронике (Institute of Electrical and Electronics Engineers — IEEE). Статистические показатели этой коллекции приведены в таблице, а часть схемы продемонст-рирована на рис. 10.11. Коллекция журналов IEEE была пополнена в 2005 году. Начиная с 2006 года в проекте INEX в качестве тестовой стала использоваться намного более крупная коллекция статей Wikipedia на английском языке. Релевантность документов оценивается экспертами с помощью методологии, описанной в разделе 8.1. соответствующим образом модифицированной для структурированных документов.

В проекте INEX существуют два типа информационных потребностей, или тем (topic): только по содержанию (СО — content-only) и по содержанию и структуре (CAS — content-and-structure). Темы СО (СО topis) — это обычные запросы из ключевых слов, как и в неструктурированном информационном поиске, а темы CAS (CAS topics) наряду с ключевыми словами содержат структурные ограничения. Один из примеров темы СО уже был показан на рис. 10.3. Ключевыми в этом примере являются слова summer и holidays, а структурные ограничения указывают, что ключевые слова появляются в разделе, который, в свою очередь, является частью статьи, а эта статья содержит атрибут года со значением 2001 или 2002.

Поскольку запросы CAS должны соответствовать определенным критериям и по содержанию, и по структуре, оценку релевантности получить сложнее, чем в неструктурированном поиске. Эксперимент INEX 2002 определил, что покрытие компонентов и тематическая релевантность представляют собой ортогональные составляющие релевантности. Покрытие компонентов (component coverage) оценивает, правильно ли элемент был найден “со структурной точки зрения”, т.е. не слишком ли низко и не слишком ли высоко на дереве. Различаются четыре варианта покрытия.

tel-icq