Обратная связь по релевантности в вебе

Обратная связь по релевантности в вебе В 2000 году Спинк и др. (Spink et al., 2000) опубликовали результаты использования метода RF на поисковой системе Excite. Этот метод применялся только примерно в 4% чг исковых сессий, причем большинство из них ограничивались использованием опции “More like this” (“Похожие документы”), которая сопровождала каждый результат. Около V пользователей просмотрели первую страницу результатов и не искали документы на ««дующих. При использовании метода RF резутьтаты были улучшены примерно в двух третях случаев.

Интерактивная обратная связь по релевантности позволяет получить существенный выигрыш в качестве поиска. С эмпирической точки зрения часто очень полезным оказывается даже один цикл обратной связи по релевантности. Два цикла иногда оказываются

Функция, модифицирующая первоначальный запрос с помощью включения в него выбранно- пользователем релевантного документа, присутствует в форме [текст_старого_запроса rela- mbURLjboxyмента] во многих поисковых системах, например в Google и Bing. — Примеч. ред.лишь ненамного полезнее. Для успешного использования RF требуется достаточно большое количество оцененных документов, иначе процесс становится неустойчивым и может уйти в сторону от информационной потребности пользователя. Соответственно, рекомендуется иметь не менее пяти оцененных документов.

Трудно оценить эффективность метода RF в полной мере и наглядно. Очевидно, что в качестве первой стратегии можно начать с исходного запроса q0 и построить график “точность-полнота”. После одного цикла обратной связи от пользователя мы вычисляем модифицированный запрос qm и снова строим график “точность-полнота”. В ходе обоих циклов оценивается качество работы системы по всем документам в коллекции, которая допускает простое сравнение. В этом случае можно получить впечатляющий выигрыш: увеличение показателя МАР примерно на 50%. Но, к сожалению, это обман. Этот вы-игрыш частично объясняется тем фактом, что известные релевантные документы (оцененные пользователем) теперь получают более высокий ранг. Для корректной оценки качества сравнение следует проводить только по документам, неизвестным пользователю.

Вторая идея заключается в том, чтобы использовать в ходе второго цикла документы из остаточной коллекции (residual collection), т.е. множество документов за исключением оцененных как релевантные. Такая оценка кажется более реалистичной. К сожалению, измеренная эффективность часто оказывается ниже, чем для исходного запроса. Этот эффект особенно ярко проявляется, когда существует небольшое количество релевантных документов, и значительная их доля была оценена пользователем в ходе первого цикла. Относительную эффективность разных методов обратной связи по релевантности можно корректно оценить, но очень трудно обоснованно сравнить качество систем с обратной связью по релевантности и без нее, поскольку размер коллекции и количество релевантных документов до и после цикла обратной связи различаются.

Таким образом, ни один из этих методов не является вполне удовлетворительным Третий метод предполагает работу с двумя коллекциями, одна из которых используется для исходного запроса и оценок релевантности, а вторая — для сравнительной оценки. Качество обработки запросов q0 и qm можно корректно сравнить с помошью второй коллекции.

Возможно, наилучшим способом оценки полезности метода RF являются эксперименты с участием пользователей, в частности, путем сравнения временных показателей: насколько быстро пользователь находит релевантные документы с помощью RF по сравнению с другой стратегией (например, с новой формулировкой запроса) или как много релевантных документов пользователь находит за определенный отрезок времени. Такие оценки полезности являются наиболее корректными и близкими к реальному использованию системы.

tel-icq