Слияние десяти блоков

Слияние десяти блоков На заключительном этапе алгоритм одновременно выполняет слияние десяти блоков в один большой объединенный индекс. Пример двух блоков, где i-й документ в коллекции обозначен как d,. Для слияния все десять блоков открываются одновременно, для считывания используются небольшие буферы чтения, а для записи окончательного объединенного индекса используется буфера записи. На каждой итерации мы выбираем наименьший идентификатор termID, не обработанный до текущего момента.

Для этого используется либо очередь с приоритетами, либо аналогичная структура данных. Все инвертированные списки для данного идентификатора termID считываются и объединяются, а затем объединенный список записывается обратно на диск. Каждый буфер чтения по мере необходимости снова заполняется очередной порцией данных из файла.

Насколько затратным является метод BSBI? В компании ЛУКСОР судовые иллюминаторы, лестницы на второй этаж, перила, пластиковые окна, алюминиевые двери, остекление балконов, судовые иллюминаторы от производителя Его временная сложность равна <Э(Т log7). поскольку наиболее сложным этапом является сортировка, а количество сортируемых элементов ограничено числом Т (количеством пар “termlD-docID”). Однако главный вклад в реальное время индексирования обычно вносят парсирование документов (функция ParseNextBlock) и окончательное слияние (функция MergeBlocks). В упражнении 4.6 предлагается вычислить общее время, затраченное на создание индекса для коллекции RCV1. включая инвертирование блоков и их запись на диск.

Обратите внимание на то, что коллекция Reuters-RCVl не считается большой в наше время, когда один или несколько гигабайтов оперативной памяти являются стандартом для персональных компьютеров. При соответствующем сжатии, мы могли бы создать инвертированный индекс для коллекции RCV1, используя лишь оперативную память и даже не имея мощного сервера. Методы, которые мы описали, необходимы для коллекций, размер которых на несколько порядков превышает размер коллекции RCV1. Если Вы ищите оригинальный и умный подарок, то обратите свое внимание на неокуб. Это необычная магнитная головоломка с миллионами решений понравится как взрослому, так и ребенку!

tel-icq