ПРИМЕНЕНИЕ ЭВМ В ИНФОРМАЦИОННО - БИБЛИОТЕЧНОЙ ТЕХНОЛОГИИ

Е.Н. Пименов

Библиотека академии наук

Об оценки документальных систем

Теория оценки документальных АИПС в настоящее время несовершенна, и по образному выражению Д. Г. Лахути эти вопросы находятся на инфантильной стадии разработанности. Критерии технической эффективности - точность и полнота результатов информационного поиска - не всегда, как показывает опыт, служат в достаточной степени объективной и достоверной оценкой фактических результатов работы системы. Например, за формально хорошим параметром точности (свыше 73%) в рассматриваемом ниже АИПС по огнеупорным изделиям и материалам обнаружилось, как показало обследование, аномально большое количество шумовой, явно не нужной пользователям информации.

Основные претензии к качеству информации, предоставляемой данной системой, были связаны, как представляется, с недостаточной пертинентностью поисков, обусловленной следующими основными причинами.

Излишняя декомпозиция запросов, когда при обслуживании в режиме ИРИ информационная потребность пользователя раскрывалась в виде серии из 7-10 очень конкретных запросов о частных аспектах исследования. При большой глубине индексирования рефератов (около 15 терминов на один документ) это естественным образом приводило к неоднократной выдаче информации на разные запросы из серии. На релевантность информационного поиска повторная выдача информации никак не влияла.

Обслуживание по чрезмерно широким запросам, когда на один ретроспективный запрос абонент получал 1-2 тыс. документов. Хотя непосредственно "в дело шла" только малая часть информации формальная точность оценивалась как высокая.

Другие причины снижения пертинентности. Несогласованность разных форм информационного обслуживания. В системе, помимо режима ИРИ, какое-то время работала служба ТОР - тематического обеспечения разработок. Отсутствие согласованности между ними приводило к тому, что одни и те же документы поступали к пользователям (тоже в декомпонированном виде) по разным каналам обслуживания.

Вся информация, направляемая в отдел 5-7 индивидуальным абонентам ИРИ, просматривалась заведующим, и он сам распределял её между своими сотрудниками. Естественное тематическое пересечение документов в 5-7 выдачах ИРИ субъективно воспринимается данным пользователем, как неоправданное дублирование информации. Релевантность оставалась высокой.

Абонент умер, уволился, сменил тему исследования. Обслуживание в режиме ИРИ, тем не менее, продолжается безадресно, "в никуда".

Из всего выше сказанного вытекает, что причинами многих претензий относительно "шума" в документальных АИПС могут являться не только, и, может быть, даже не столько недостатки в используемых технических, математических и лингвистических средствах (ППП, индексирование, тезаурус), сколько особенности постановки работы в подсистеме информационного обслуживания. Возможно, что есть основания различать и раздельно оценивать два уровня или плана оценок типа точности/полноты: релевантность и полноту результатов документального поиска (эти два показателя едва ли должны превышать обычные 70%) и такие же характеристики применительно к информационному обслуживанию пользователей.

Есть основания полагать, что понятие "пертинентность" - это точность последнего плана, то есть точность информационного обслуживания. Особенность данного термина в том, что в отличие от "релевантности", соотносимой с "полнотой", нет понятия и термина, оппозитивных (бинарная оппозиция) пертинентности: импертинентность? - неблагозвучно, адекватность/неадекватность? - слишком абстрактные понятия. Тем не менее потребность в них, видимо, ощущается, а содержание "импертинентности-неадеквантности" в общем виде охарактеризовано выше.