Автоматизоване реферування

Суть статистичних методів, що засновані на статистичному аналізі текстів, — це методики російських вчених В. Аграєва, Б. Бородіна та В. Пурто. Перші двоє запропонували методику, згідно з якою вибрані з тексту речення виявляються пов'язаними між собою. Найбільш зв'язаними, а тому такими, що мають бути включені до реферату, вважаються речення, які містять найбільшу кількість однаково значущих слів. В. Пурто розробив метод оцінки та відбору речень за кількістю інформації, яку вони містять. У цьому випадку тексти підлягають статистичному аналізу для виявлення частоти вживання слів. Словами, що найчастіше вживаються у науково-технічній літературі, є терміни. Дослідник стверджує: чим важливіший термін, тим частіше він зустрічається у тексті, а відібрані речення міститимуть максимальну кількість цих термінів. Обсяг одержаного в такий спосіб реферату складає, як правило, не більше трьох речень, незалежно від обсягу первинного документа — полягає у відборі значущих речень відповідно до частоти вживання слів і розташування їх у речені. Відбираючи речення до реферату, для кожного з них визначають значущість або змістову вагу. Чим більше слів, що часто трапляються в одному реченні, тим суттєвішу інформацію воно містить і тому має бути включене до реферату. Різні модифікації цього методу відрізняються підходом до відбору слів, що підлягають статистичному аналізу. Обсяг одержаного в такий спосіб реферату становить, як правило, не більше трьох речень, незалежно від обсягу первинного документа. Простота аналізу тексту першоджерела й однорідність отриманих рефератів забезпечили поширення статистичних методів автоматизованого реферування в багатьох країнах і їхню подальшу оптимізацію. Тобто у разі використання статистичного методу реферування обсяг і якість рефератів повністю залежать від статистичних характеристик тексту, тому речення, що містять найважливішу інформацію (наприклад, висновки у наукових статтях) можуть бути взагалі не виділені та не ввійти до реферату. Проте визначені недоліки певною мірою компенсуються завдяки простоті аналізу й однорідності рефератів, які готуються за допомогою ЕОМ.

Позиційні методи вдосконалюють відбір найбільш значущих речень з текстів первинних документів з використанням складного математичного апарату.. Відбір здійснюється на засадах чотирьох взаємопов'язаних методів: натяку, ключових слів, заголовка, локалізації. Сутність методу натяку полягає у використанні під час відбору речень списку слів, в якому заздалегідь виділено слова з позитивною та негативною змістовою вагою, а також «нульові» (нейтральні) слова. При відборі враховуються тільки слова, що передають позитивну й негативну оцінку.

При використанні методу ключових слів розглядаються слова, відібрані за частотним принципом та за цією ознакою визначені ключовими, що є аналогічним до запропонованого Г. Луном підходу.

У методі заголовка головна роль відводиться словнику термінів, відібраних із заголовка та підзаголовків, які мають більшу «вагу», ніж слова з інших речень тексту. До реферату відбираються речення, де трапляються терміни, котрі наявні у словнику. Метод локалізації ґрунтується на припущенні, що найсуттєвіша інформація концентрується на самому початку або наприкінці певного уривка чи параграфа тексту.

Зіставлення всіх чотирьох методів показало, що метод ключових слів забезпечує повноту відбиття змісту первинного документа на 15-40 %, метод заголовка — на 30-40 %, а спільне використання методів натяку, заголовка та локалізації — на 30-60 %. Подальшого розвитку цей підхід набув під час розробки індикативних методів реферування, порівняно з якими статистичні та позиційні методи відіграють допоміжну роль.

Індикативні методи дають змогу на основі синтаксичного аналізу формалізувати виклад основного змісту первинного документа в рефераті телеграфного стилю. Синтаксичному аналізу може підлягати як увесь текст, так і його окремі фрагменти, що містять типові маркери. Показником для виділення значущих елементів правлять розділові знаки в середині речення. Обсяг одержаних рефератів становить у середньому до 35 % обсягу першоджерела [1, с.270-272].

Розглянемо принципи, що розроблені під керівництвом автора системи квазіреферування. Отже, на першому етапі реалізації принцип дії системи полягає у формуванні квазіреферата з автосемантичних речень тексту. Програмне забезпечення системи для ЄС ЕОМ включає головну програму й сім процедур. Головна програма виконує такі функції: — читання тексту, що реферується; — розміщення словників в оперативній пам'яті; — аналіз тексту по реченнях: виділення слів, пошук в Ск і перевірку збігу лексичної одиниці, що аналізується, з одним із конекторів; — у разі збігу — звернення до процедур, обчислення значення логічної функції по результатах роботи процедур, прийняття рішення про істиність конектора і визначення типу речення відповідно до типу конектора; — прийняття рішення про включення чи невключення речення до квазіреферату; — друк квазіреферату на принтері. По мірі роботи головної програми формується таблиця речень, що є основним результатом цієї програми. Рядок таблиці відповідає одному реченню. На час звернення до процедури всі рядки, котрі мають відношення до попередніх за порядком слідування реченням, цілком заповнені. Рядок, котрий відноситься до речення, під час аналізу якого сталося звертання до процедури, в момент звернення заповнений частково. Рядок таблиці має таку структуру: — номер речення; — кількість символів у реченні; — тип речення; — автосемантичне чи синсемантичне; — номер речення, з яким дане знаходиться в синтаксичному зв'язку; — номер конектора в Ск. Кожна процедура має доступ до адрес початку тексту, початку речення, аналізованого слова, початку таблиці речень, початку Ск, початку Св, а також до порядкових номерів речення, аналізованого слова в реченні, першого символу слова відносно початку речення, до зміщення початку запису Ск, до значень параметрів, зазначених в описах Ск. Як бачимо,програмне забезпечення системи не залежить від мови тексту, що обробляється. Для реферування текстів на іншій мові достатньо організувати словник конекторів і допоміжний словник на цій мові. Система реалізована на мові Асемблер під управлінням ДОС і ОС ЄС ЕОМ. Документ надходить до системи у вигляді текстового файлу, в якому допускається виділення за допомогою спеціальних службових символів заголовків документів і окремих його підрозділів, а також елементів бібліографічного опису. Вся виділена таким чином інформація включається системою у квазіреферат [5]. Результатом роботи системи є друкована копія квазіреферату, сформованого з автосемантичних речень тексту з вказівкою їх порядкових номерів у вхідному тексті. Якщо при цьому коефіцієнт редукції вхідного тексту виявляється менше 4, то у квазіреферат не вводяться ізольовані автосемантичні речення: з послідовності автосемантичних речень у квазіреферат вводяться тільки перші. Передбачений також режим, у якому до квазіреферату потрапляють не тільки автосемантичні речення, але й вказівка на тип вилучених синсемантичних. Це дозволить у майбутньому організувати діалог користувача з ЕОМ, запрошуючи у системи субтексти, котрі мають інтерес для абонента.