TF-IDF

TF (term frequency — частота слова) — відношення числа входжень обраного слова до загальної кількості слів документа. Таким чином, оцінюється важливість слова ${\displaystyle t_{i}}$ в межах обраного документа. Термін був введений Карен Спарк Джонс[1].

${\displaystyle \mathrm {TF} ={\frac {n_{i}}{\sum _{k}n_{k}}}}$ ,

де ${\displaystyle n_{i}}$ є число входжень слова в документ, а в знаменнику — загальна кількість слів в документі.

IDF (inverse document frequency — обернена частота документа) — інверсія частоти, з якою слово зустрічається в документах колекції. Використання IDF зменшує вагу широковживаних слів.

${\displaystyle \mathrm {IDF} =\log {\frac {|D|}{|(d_{i}\supset t_{i})|}}}$ ,

де

• |D| — кількість документів колекції;
• ${\displaystyle |(d_{i}\supset t_{i})|}$ — кількість документів, в яких зустрічається слово ${\displaystyle t_{i}}$ (коли ${\displaystyle n_{i}\neq 0}$).

Вибір основи логарифму у формулі не має значення, адже зміна основи призведе до зміни ваги кожного слова на постійний множник, тобто вагове співвідношення залишиться незмінним.

Іншими словами, показник TF-IDF це добуток двох множників: TF та IDF.

${\displaystyle {\text{TF-IDF}}=\mathrm {TF} \cdot \mathrm {IDF} }$

Більшу вагу TF-IDF отримають слова з високою частотою появи в межах документа та низькою частотою вживання в інших документах колекції.

Міра TF-IDF часто використовується для подання документів колекції у вигляді числових векторів, що відображають важливість використання кожного слова з деякого набору слів (кількість слів набору визначає розмірність вектора) в кожному документі. Подібна модель називається векторною моделлю і дає можливість порівнювати тексти, порівнюючи їх представляють вектора в певний метриці (евклідова відстань, косинусна міра, манхеттенська відстань, відстань Чебишова та інші), тобто виконувати кластерний аналіз.

Формулу TF-IDF як правило застосовують до нормалізованих документів, в яких слова приведені до основи. Досягти такої форми дозволяють алгоритми стемінгу.

Тепер спробуємо визначити значення IDF для найпоширеніших слів:

Залишається лише визначити TF-IDF для поширених слів у розрізі документів:

З цього прикладу можна зробити такі висновки:

• Слову «Дніпро» найбільше відповідає текст 1, хоча у тексті 2 воно теж фігурує;
• Слову «Будинок» відповідає лише текст 3;
• Слово «Річка» має відношення до 1 та 3 тексту, але 1 співвідноситься точніше. Цікаво, що у тексті 2 теж згадується річка, але за назвою, тому розрахунок TF-IDF цього не помічає;
• Прийменник «з» присутній у кожному документі колекції, а тому незважаючи на значення TF має найнижчі показники TF-IDF.

• Jones K. S. A statistical interpretation of term specificity and its application in retrieval // Journal of Documentation : журнал. — MCB University : MCB University Press, 2004. — Т. 60, № 5. — С. 493-502.