Видобування знань
Видобування знань (англ. knowledge extraction, рос. извлечение знаний) є створення знань зі структурованих (реляційних баз даних, XML) і неструктурованих (тексти, документи, зображення) джерел. Отримане знання повинно бути збережене у форматі, придатному для автоматичного читання та інтерпретації. Також знання повинні бути представлені таким чином, щоб полегшити логічний висновок. Попри те, що це методично схоже на видобування інформації (англ. Data Mining, NLP) і ETL (зберігання даних), основними критеріями є те, що результат видобування виходить за рамки створення структурованої інформації або перетворення її в реляційну схему. Це вимагає або повторного використання наявних формальних знань (повторне використання ідентифікаторів або онтологій), або генерацію схеми[що це?] на основі вихідних даних.
Група RDB2RDF W3C[1] в даний час[коли?] стандартизує мову для видобутку RDF (англ. Resource Description Framework) з реляційних баз даних. Ще одним популярним прикладом видобутку знань є перетворення Вікіпедії в структуровані дані, а також відображення до наявних знань (див. DBpedia і Freebase).
Огляд
Після стандартизації мов представлення знань, таких як RDF і OWL, багато досліджень було проведено в області, особливо щодо перетворення реляційних баз даних в RDF, задачі ідентифікації, виявлення знань і навчання онтологій. Загальний процес використовує традиційні методи добування даних, виймання, перетворення і завантаження (ETL), які перетворюють дані з джерел у структуровані формати.
Наступні критерії можуть бути використані для класифікації підходів в цій темі (деякі з них використовуються лише для видобутку з реляційних баз даних): [2]
Джерело | Джерела даних, які використовуються: Текст, реляційні бази даних, XML, CSV |
---|---|
Експозиція | В якому вигляді добуваються дані? (файл онтології, семантична база даних)? Як можна зробити запит? |
Синхронізація | Чи виконується процес видобутку знань один раз для отримання дампа або результат синхронізується з джерелом? Статична або динамічна синхронізація. Чи записуються зміни результатів назад (двонаправлена синхронізація) |
Повторне використання словників | Інструмент здатний повторно використовувати наявні словники при видобутку. Наприклад, стовпчик таблиці 'FirstName' можуть бути зіставленні з foaf:firstName. Деякі автоматичні підходи не здатні зіставляти словники. |
Автоматизація | Ступінь, в якій видобуток вимагає втручання/автоматизований. Допомога оператора, GUI, напівавтоматичний, автоматичний. |
Потрібна онтологія предметної області | Потрібно побудувати відображення у вже задану онтологію. Так чином, що або створюється відображення або отримується схема з джерела (навчання онтологій). |
Приклади
Зв'язування об'єктів
- DBpedia Spotlight, OpenCalais, Dandelion dataTXT[недоступне посилання], Zemanta API, Extractiv та PoolParty Extractor аналізують вільний текст через розпізнавання іменованих сутностей, а потім усуває неоднозначність кандидатів через розпізнавання імен та пов'язує знайдені об'єкти зі сховищем знань DBpedia[3] (див. демо Dandelion dataTXT, DBpedia Spotlight або PoolParty Extractor).
Президент Обама у середу закликав Конгрес продовжити податкові пільги для студентів, включених до економічних стимулів у минулому році, стверджуючи, що політика забезпечує більш щедру допомогу.
- Як президент Обама пов'язаний з ресурсом DBpedia Linked data, додаткова інформація може бути отримана автоматично і Semantic Reasoner може, наприклад, зробити висновок, що згадана особа має тип особи (з використанням FOAF (програмне забезпечення)) і президентів типу Сполучених Штатів (за допомогою YAGO). Приклади: Методи, які розпізнають тільки об'єкти або посилання на статті Вікіпедії та інших цілей, які не забезпечують подальше вилучення структурованих даних і формальних знань.
Реляційні бази даних в RDF
- Triplify, D2R сервера, Ultrawrap і Virtuoso RDF Перегляди інструментів, які трансформують реляційні баз даних RDF. В ході цього процесу вони дозволяють повторно використовувати існуючі словники і онтології в процесі перетворення. При перетворенні типових реляційних таблиць з ім'ям користувачів, один стовпець (наприклад «.name») або сукупність стовпців (наприклад «.first_name» і «last_name») повинен надати URI створеного об'єкта. Зазвичай використовується первинний ключ. Кожен другий стовпець може бути залучен як відношення з цією організацією. Потім використовуються властивості з формально визначеною семантикою (і повторно) інтерпретувати інформацію. Наприклад, стовпець в таблиці користувача з ім'ям marriedTo може бути визначена як симетричне відношення і стовпчик homepage може бути перетворений у власність від FOAF Словник називається FOAF: головна сторінка, таким чином, кваліфікує його як функціональна властивість зворотного. Потім кожен запис таблиці користувача може бути екземпляром класу FOAF: Людина (Онтологія населення). Крім знання предметної області (у формі онтології) можуть бути створені з status_id, або створених вручну правил (якщо status_id 2, запис відноситься до класу Вчителі), або (semi) -автоматичні методи (онтологія навчання). Ось приклад перетворення:
Ім'я | одружений | домашня сторінка | статус |
---|---|---|---|
Peter | Mary | http://example.org/Peters_page%5Bнедоступне+посилання+з+березня+2019%5D | 1 |
Claus | Eva | http://example.org/Claus_page%5Bнедоступне+посилання+з+березня+2019%5D | 2 |
:Peter :marriedTo :Mary .
:marriedTo a owl:SymmetricProperty .
:Peter foaf:homepage <http://example.org/Peters_page> .
:Peter a foaf:Person .
:Peter a :Student .
:Claus a :Teacher .
Витяг з структурованих джерел в RDF
1: 1 Відображення з таблиць БД / Види на RDF Entities / Властивості / Значення
При створенні вистави RDB в проблемній області, відправною точкою часто є сутність-зв'язок діаграма (ERD). Як правило, кожним об'єктом представленому у вигляді таблиці бази даних, кожний атрибут сутності стає стовпець в цій таблиці, і відносини між об'єктами позначаються зовнішніми ключами. Кожна таблиця, як правило, визначає конкретний клас суті, кожен стовпець один з його атрибутів. Кожен рядок в таблиці описує екземпляр сутності, однозначно ідентифікується первинним ключем. Рядки таблиці в сукупності описують набір сутностей. В еквівалентній RDF представлення одного і того ж набору сутностей:
- Кожен стовпець у таблиці є атрибутом (тобто предикат)
- Кожне значення стовпця є значення атрибута (тобто об'єкт)
- Кожна клавіша рядок являє собою ідентифікатор об'єкта (тобто суб'єкт)
- Кожен рядок є екземпляром сутності
- Кожен рядок (екземпляр об'єкта) представлена в RDF колекцією трійок із загальним суб'єктом (ідентифікатор об'єкта)
Таким чином, щоб зробити еквівалентне уявлення на основі RDF семантики, основне відображення алгоритму буде виглядати наступним чином:
- створити RDFS клас для кожної таблиці
- конвертувати всі первинні ключі та зовнішні ключі в IRIs
- призначити предикат IRI для кожного стовпчика
- призначити РДФ: тип предиката для кожного рядка, пов'язуючи його з ІСС класу IRI відповідає таблиці
- для кожного стовпчика, який не є ні частиною первинного або зовнішнього ключа, побудувати потрійний, який містить первинний ключ IRI як суб'єкта, стовпець IRI як предиката і значення стовпця як об'єкт.
Найперша згадка цього основного або прямого відображення можна знайти в порівнянні Тім Бернерс-Лі моделі ER до моделі RDF. [4].
Складні відображення реляційних баз даних в RDF
1: 1 згадуване вище надає застарілі дані у вигляді RDF прямим шляхом, додаткові уточнення можуть бути використані для підвищення корисності RDF виведення відповідного до Use Cases. Як правило, втрачається інформація в процесі перетворення в сутність-зв'язок діаграми (ERD) для реляційних таблиць (подробиці можна знайти в об'єктно-реляційному імпедансі) і повинна бути зворотня інженерія. З концептуальної точки зору, підходи до видобутку можуть надходити з двох напрямків. Перший напрямок намагається витягти або дізнатися-схему OWL з даної схеми бази даних. Ранні підходи використовували фіксовану кількість створених вручну правил відображення для уточнення відображення 1:1[5][6][7]. Більш складні методи з використанням евристики або алгоритмів навчання, щоб викликати схематичну інформацію (методи перекриватися з навчанням онтологій). У той час як деякі підходи намагаються витягти інформацію зі структури, властивої схемою SQL[8] (аналізуючи наприклад, зовнішні ключі), інші аналізують зміст і значення в таблицях для створення концептуальних ієрархій[9] (наприклад, стовпці з декількома значеннями є кандидатами для становлення категорії), Другий напрямок намагається відобразити схему і його вміст вже існуючої онтології предметної області (дивись також: вирівнювання онтології). Часто, однак, відповідна онтологія не існує, і повинен бути створений першим.
XML
Так як XML структурована у вигляді дерева, будь-які дані можуть бути легко представлені в RDF, який структурований у вигляді графіка. XML2RDF є одним із прикладів такого підходу, який використовує RDF порожні вузли і перетворює XML-елементи і атрибути властивостей RDF. Тема, однак, є більш складним, як і в разі реляційних баз даних. У реляційної таблиці первинний ключ є ідеальним кандидатом, щоб стати предметом здобутих трійок. XML-елемент, однак, можуть бути перетворені — в залежності від контексту — як суб'єкт, предикат або об'єкт потрійний. XSLT може бути використаний стандартний мову перетворення вручну перетворити XML в RDF.
Огляд методів / Інструменти
Name | Data Source | Data Exposition | Data Synchronisation | Mapping Language | Vocabulary Reuse | Mapping Automat. | Req. Domain Ontology | Uses GUI |
---|---|---|---|---|---|---|---|---|
A Direct Mapping of Relational Data to RDF | Relational Data | SPARQL/ETL | dynamic | N/A | false | automatic | false | false |
CSV2RDF4LOD | CSV | ETL | static | RDF | true | manual | false | false |
Convert2RDF | Delimited text file | ETL | static | RDF/DAML | true | manual | false | true |
D2R Server Архівовано 26 лютого 2012 у Wayback Machine. | RDB | SPARQL | bi-directional | D2R Map | true | manual | false | false |
DartGrid | RDB | own query language | dynamic | Visual Tool | true | manual | false | true |
DataMaster | RDB | ETL | static | proprietary | true | manual | true | true |
Google Refine's RDF Extension | CSV, XML | ETL | static | none | semi-automatic | false | true | |
Krextor | XML | ETL | static | xslt | true | manual | true | false |
MAPONTO | RDB | ETL | static | proprietary | true | manual | true | false |
METAmorphoses | RDB | ETL | static | proprietary xml based mapping language | true | manual | false | true |
MappingMaster | CSV | ETL | static | MappingMaster | true | GUI | false | true |
ODEMapster | RDB | ETL | static | proprietary | true | manual | true | true |
OntoWiki CSV Importer Plug-in — DataCube & Tabular | CSV | ETL | static | The RDF Data Cube Vocaublary | true | semi-automatic | false | true |
Poolparty Extraktor (PPX) | XML, Text | LinkedData | dynamic | RDF (SKOS) | true | semi-automatic | true | false |
RDBToOnto | RDB | ETL | static | none | false | automatic, the user furthermore has the chance to fine-tune results | false | true |
RDF 123 | CSV | ETL | static | false | false | manual | false | true |
RDOTE | RDB | ETL | static | SQL | true | manual | true | true |
Relational.OWL | RDB | ETL | static | none | false | automatic | false | false |
T2LD | CSV | ETL | static | false | false | automatic | false | false |
The RDF Data Cube Vocabulary | Multidimensional statistical data in spreadsheets | Data Cube Vocabulary | true | manual | false | |||
TopBraid Composer | CSV | ETL | static | SKOS | false | semi-automatic | false | true |
Triplify Архівовано 6 січня 2009 у Wayback Machine. | RDB | LinkedData | dynamic | SQL | true | manual | false | false |
Ultrawrap | RDB | SPARQL/ETL | dynamic | R2RML | true | semi-automatic | false | true |
Virtuoso RDF Views | RDB | SPARQL | dynamic | Meta Schema Language | true | semi-automatic | false | true |
Virtuoso Sponger | structured and semi-structured data sources | SPARQL | dynamic | Virtuoso PL & XSLT | true | semi-automatic | false | false |
VisAVis | RDB | RDQL | dynamic | SQL | true | manual | true | true |
XLWrap: Spreadsheet to RDF | CSV | ETL | static | TriG Syntax | true | manual | false | false |
XML to RDF | XML | ETL | static | false | false | automatic | false | false |
Витяг з природних джерел мови
Найбільша частина інформації, що міститься в бізнес-документах (близько 80 %[10]) кодується природною мовою і, отже, неструктурована. Оскільки неструктуровані дані є досить складним завданням для вилучення знань, більш складні методи необхідні, які, як правило, поставляють гірші результати в порівнянні з неструктурованими даними. Потенціал для масового придбання здобутих знань, проте, повинні компенсувати підвищену складність і зниження якості видобутку. Надалі, природні джерела мови розуміються як джерела інформації, де дані наведені неструктурованим чином, як звичайний текст. Якщо даний текст додатково вбудований в розмітки документа (е. Г. HTML документ), згадані системи зазвичай видаляють елементи розмітки автоматично.
Традиційне вилучення інформації (IE)
Традиційне вилучення інформації[11] є технологією обробки природної мови, яке витягує інформацію з текстів природною мовою, як правило, і структури даних відповідним чином. Види інформації, що підлягає ідентифікованого повинні бути вказані як модель перед початком процесу, тому весь процес традиційного вилучення інформації залежний. IE розділений на наступні п'ять підзадач.
- визнання Названий об'єкт (ВНО)
- Резолюція кореферентності (РК)
- Шаблон будівельного елементу (ШБ)
- Шаблон ставлення конструкції (ШС)
- Шаблон виробництва сценарій (ШВ)
Завдання названого розпізнавання особи є визнати і класифікувати всі названі об'єкти, що містяться в тексті (присвоєння імені об'єкта до визначеної категорії). Це працює шляхом застосування граматики на основі методів або статистичних моделей.
Дозвіл конферентногсті визначає еквівалентні об'єкти, які були визнані НЕК, в тексті. Існують два види відповідних відносин еквівалентності. Перший з них відноситься до відносин між двома різними представленими суб'єктами (наприклад, IBM Europe і IBM), а другий до відносин між суб'єктом і їх анафорических посилань (наприклад, він і IBM). Обидва види можуть бути визнані відповідно до резолюції кореферентності.
Під час будівництва елемента шаблону система ідентифікує IE описові властивості сутностей, визнаних НЕК і CO. Ці властивості відповідають звичайним якостям, як червоний або великий.
Шаблонна конструкція відношення визначає відносини, які існують між елементами шаблону. Ці відносини можуть бути декількох видів, таких як роботи з питання або знаходження, з обмеженням, що обидва домени і діапазон відповідають суб'єктам.
У шаблоні сценарію здійснюються події, які описані в тексті, вони будуть визначені і структуровані щодо осіб, визнаних Нью-Йорку і СО і відносин, які були визначені TR.
Онтологія на основі вилучення інформації (OBIE)
Онтологія на основі вилучення інформації є полем вилучення інформації, за допомогою якої щонайменше одна онтологія використовується для управління процесом добування інформації з текстів природною мовою. Система OBIE використовує методи традиційної вилучення інформації для ідентифікації понять, екземпляри і відносини використовуваних онтологій в тексті, які будуть структуровані з онтологією після процесу. Таким чином, вхідна онтологія є моделлю інформації, яку необхідно витягти.
Онтологія навчання (ОН)
Вивчення Онтології є автоматичним або напівавтоматичним створення онтологій, включаючи витяг термінів відповідної області від природного тексту мови. Оскільки будівля онтологій вручну є надзвичайно трудомістким і займає багато часу, є велика мотивація для автоматизації процесу.
Семантична анотація (SA)
Під час семантичної анотації[12], текст природною мовою доповнюється метаданими (часто представлені в RDFa), які повинні складати семантику термінів, що містяться машини зрозумілим. У цьому процесі, який, як правило, напівавтоматична, знання видобувається в тому сенсі, що зв'язок між лексичних термінів і понять, наприклад, з онтологією встановлюється. Таким чином, знання здобувається, що значення терміна в обробленому контексті був призначений і, отже, сенс тексту ґрунтується на машинозчитуваних даних з можливістю зробити висновки. Семантичне анотування як правило, розділені на наступні дві підзадачі.
- екстракція Термінологія
- Об'єкт зв'язування
На рівні вилучення термінології, лексичні терміни з тексту витягуються. Для цієї мети токенізатор визначає спочатку кордони слів і вирішує скорочити. Згодом терміни з тексту, які відповідають концепції, витягуються за допомогою лексикону предметно-орієнтованого щоб зв'язати ці по суті посилання.
По суті пов'язуючи[13] зв'язок між видобутих лексичних термінів з вихідного тексту і понять з онтології або бази знань, таких як встановлено DBpedia. Для цього, кандидати-концепції виявляються відповідно в декількох значеннях терміна за допомогою лексикону. І, нарешті, контекст термінів аналізується з метою визначення найбільш підходящої однозначністі і призначити термін для правильної концепції.
інструменти
Наступні критерії можуть бути використані для класифікації інструментів, які витягують знання з текстів природною мовою.
Джерело | Які формати введення можуть бути оброблені за допомогою інструменту (наприклад, простий текст, HTML або PDF)? |
Доступ до Paradigm | Чи може інструмент запитувати джерела даних або потребує цілого дампа для процесу екстракції? |
Синхронізація даних | Є результатом процесу екстракції синхронізований з джерелом? |
Використання Output Ontology | Чи зв'язані інструмент результат з онтологією? |
Mapping Автоматизація | Як це автоматизований процес екстракції (ручний, напівавтоматичний або автоматичний)? |
вимагає Онтологія | Чи потрібно інструмент онтології для вилучення? |
Використання графічного інтерфейсу користувача | Чи надає інструмент графічний інтерфейс користувача? |
Підхід | Який підхід (IS, OBIE, ПР або SA) використовується інструментом? |
Витягнуті Сутності | Які типи сутностей (наприклад, названі особи, поняття або відношення) можуть бути вилучені за допомогою інструменту? |
Застосовувані методи | Які методи застосовуються (наприклад, NLP, статистичні методи, кластеризація або машинного навчання)? |
Вихід моделі | Яка модель використовується для представлення результату інструменту (е. Г. RDF або OWL)? |
Підтримувані домени |
Які домени підтримуються (наприклад, економіка або біологія)? |
Підтримувані Мови | Які мови можуть бути оброблені (наприклад, англійську чи німецьку)? |
У наведеній нижче таблиці характеризується деякі інструменти для здобуття знань з природних джерел мови.
Назва | Джерело | доступ до Paradigm | Data Synchronization | Uses Output Ontology | Mapping Automation | Requires Ontology | Uses GUI | Approach | Extracted Entities | Applied Techniques | Output Model | Supported Domains | Supported Languages |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
AeroText[14] | plain text, HTML, XML, SGML | dump | no | yes | automatic | yes | yes | IE | named entities, relationships, events | linguistic rules | proprietary | domain-independent | English, Spanish, Arabic, Chinese, indonesian |
AlchemyAPI[15] | plain text, HTML | automatic | yes | SA | multilingual | ||||||||
ANNIE[16] | plain text | dump | yes | yes | IE | finite state algorithms | multilingual | ||||||
ASIUM[17] | plain text | dump | semi-automatic | yes | OL | concepts, concept hierarchy | NLP, clustering | ||||||
Attensity Exhaustive Extraction[18] | automatic | IE | named entities, relationships, events | NLP | |||||||||
Dandelion API | plain text, HTML, URL | REST | no | no | automatic | no | yes | SA | named entities, concepts | statistical methods | JSON | domain-independent | multilingual |
DBpedia Spotlight[19] | plain text, HTML | dump, SPARQL | yes | yes | automatic | no | yes | SA | annotation to each word, annotation to non-stopwords | NLP, statistical methods, machine learning | RDFa | domain-independent | English |
EntityClassifier.eu | plain text, HTML | dump | yes | yes | automatic | no | yes | IE, OL, SA | annotation to each word, annotation to non-stopwords | rule-based grammar | XML | domain-independent | English, German, Dutch |
FRED[20] | plain text, PDF and Word via Sheldon | dump, REST | yes | automatic | no | yes | OL+IE+SA | concepts, concept hierarchy, frames, events, relationships, named entities, negation, modality, tense, entity linking, schema alignment, sentiment (via Sentilo) | NLP, SPARQL, heuristical rules, ontology design patterns | RDF-OWL, Turtle, NT, JSON-LD, DAG, diagrams | domain-independent | English, multilingual input | |
K-Extractor[21][22] | plain text, HTML, XML, PDF, MS Office, e-mail | dump, SPARQL | yes | yes | automatic | no | yes | IE, OL, SA | concepts, named entities, instances, concept hierarchy, generic relationships, user-defined relationships, events, modality, tense, entity linking, event linking, sentiment | NLP, machine learning, heuristic rules | RDF, OWL, proprietary XML | domain-independent | English, Spanish |
iDocument[23] | HTML, PDF, DOC | SPARQL | yes | yes | OBIE | instances, property values | NLP | personal, business | |||||
NetOwl Extractor[24] | plain text, HTML, XML, SGML, PDF, MS Office | dump | No | Yes | Automatic | yes | Yes | IE | named entities, relationships, events | NLP | XML, JSON, RDF-OWL, others | multiple domains | English, Arabic Chinese (Simplified and Traditional), French, Korean, Persian (Farsi and Dari), Russian, Spanish |
OntoGen Архівовано 30 березня 2010 у Wayback Machine. Архівовано 30 березня 2010 у Wayback Machine.[25] | semi-automatic | yes | OL | concepts, concept hierarchy, non-taxonomic relations, instances | NLP, machine learning, clustering | ||||||||
OntoLearn Архівовано 9 серпня 2017 у Wayback Machine.[26] | plain text, HTML | dump | no | yes | automatic | yes | no | OL | concepts, concept hierarchy, instances | NLP, statistical methods | proprietary | domain-independent | English |
OntoLearn Reloaded | plain text, HTML | dump | no | yes | automatic | yes | no | OL | concepts, concept hierarchy, instances | NLP, statistical methods | proprietary | domain-independent | English |
OntoSyphon[27] | HTML, PDF, DOC | dump, search engine queries | no | yes | automatic | yes | no | OBIE | concepts, relations, instances | NLP, statistical methods | RDF | domain-independent | English |
ontoX Архівовано 27 травня 2016 у Wayback Machine.[28] | plain text | dump | no | yes | semi-automatic | yes | no | OBIE | instances, datatype property values | heuristic-based methods | proprietary | domain-independent | language-independent |
OpenCalais | plain text, HTML, XML | dump | no | yes | automatic | yes | no | SA | annotation to entities, annotation to events, annotation to facts | NLP, machine learning | RDF | domain-independent | English, French, Spanish |
PoolParty Extractor[29] | plain text, HTML, DOC, ODT | dump | no | yes | automatic | yes | yes | OBIE | named entities, concepts, relations, concepts that categorize the text, enrichments | NLP, machine learning, statistical methods | RDF, OWL | domain-independent | English, German, Spanish, French |
Rosoka[30] | plain text, HTML, XML, SGML, PDF, MS Office | dump | Yes | Yes | Automatic | no | Yes | IE | named entities, relationships, attributes, concepts | NLP | XML, JSON, RDF, others | multiple domains | Multilingual (230) |
SCOOBIE | plain text, HTML | dump | no | yes | automatic | no | no | OBIE | instances, property values, RDFS types | NLP, machine learning | RDF, RDFa | domain-independent | English, German |
SemTag[31][32] | HTML | dump | no | yes | automatic | yes | no | SA | machine learning | database record | domain-independent | language-independent | |
smart FIX Архівовано 17 травня 2016 у Wayback Machine. | plain text, HTML, PDF, DOC, e-Mail | dump | yes | no | automatic | no | yes | OBIE | named entities | NLP, machine learning | proprietary | domain-independent | English, German, French, Dutch, polish |
Text2Onto[33] | plain text, HTML, PDF | dump | yes | no | semi-automatic | yes | yes | OL | concepts, concept hierarchy, non-taxonomic relations, instances, axioms | NLP, statistical methods, machine learning, rule-based methods | OWL | deomain-independent | English, German, Spanish |
Text-To-Onto[34] | plain text, HTML, PDF, PostScript | dump | semi-automatic | yes | yes | OL | concepts, concept hierarchy, non-taxonomic relations, lexical entities referring to concepts, lexical entities referring to relations | NLP, machine learning, clustering, statistical methods | German | ||||
ThatNeedle | Plain Text | dump | automatic | no | concepts, relations, hierarchy | NLP, proprietary | JSON | multiple domains | English | ||||
The Wiki Machine[35] | plain text, HTML, PDF, DOC | dump | no | yes | automatic | yes | yes | SA | annotation to proper nouns, annotation to common nouns | machine learning | RDFa | domain-independent | English, German, Spanish, French, Portuguese, Italian, Russian |
ThingFinder[36] | IE | named entities, relationships, events | multilingual |
Виявлення знань
Виявлення знань описує процес автоматичного пошуку великих обсягів даних для моделей, які можна вважати знання про дані[37]. Він часто описується як вилучення знань з вхідних даних. Виявлення знань розвинулася з області інтелектуального аналізу даних, а також тісно пов'язана з нею як з точки зору методології та термінології. [38]
Найбільш відома гілка інтелектуального аналізу даних є виявлення знань, також відомий як виявлення знань в базах даних (KDD). Так само, як і багато інших форм виявлення знань створює абстракції вхідних даних. Знання, отримані в процесі, можуть стати додаткові дані, які можуть бути використані для подальшого використання і відкриття. Часто результати від виявлення знань не дієві, відкриття знання дієві, також відомий як домен приводом інтелектуального аналізу даних, має на меті виявити та доставити дієві знання та ідеї.
Іншим перспективним застосування виявлення знань в області модернізації програмного забезпечення, виявлення слабкості і дотримання яких передбачає розуміння існуючих програмних артефактів. Цей процес пов'язаний з концепцією зворотної інженерії. Як правило, знання, отримані з існуючого програмного забезпечення представлені у вигляді моделей, в якій конкретні запити можуть бути зроблені при потреби. Відносини суті є найчастішим форматом представлення знань, отриманих з існуючого програмного забезпечення. Об'єкт Management Group (OMG) розробила специфікації знання Discovery Metamodel (KDM), який визначає онтологію для засобів програмного забезпечення та їх відносин з метою виконання виявлення знань всі наявні коди. Виявлення знань з існуючих програмних систем, також відомий як програмне забезпечення видобутку корисних копалин тісно пов'язана з видобутком корисних копалин даних, оскільки існуючі програмні артефакти містять величезне значення для управління ризиками та вартості бізнесу, ключ для оцінки та розвитку програмних систем. Замість того, щоб видобуток окремих наборів даних, гірничодобувної промисловості програмного забезпечення фокусується на метаданих, таких як потоки процесу (наприклад, потоки даних, потоки управління, & назвати карти), архітектура, схеми баз даних і бізнес-правила / умови / процесу.
Вхідні дані
- бази даних
- реляційні дані
- база даних
- складський документ
- Інформаційне сховище
- програмне забезпечення
- вихідні дані
- файли конфігурації
- побудова сценаріїв
- Текст
- концепція гірничодобувної промисловості
- діаграми
- молекула сенс
- послідовності
- видобуток потоку даних
- Навчання від змінюються в часі потоків даних в рамках концепції дрейфу
- Веб
вихідні формати
- Модель даних
- Метадані
- метамоделі
- онтологія
- уявлення знань
- теги знань
- бізнес-правила
- Знання Discovery Metamodel (КДМ)
- Моделювання бізнес-процесів нотація (BPMN)
- проміжне представлення
- Resource Description Framework (RDF)
- метрики програмного забезпечення
Див. також
- кластеризація
- археологія даних
- Видобуток даних
- інтелектуального аналізу даних домену приводом
- Інтелектуального аналізу даних в сільському господарстві
- Витяг, перетворення, завантаження
- інформація Видобуток
- Подання знань і висновок
Примітки
- RDB2RDF Working Group, Website: http://www.w3.org/2001/sw/rdb2rdf/, charter: http://www.w3.org/2009/08/rdb2rdf-charter, R2RML: RDB to RDF Mapping Language: http://www.w3.org/TR/r2rml/
- LOD2 EU Deliverable 3.1.1 Knowledge Extraction from Structured Sources http://static.lod2.eu/Deliverables/deliverable-3.1.1.pdf Архівовано 27 серпня 2011 у Wayback Machine.
- Life in the Linked Data Cloud. www.opencalais.com. Архів оригіналу за 24 листопада 2009. Процитовано 10 листопада 2009. «Wikipedia has a Linked Data twin called DBpedia. DBpedia has the same structured information as Wikipedia – but translated into a machine-readable format.»
- Tim Berners-Lee (1998), «Relational Databases on the Semantic Web». Retrieved: February 20, 2011.
- Hu et al. (2007), «Discovering Simple Mappings Between Relational Database Schemas and Ontologies», In Proc. of 6th International Semantic Web Conference (ISWC 2007), 2nd Asian Semantic Web Conference (ASWC 2007), LNCS 4825, pages 225‐238, Busan, Korea, 11‐15 November 2007. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.97.6934&rep=rep1&type=pdf
- R. Ghawi and N. Cullot (2007), «Database-to-Ontology Mapping Generation for Semantic Interoperability». In Third International Workshop on Database Interoperability (InterDB 2007). http://le2i.cnrs.fr/IMG/publications/InterDB07-Ghawi.pdf
- Li et al. (2005) «A Semi-automatic Ontology Acquisition Method for the Semantic Web», WAIM, volume 3739 of Lecture Notes in Computer Science, page 209—220. Springer. http://dx.doi.org/10.1007/11563952_19
- Tirmizi et al. (2008), «Translating SQL Applications to the Semantic Web», Lecture Notes in Computer Science, Volume 5181/2008 (Database and Expert Systems Applications). http://citeseer.ist.psu.edu/viewdoc/download;jsessionid=15E8AB2A37BD06DAE59255A1AC3095F0?doi=10.1.1.140.3169&rep=rep1&type=pdf
- Farid Cerbah (2008). «Learning Highly Structured Semantic Repositories from Relational Databases», The Semantic Web: Research and Applications, volume 5021 of Lecture Notes in Computer Science, Springer, Berlin / Heidelberg http://www.tao-project.eu/resources/publications/cerbah-learning-highly-structured-semantic-repositories-from-relational-databases.pdf Архівовано 20 липня 2011 у Wayback Machine.
- Wimalasuriya, Daya C.; Dou, Dejing (2010). «Ontology-based information extraction: An introduction and a survey of current approaches», Journal of Information Science, 36(3), p. 306—323, http://ix.cs.uoregon.edu/~dou/research/papers/jis09.pdf (retrieved: 18.06.2012).
- Cunningham, Hamish (2005). «Information Extraction, Automatic», Encyclopedia of Language and Linguistics, 2, p. 665—677, http://gate.ac.uk/sale/ell2/ie/main.pdf (retrieved: 18.06.2012).
- Erdmann, M.; Maedche, Alexander; Schnurr, H.-P.; Staab, Steffen (2000). «From Manual to Semi-automatic Semantic Annotation: About Ontology-based Text Annotation Tools», Proceedings of the COLING, http://www.ida.liu.se/ext/epa/cis/2001/002/paper.pdf (retrieved: 18.06.2012).
- Rao, Delip; McNamee, Paul; Dredze, Mark (2011). «Entity Linking: Finding Extracted Entities in a Knowledge Base», Multi-source, Multi-lingual Information Extraction and Summarization, http://www.cs.jhu.edu/~delip/entity-linking.pdf%5Bнедоступне+посилання+з+березня+2019%5D (retrieved: 18.06.2012).
- Rocket Software, Inc. (2012). «technology for extracting intelligence from text», http://www.rocketsoftware.com/products/aerotext Архівовано 21 червня 2013 у Wayback Machine. (retrieved: 18.06.2012).
- Orchestr8 (2012): «AlchemyAPI Overview», http://www.alchemyapi.com/api (retrieved: 18.06.2012).
- The University of Sheffield (2011). «ANNIE: a Nearly-New Information Extraction System», http://gate.ac.uk/sale/tao/splitch6.html#chap:annie (retrieved: 18.06.2012).
- ILP Network of Excellence. «ASIUM (LRI)», http://www-ai.ijs.si/~ilpnet2/systems/asium.html (retrieved: 18.06.2012).
- Attensity (2012). «Exhaustive Extraction», http://www.attensity.com/products/technology/semantic-server/exhaustive-extraction/ Архівовано 11 липня 2012 у Wayback Machine. (retrieved: 18.06.2012).
- Mendes, Pablo N.; Jakob, Max; Garcia-Sílva, Andrés; Bizer; Christian (2011). «DBpedia Spotlight: Shedding Light on the Web of Documents», Proceedings of the 7th International Conference on Semantic Systems, p. 1 — 8, http://www.wiwiss.fu-berlin.de/en/institute/pwo/bizer/research/publications/Mendes-Jakob-GarciaSilva-Bizer-DBpediaSpotlight-ISEM2011.pdf Архівовано 5 квітня 2012 у Wayback Machine. (retrieved: 18.06.2012).
- Presutti, Valentina; Draicchio, Francesco; Gangemi, Aldo (2012). «Knowledge Extraction based on Discourse Representation Theory and Linguistic Frames», «Proceedings of the Conference on Knowledge Engineering and Knowledge Management (EKAW2012), LNCS, Springer», http://www.researchgate.net/profile/Aldo_Gangemi/publication/262175193_Knowledge_extraction_based_on_discourse_representation_theory_and_linguistic_frames/links/5488b1bb0cf268d28f08fde6.pdf (retrieved: 18.01.2015).
- Balakrishna, Mithun; Moldovan, Dan (2013). "Automatic Building of Semantically Rich Domain Models from Unstructured Data", Proceedings of the Twenty-Sixth International Florida Artificial Intelligence Research Society Conference (FLAIRS), p. 22 - 27, http://www.aaai.org/ocs/index.php/FLAIRS/FLAIRS13/paper/view/5909/6036 (retrieved: 11.08.2014)
- 2. Moldovan, Dan; Blanco, Eduardo (2012). «Polaris: Lymba's Semantic Parser», Proceedings of the Eight International Conference on Language Resources and Evaluation (LREC), p. 66 — 72, http://www.lrec-conf.org/proceedings/lrec2012/pdf/176_Paper.pdf (retrieved: 11.08.2014)
- Adrian, Benjamin; Maus, Heiko; Dengel, Andreas (2009). «iDocument: Using Ontologies for Extracting Information from Text», http://www.dfki.uni-kl.de/~maus/dok/AdrianMausDengel09.pdf (retrieved: 18.06.2012).
- SRA International, Inc. (2012). «NetOwl Extractor», http://www.sra.com/netowl/entity-extraction/ Архівовано 24 вересня 2012 у Wayback Machine. (retrieved: 18.06.2012).
- Fortuna, Blaz; Grobelnik, Marko; Mladenic, Dunja (2007). «OntoGen: Semi-automatic Ontology Editor», Proceedings of the 2007 conference on Human interface, Part 2, p. 309—318, http://analytics.ijs.si/~blazf/papers/OntoGen2_HCII2007.pdf (retrieved: 18.06.2012).
- Missikoff, Michele; Navigli, Roberto; Velardi, Paola (2002). «Integrated Approach to Web Ontology Learning and Engineering», Computer, 35(11), p. 60 — 63, http://wwwusers.di.uniroma1.it/~velardi/IEEE_C.pdf (retrieved: 18.06.2012).
- McDowell, Luke K.; Cafarella, Michael (2006). «Ontology-driven Information Extraction with OntoSyphon», Proceedings of the 5th international conference on The Semantic Web, p. 428—444, http://turing.cs.washington.edu/papers/iswc2006McDowell-final.pdf (retrieved: 18.06.2012).
- Yildiz, Burcu; Miksch, Silvia (2007). «ontoX — A Method for Ontology-Driven Information Extraction», Proceedings of the 2007 international conference on Computational science and its applications, 3, p. 660—673, http://publik.tuwien.ac.at/files/pub-inf_4769.pdf (retrieved: 18.06.2012).
- semanticweb.org (2011). «PoolParty Extractor», http://semanticweb.org/wiki/PoolParty_Extractor Архівовано 4 березня 2016 у Wayback Machine. (retrieved: 18.06.2012).
- IMT Holdings, Corp (2013). «Rosoka», http://www.rosoka.com/content/capabilities (retrieved: 08.08.2013).
- Dill, Stephen; Eiron, Nadav; Gibson, David; Gruhl, Daniel; Guha, R.; Jhingran, Anant; Kanungo, Tapas; Rajagopalan, Sridhar; Tomkins, Andrew; Tomlin, John A.; Zien, Jason Y. (2003). «SemTag and Seeker: Bootstraping the Semantic Web via Automated Semantic Annotation», Proceedings of the 12th international conference on World Wide Web, p. 178—186, http://www2003.org/cdrom/papers/refereed/p831/p831-dill.html (retrieved: 18.06.2012).
- Uren, Victoria; Cimiano, Philipp; Iria, José; Handschuh, Siegfried; Vargas-Vera, Maria; Motta, Enrico; Ciravegna, Fabio (2006). «Semantic annotation for knowledge management: Requirements and a survey of the state of the art», Web Semantics: Science, Services and Agents on the World Wide Web, 4(1), p. 14 — 28, http://staffwww.dcs.shef.ac.uk/people/J.Iria/iria_jws06.pdf%5Bнедоступне+посилання+з+травня+2019%5D, (retrieved: 18.06.2012).
- Cimiano, Philipp; Völker, Johanna (2005). «Text2Onto — A Framework for Ontology Learning and Data-Driven Change Discovery», Proceedings of the 10th International Conference of Applications of Natural Language to Information Systems, 3513, p. 227—238, http://www.cimiano.de/Publications/2005/nldb05/nldb05.pdf (retrieved: 18.06.2012).
- Maedche, Alexander; Volz, Raphael (2001). «The Ontology Extraction & Maintenance Framework Text-To-Onto», Proceedings of the IEEE International Conference on Data Mining, http://users.csc.calpoly.edu/~fkurfess/Events/DM-KM-01/Volz.pdf (retrieved: 18.06.2012).
- Machine Linking. «We connect to the Linked Open Data cloud», http://thewikimachine.fbk.eu/html/index.html Архівовано 19 липня 2012 у Wayback Machine. (retrieved: 18.06.2012).
- Inxight Federal Systems (2008). «Inxight ThingFinder and ThingFinder Professional», http://inxightfedsys.com/products/sdks/tf/ Архівовано 29 червня 2012 у Wayback Machine. (retrieved: 18.06.2012).
- Frawley William. F. et al. (1992), «Knowledge Discovery in Databases: An Overview», AI Magazine (Vol 13, No 3), 57-70 (online full version: http://www.aaai.org/ojs/index.php/aimagazine/article/viewArticle/1011 Архівовано 4 березня 2016 у Wayback Machine.)
- Fayyad U. et al. (1996), «From Data Mining to Knowledge Discovery in Databases», AI Magazine (Vol 17, No 3), 37-54 (online full version: http://www.aaai.org/ojs/index.php/aimagazine/article/viewArticle/1230 Архівовано 4 травня 2016 у Wayback Machine.