Розрізняють два основних типи кластеризації: ієрархічну і бінарну. Ієрархічна кластеризація полягає у побудові дерева кластерів, у кожному з яких розміщується невелика група документів. Бінарна кластеризація забезпечує групування й проглядання документальних кластерів за принципом схожості. В один кластер розміщаються схожі за своїми властивостями документи. У процесі кластеризації будується базис посилань від документа до документа, що ґрунтується на вагах і спільному використанні ключових слів.
Одне з важливих застосувань Text Mining дає змогу передбачати за значеннями одних ознак об'єктів значення інших. Знаходження виключень (пошук об'єктів, які своїми характеристиками вирізняються з загальної картини) - також важливий напрямок досліджень Text Mining.
Задача пошуку пов'язаних ознак (понять) окремих документів подібна до кластеризації, але виконується за певною сукупністю характерних ознак.
Сучасні системи класу Text Mining можуть здійснювати аналіз великих масивів документів і формувати предметні покажчики понять і тем, висвітлених у цих документах.
Починаючи з 60-х років, з появою засобів автоматизації і текстів в електронному вигляді, набув розвитку контент-аналіз інформації з великими обсягами. Під Data Mining, з погляду контент-аналізу, розуміють механізм виявлення в потоці даних нових знань, таких як моделі, конструкції, асоціації, зміни, аномалії і структурні новоутворення.
Контент-аналіз - це якісно-кількісна, систематична обробка, оцінка та інтерпретація форми і змісту тексту.
Нині використовується кілька підходів до представлення Інформації в базах даних для забезпечення подальшого пошуку цієї інформації. Найбільш поширені підходи - булева і векторно-просторова моделі пошуку.
Булева модель базується на теорії множин, і, отже, є моделлю інформаційного пошуку, що базується на математичній логіці. Нині популярне об'єднання булевої з векторно-просторовою моделлю алгебри представлення даних, що забезпечує, з одного боку, швидкий пошук з використанням операторів математичної логіки, а з іншого боку - ранжирування документів, що базується на вагах ключових слів.
При використанні булевої моделі база даних включає індекс, що організовується у вигляді інвертованого масиву даних, в якому для кожного терма зі словника бази даних міститься список документів, в яких цей терм зустрічається.
В індексі можуть зберігатися також значення частоти входження цього терма в кожному документі, що допомагає сортувати список за зменшенням частоти входження.
Більшість відомих інформаційно-пошукових систем і систем класифікації інформації ґрунтуються на використанні векторної моделі опису даних (Vector Space Model). Векторна модель є класичною моделлю алгебри. У межах цієї моделі документ описується вектором у евклідовому просторі, в якому у кожному документі для терму ставиться у відповідність його ваговий коефіцієнт, який визначається на основі статистичної інформації про його входження в окремому документі або в документальному масиві. Опис запиту, який відповідає заданій тематиці, також є вектором у тому самому евклідовому просторі термів. Для результату оцінювання близькості запиту і документа використовується скалярний добуток відповідних векторів опису тематики і документа.
Векторно-просторова модель представлення даних автоматично забезпечує системам такі можливості: обробка великих запитів; проста реалізація режиму пошуку документів, подібних до знайдених; збереження результатів пошуку в інформаційному масиві з подальшим уточнювальним пошуком.
На практиці, однак, найчастіше використовуються комбіновані підходи, в яких об'єднані можливості булевої і векторно-просторової моделей та додані оригінальні методи семантичної обробки інформації. Найчастіше в інформаційно-пошукових системах процедура пошуку здійснюється відповідно до булевої моделі, а результати ранжируються за вагами відповідно до моделі векторного простору.
Нині відомо чимало виробників програмного забезпечення, які пропонують свої продукти і рішення у сфері Text Mining.
Це масштабовані системи, в яких реалізовані різні математичні та лінгвістичні алгоритми аналізу текстових даних і мають дружні графічні інтерфейси, можливості візуалізації і маніпулювання даними, надають доступ до різних джерел даних і функціонують в архітектурі клієнт - сервер. Наприклад, Intelligent Miner for Text (IBM), PolyAnalyst, WebAnalyst, Text Miner (SAS), SemioMap (Semio Corp), Oracle Text (Oracle), Knowledge Server (Autonomy), GALAKTIKA-ZOOM, Inf oStream (ElVisti).
Сучасні системи пошуку інформації визначаються, виходячи з двох основних тенденцій: обробки знань та застосування відкритих систем. Саме на перетині цих напрямів виникли агентні технології. Активний розвиток методів і технологій розподіленого штучного інтелекту, досягнення у сфері апаратних і програмних засобів підтримки концепції розподіленості та відкритості спричинили розвиток мультиагентних систем, у яких програмні агенти спільно вирішують складні завдання в інформаційному просторі.
Здатність програмних агентів автономно планувати та координувати свої дії, вести переговори з іншими розподіленими застосуваннями у складному гетерогенному інформаційному середовищі, гнучко й інтелектуально приймати рішенння у динамічно змінюваних і непередбачуваних ситуаціях приводить до того, що агентно орієнтовані технології стають однією з ключових технологій обробки інформації.
Агентно орієнтовані системи на підприємствах
Сторінки
В нашій електронній бібліотеці ви можете безкоштовно і без реєстрації прочитати «Інформаційні системи і технології на підприємствах» автора Плескач В.Л. на телефоні, Android, iPhone, iPads. Зараз ви знаходитесь в розділі „Інтелектуальні технології Text Mining“ на сторінці 2. Приємного читання.
