Інтелектуальні технології Text Mining

Інформаційні системи і технології на підприємствах

Розрізняють два основних типи кластеризації: ієрархічну і бінарну. Ієрархічна кластеризація полягає у побудові дерева кластерів, у кожному з яких розміщується невелика група документів. Бінарна кластеризація забезпечує групування й проглядання документальних кластерів за принципом схожості. В один кластер розміщаються схожі за своїми властивостями документи. У процесі кластеризації будується базис посилань від документа до документа, що ґрунтується на вагах і спільному використанні ключових слів.

Одне з важливих застосувань Text Mining дає змогу передбачати за значеннями одних ознак об'єктів значення інших. Знаходження виключень (пошук об'єктів, які своїми характеристиками вирізняються з загальної картини) - також важливий напрямок досліджень Text Mining.

Задача пошуку пов'язаних ознак (понять) окремих документів подібна до кластеризації, але виконується за певною сукупністю характерних ознак.

Сучасні системи класу Text Mining можуть здійснювати аналіз великих масивів документів і формувати предметні покажчики понять і тем, висвітлених у цих документах.

Починаючи з 60-х років, з появою засобів автоматизації і текстів в електронному вигляді, набув розвитку контент-аналіз інформації з великими обсягами. Під Data Mining, з погляду контент-аналізу, розуміють механізм виявлення в потоці даних нових знань, таких як моделі, конструкції, асоціації, зміни, аномалії і структурні новоутворення.

Контент-аналіз - це якісно-кількісна, систематична обробка, оцінка та інтерпретація форми і змісту тексту.

Нині використовується кілька підходів до представлення Інформації в базах даних для забезпечення подальшого пошуку цієї інформації. Найбільш поширені підходи - булева і векторно-просторова моделі пошуку.

Булева модель базується на теорії множин, і, отже, є моделлю інформаційного пошуку, що базується на математичній логіці. Нині популярне об'єднання булевої з векторно-просторовою моделлю алгебри представлення даних, що забезпечує, з одного боку, швидкий пошук з використанням операторів математичної логіки, а з іншого боку - ранжирування документів, що базується на вагах ключових слів.

При використанні булевої моделі база даних включає індекс, що організовується у вигляді інвертованого масиву даних, в якому для кожного терма зі словника бази даних міститься список документів, в яких цей терм зустрічається.

В індексі можуть зберігатися також значення частоти входження цього терма в кожному документі, що допомагає сортувати список за зменшенням частоти входження.

Більшість відомих інформаційно-пошукових систем і систем класифікації інформації ґрунтуються на використанні векторної моделі опису даних (Vector Space Model). Векторна модель є класичною моделлю алгебри. У межах цієї моделі документ описується вектором у евклідовому просторі, в якому у кожному документі для терму ставиться у відповідність його ваговий коефіцієнт, який визначається на основі статистичної інформації про його входження в окремому документі або в документальному масиві. Опис запиту, який відповідає заданій тематиці, також є вектором у тому самому евклідовому просторі термів. Для результату оцінювання близькості запиту і документа використовується скалярний добуток відповідних векторів опису тематики і документа.

Векторно-просторова модель представлення даних автоматично забезпечує системам такі можливості: обробка великих запитів; проста реалізація режиму пошуку документів, подібних до знайдених; збереження результатів пошуку в інформаційному масиві з подальшим уточнювальним пошуком.

На практиці, однак, найчастіше використовуються комбіновані підходи, в яких об'єднані можливості булевої і векторно-просторової моделей та додані оригінальні методи семантичної обробки інформації. Найчастіше в інформаційно-пошукових системах процедура пошуку здійснюється відповідно до булевої моделі, а результати ранжируються за вагами відповідно до моделі векторного простору.

Нині відомо чимало виробників програмного забезпечення, які пропонують свої продукти і рішення у сфері Text Mining.

Це масштабовані системи, в яких реалізовані різні математичні та лінгвістичні алгоритми аналізу текстових даних і мають дружні графічні інтерфейси, можливості візуалізації і маніпулювання даними, надають доступ до різних джерел даних і функціонують в архітектурі клієнт - сервер. Наприклад, Intelligent Miner for Text (IBM), PolyAnalyst, WebAnalyst, Text Miner (SAS), SemioMap (Semio Corp), Oracle Text (Oracle), Knowledge Server (Autonomy), GALAKTIKA-ZOOM, Inf oStream (ElVisti).

Сучасні системи пошуку інформації визначаються, виходячи з двох основних тенденцій: обробки знань та застосування відкритих систем. Саме на перетині цих напрямів виникли агентні технології. Активний розвиток методів і технологій розподіленого штучного інтелекту, досягнення у сфері апаратних і програмних засобів підтримки концепції розподіленості та відкритості спричинили розвиток мультиагентних систем, у яких програмні агенти спільно вирішують складні завдання в інформаційному просторі.

Здатність програмних агентів автономно планувати та координувати свої дії, вести переговори з іншими розподіленими застосуваннями у складному гетерогенному інформаційному середовищі, гнучко й інтелектуально приймати рішенння у динамічно змінюваних і непередбачуваних ситуаціях приводить до того, що агентно орієнтовані технології стають однією з ключових технологій обробки інформації.

Сторінки


В нашій електронній бібліотеці ви можете безкоштовно і без реєстрації прочитати «Інформаційні системи і технології на підприємствах» автора Плескач В.Л. на телефоні, Android, iPhone, iPads. Зараз ви знаходитесь в розділі „Інтелектуальні технології Text Mining“ на сторінці 2. Приємного читання.

Зміст

  • ПЕРЕЛІК СКОРОЧЕНЬ

  • Розділ 1. Основні поняття і роль інформаційних систем та технологій в управлінні підприємствами

  • Сутність та поняття інформації і даних

  • Властивості інформації

  • Семантична та прагматична міри інформації

  • Інформаційні ресурси для управління діяльністю підприємства

  • Поняття інформаційного простору

  • Інформаційні технології

  • Використання IT в управлінні соціально-економічними системами

  • Структура інформаційної технології

  • Стратегія розвитку IT на підприємстві

  • Інформаційні системи

  • Проблеми захисту інформації на підприємствах

  • Відкриті системи

  • Середовище відкритих систем

  • Модель МІС

  • Удосконалення управління підприємством у процесі міжнародної економічної інтеграції

  • Зовнішнє і внутрішнє середовища підприємства

  • Розділ 2. Економічна інформація на підприємствах і засоби її формалізованого опису

  • Структури подання економічної інформації

  • Класифікація економічної інформації

  • Методи кодування економічної інформації

  • Штрихове кодування економічної інформації

  • Єдина система класифікації та кодування техніко-економічної інформації

  • Розділ 3. Cучасні підходи до розроблення -і впровадження інформаційних систем

  • Моделі життєвого циклу ПЗ

  • Інженерія вимог

  • Структурний підхід до розроблення ПЗ

  • Методи структурного аналізу і проектування ПЗ

  • -засоби

  • Класифікація САSЕ -засобів

  • Тестування програм та систем

  • Аналіз якості програмного забезпечення

  • Повторне використання компонентів ІС

  • Процеси життєвого циклу ІС

  • Розділ 4. Засоби створення і забезпечення інформаційних технологій на підприємствах

  • Використання ІТ в управлінні соціально-економічними системами

  • Тенденції розвитку інформаційних технологій

  • Критерії класифікації інформаційних технологій

  • Математичне забезпечення (МЗ)

  • Апаратне забезпечення

  • Технічні засоби обробки інформації

  • Пристрої виводу інформації

  • Програмне забезпечення

  • Автоматизоване робоче місце фахівця, основні функції та компоненти

  • Розподілений доступ до інформаційного середовища

  • Підхід до композиції сервіс-орієнтованих прикладних застосунків

  • Етапи життєвого циклу СОА

  • Internet-, Extranet-, Intranet-технології

  • Розділ 5. Автоматизація управління проектами на підприємствах

  • Сутність та поняття проекту

  • Автоматизована система управління ІТ-проектом

  • Програмний продукт управління проектами Office Project Standard-2007

  • Програмні продукти управління проектами

  • Програма Альт-Інвест 3.0

  • Розділ 6. Еволюція стратегічних моделей управління підприємствами в інформаційних системах

  • MRP-система (планування матеріальних ресурсів)

  • MRP ІІ-система (планування виробничих ресурсів)

  • ERP-система (планування ресурсів підприємства)

  • Застосування системи Microsoft XAL на світових ринках

  • Основні модулі ERP-системи компанії В A AN IV

  • Концепція ERP II

  • СSRР-система (планування ресурсів, синхронізоване зі споживачем)

  • Розділ 7. Інформаційні системи підтримки прийняття рішень та їх використання на підприємствах

  • Організаційно-технологічні основи теорії прийняття рішень

  • Класифікація СППР

  • Архітектура СППР

  • Тенденції розвитку СППР

  • Розділ 8. Інтелектуальні інформаційні системи на підприємствах

  • Квазіалгоритми

  • Організаційні основи експертних систем

  • Класифікація експертних систем

  • Інструментарій створення ЕС

  • Інтелектуальні системи аналізу і звітності на підприємствах. Приклади використання інтелектуальних ВІ-платформ

  • Структура Cognos & ВІ

  • ВІ Server

  • ВІ Publisher

  • ВІ Delivers

  • ВІ Office Plug-In

  • ВІ Disconnected Analytics

  • Використання можливостей баз даних

  • Архітектура MicroStrategy

  • -системи

  • -запити

  • Інтелектуальні технології Data Mining і Text Mining

  • Задача класифікації і регресії

  • Моделі Data Mining

  • Статистичні методи Data Mining

  • Інтелектуальні технології Text Mining
  • Агентно орієнтовані системи на підприємствах

  • Віртуальні організації

  • Типи віртуальних підприємств

  • Онтологічний підхід до використання знань на підприємствах. Організаційні онтології

  • Висновки

  • Розділ 9. Web-технології на підприємствах

  • Засоби створення Web-сайтів

  • Інші Web-технології

  • Сайт як засіб підтримки і розвитку підприємства

  • Web-сервіси як технологічний базис інтеграції підприємств

  • Сервіс-орієнтована архітектура

  • Розділ 10. Інформаційні системи управління корпораціями

  • Єдиний інформаційний простір

  • Класифікація КІС

  • Корпоративна інформаційна система SAP R/3

  • Бізнес-інжиніринг в SAP R/3

  • Бюджетування та його реалізація в корпоративних інформаційних системах

  • ВИСНОВКИ

  • ГЛОСАРІЙ