Розроблені на основі статистичного і лінгвістичного аналізів, а також методів штучного інтелекту, технології Text Mining призначені для проведення аналізу, забезпечення навігації і пошуку в неструктурованих текстах. Застосовуючи системи класу Text Mining, користувачі набувають нових знань.
Технології Text Mining - набір методів, призначених для здобуття інформації з текстів на основі сучасних ІКТ, що дає змогу виявити закономірності, які можуть приводити до отримання корисної інформації і нових знань користувачами.
Це інструмент, який дає можливість аналізувати великі обсяги інформації у пошуках тенденцій, шаблонів і взаємозв'язків, здатних допомогти у прийнятті стратегічних рішень.
Слід зазначити, що технології аналізу тексту історично передувало створення технології аналізу здобуття даних, методологія і підходи якої широко використовуються також у методах Text Mining, наприклад, методи класифікації чи кластеризації. У Text Mining з'явилися нові можливості: автоматичне реферування текстів та виявлення феноменів, тобто понять і фактів. Можливості сучасних систем Text Mining можуть застосовуватися у системах управління знань для виявлення шаблонів у тексті, для розподілу інформації за профілями, створення оглядів документів. Text Mining забезпечує новий рівень семантичного пошуку документів.
Важливий компонент технології Text Mining пов'язаний з добуванням із тексту його характерних властивостей, які потім використовують як ключові слова, анотації. Інше важливе завдання полягає у віднесенні документа до певних категорій із заданої схеми систематизації. Основна мета Text Mining - на-
дати аналітику можливість працювати з великими обсягами початкових даних за рахунок автоматизації процесу здобуття потрібної інформації.
Основні елементи Text Mining:
• 1) здобуття феноменів - Feature (Entity) Extraction - витягання слів або груп слів, які з погляду користувача важливі для опису змісту документа. Це можуть бути відомості про персон, організації, географічні місця, терміни ПрО або інші словосполучення - Feature (Entity) Association Extraction - складніші набори слів з технологічного погляду;
• 2) автоматичне реферування, анотування (Summarization)
• побудова короткого змісту документа за його повним текстом;
• 3) класифікація (Classification), у якій використовуються статистичні кореляції для побудови правил розміщення документів у передбачені категорії;
• 4) кластеризація (Clustering), що ґрунтується на ознаках документів, використовує лінгвістичні і математичні методи без застосування передбачених категорій;
• 5) відповіді на питання (question answering);
• 6) тематичне індексування;
• 7) пошук за ключовими словами;
• 8) побудова семантичної.мережі або аналіз зв'язків (Relationship, Event and Fact Extraction), що визначають появу дескрипторів (ключових фраз) у документі для забезпечення пошуку і навігації. Це найскладніший варіант здобуття інформації, що включає витягання суті, розпізнавання фактів і подій, а також витягання інформації з цих фактів. Здобуття фактів
• це отримання певних фактів з тексту з метою поліпшення класифікації, пошуку і кластеризації.
Для методів класифікації нині застосовують інтелектуальні механізми оптимізації процесу класифікації. Класифікація застосовується, наприклад, для вирішення таких завдань, як групування документів у мережах підприємств, на Web-сайтах, сортування повідомлень електронної пошти.
Кластеризація широко застосовується при реферуванні великих інформаційних масивів або визначенні взаємопов'язаних груп документів, а також для спрощення процесу перегляду при пошуку необхідної інформації, для знаходження унікальних документів із колекції, для виявлення дублікатів або дуже близьких за змістом документів.
Сторінки
В нашій електронній бібліотеці ви можете безкоштовно і без реєстрації прочитати «Інформаційні системи і технології на підприємствах» автора Плескач В.Л. на телефоні, Android, iPhone, iPads. Зараз ви знаходитесь в розділі „Інтелектуальні технології Text Mining“ на сторінці 1. Приємного читання.
