Моделі Data Mining

Інформаційні системи і технології на підприємствах

Мета технології Data Mining - знаходження в даних таких закономірностей, які не можуть бути знайдені традиційними методами. Є два види моделей: предик-тивні та описові.

Предиктивні моделі будуються на підставі набору даних з відомими результатами. Вони використовуються для прогнозу результатів на підставі інших наборів даних. Вимагається, щоб модель працювала максимально точно, була статистично значимою і виправданою. До них належать моделі класифікації - описують правила або набір правил, відповідно до яких можна віднести опис будь-якого нового об'єкта до одного з класів. Такі правила будуються на підставі інформації про наявні об'єкти шляхом поділу їх на класи; моделі послідовностей - описують функції, що дають змогу прогнозувати зміну параметрів. Вони будуються на підставі даних про зміну певного параметра за минулий період часу.

Описові (descriptive) моделі пов'язані із залежностями в наборі даних, взаємного впливу різних чинників, тобто на побудові емпіричних моделей різних систем. Ключовий момент у таких моделях - легкість і прозорість для сприйняття людиною. Можливо, знайдені закономірності будуть специфічною межею саме конкретних досліджуваних даних і більше ніде не зустрінуться, але це все може бути корисним. До них належать такі види моделей:

• o кластеризації - описують групи (кластери), на які можна поділити об'єкти, дані про яких піддаються аналізу. Групуються об'єкти (спостереження, події) на основі даних (властивостей), що описують суть об'єктів. Об'єкти усередині кластера мають бути подібними один до одного і відрізнятися від об'єктів, що ввійшли до складу інших кластерів;

• o виключень - описують виняткові ситуації в записах, які різко відрізняються від основної множини записів;

• o підсумкові (результатні) - виявлення обмежень на даних масиву аналізу. Подібні обмеження важливі для розуміння даних масиву, тобто це нове знання, здобуте в результаті аналізу. Таким чином, Data Summarization - це знаходження яких-небудь фактів, які істинні для всіх або майже всіх записів у вибірці даних, що вивчається, але які досить рідко зустрічалися в усьому різноманітті записів такого самого формату;

• o асоціації - виявлення закономірностей між пов'язаними подіями.

Для побудови розглянутих моделей використовуються різні методи й алгоритми Data Mining.

Більшість аналітичних методів, що використовуться у технології Data Mining - це математичні алгоритми і методи. Зокрема до методів і алгоритмів Data Mining відносять штучні нейронні мережі, дерева рішень, символьні правила, метод найближчого сусіда і к-найближчого сусіда, метод опорних векторів, байєсовські мережі, лінійну регресію, кореляційно-регре-сійний аналіз, ієрархічні методи кластерного аналізу, неієрар-хічні методи кластерного аналізу, зокрема алгоритми /с-серед-ніх і к-медіа ми, методи пошуку асоціативних правил, метод обмеженого перебору, еволюційне програмування і генетичні алгоритми, різноманітні методи візуалізації даних тощо.

До базових методів Data Mining належать також підходи, що використовують елементи теорії статистики. Основна їх ідея зводиться до кореляційного, регресійного та інших видів статистичного аналізу. Основним недоліком їх є усереднювання значень, що призводить до втрати інформативності даних. Це у свою чергу спричинює зменшення кількості знань, що здобуваються.

Основним способом дослідження задач аналізу даних є їх відображення формалізованою мовою та їх подальший аналіз за допомогою моделі.

Класифікація стадій Data Mining, Data Mining складається з кількох фаз: 1) виявлення закономірностей (вільний пошук); 2) використання виявлених закономірностей для прогнозу невідомих значень (прогностичне моделювання); 3) аналіз виключень - стадія призначена для виявлення і пояснення аномалій, знайдених у закономірностях.

Класифікація методів Data Mining. Усі методи Data Mining поділяються на дві групи за принципом роботи з початковими навчальними даними: 1) дані після Data Mining зберігаються - кластерний аналіз, метод найближчого сусіда, метод -найближчого сусіда, міркування за аналогією (традукцією);

2) дані деталізуються для подальшої обробки, тобто необхідним є виявлення і використання формалізованих закономірностей або дистиляція шаблонів.

При технології дистиляції шаблонів один зразок (шаблон) інформації витягується з початкових даних і перетворюється у певні формальні конструкції, вид яких залежить від методу Data Mining. Цей процес відбувається на стадії вільного пошуку, у першої групи методів ця стадія - відсутня. На стадіях прогностичного моделювання і аналізу виключень використовуються результати стадії вільного пошуку. Методи цієї групи: логічні методи; методи візуалізації; методи крос-табуляції; методи, засновані на рівняннях.

Логічні методи, або методи логічної індукції, включають нечіткі запити й аналізи, символьні правила, дерева рішень, генетичні алгоритми.

Методи цієї групи придатні для інтерпретації. Вони підтримують знайдені закономірності у прозорому вигляді з погляду користувача. Методи крос-табуляції забезпечують пошук шаблонів.

Методи на основі рівнянь виражають наявні закономірності у вигляді математичних виразів - рівнянь. Основні методи цієї групи: статистичні методи і нейронні мережі.

Статистичні методи найчастіше застосовуються для вирішення задач прогнозування. Є багато методів статистичного аналізу даних, наприклад, кореляційно-регресійний аналіз, кореляція рядів динаміки, виявлення тенденцій динамічних рядів, гармонійний аналіз.

Сторінки


В нашій електронній бібліотеці ви можете безкоштовно і без реєстрації прочитати «Інформаційні системи і технології на підприємствах» автора Плескач В.Л. на телефоні, Android, iPhone, iPads. Зараз ви знаходитесь в розділі „Моделі Data Mining“ на сторінці 1. Приємного читання.

Зміст

  • ПЕРЕЛІК СКОРОЧЕНЬ

  • Розділ 1. Основні поняття і роль інформаційних систем та технологій в управлінні підприємствами

  • Сутність та поняття інформації і даних

  • Властивості інформації

  • Семантична та прагматична міри інформації

  • Інформаційні ресурси для управління діяльністю підприємства

  • Поняття інформаційного простору

  • Інформаційні технології

  • Використання IT в управлінні соціально-економічними системами

  • Структура інформаційної технології

  • Стратегія розвитку IT на підприємстві

  • Інформаційні системи

  • Проблеми захисту інформації на підприємствах

  • Відкриті системи

  • Середовище відкритих систем

  • Модель МІС

  • Удосконалення управління підприємством у процесі міжнародної економічної інтеграції

  • Зовнішнє і внутрішнє середовища підприємства

  • Розділ 2. Економічна інформація на підприємствах і засоби її формалізованого опису

  • Структури подання економічної інформації

  • Класифікація економічної інформації

  • Методи кодування економічної інформації

  • Штрихове кодування економічної інформації

  • Єдина система класифікації та кодування техніко-економічної інформації

  • Розділ 3. Cучасні підходи до розроблення -і впровадження інформаційних систем

  • Моделі життєвого циклу ПЗ

  • Інженерія вимог

  • Структурний підхід до розроблення ПЗ

  • Методи структурного аналізу і проектування ПЗ

  • -засоби

  • Класифікація САSЕ -засобів

  • Тестування програм та систем

  • Аналіз якості програмного забезпечення

  • Повторне використання компонентів ІС

  • Процеси життєвого циклу ІС

  • Розділ 4. Засоби створення і забезпечення інформаційних технологій на підприємствах

  • Використання ІТ в управлінні соціально-економічними системами

  • Тенденції розвитку інформаційних технологій

  • Критерії класифікації інформаційних технологій

  • Математичне забезпечення (МЗ)

  • Апаратне забезпечення

  • Технічні засоби обробки інформації

  • Пристрої виводу інформації

  • Програмне забезпечення

  • Автоматизоване робоче місце фахівця, основні функції та компоненти

  • Розподілений доступ до інформаційного середовища

  • Підхід до композиції сервіс-орієнтованих прикладних застосунків

  • Етапи життєвого циклу СОА

  • Internet-, Extranet-, Intranet-технології

  • Розділ 5. Автоматизація управління проектами на підприємствах

  • Сутність та поняття проекту

  • Автоматизована система управління ІТ-проектом

  • Програмний продукт управління проектами Office Project Standard-2007

  • Програмні продукти управління проектами

  • Програма Альт-Інвест 3.0

  • Розділ 6. Еволюція стратегічних моделей управління підприємствами в інформаційних системах

  • MRP-система (планування матеріальних ресурсів)

  • MRP ІІ-система (планування виробничих ресурсів)

  • ERP-система (планування ресурсів підприємства)

  • Застосування системи Microsoft XAL на світових ринках

  • Основні модулі ERP-системи компанії В A AN IV

  • Концепція ERP II

  • СSRР-система (планування ресурсів, синхронізоване зі споживачем)

  • Розділ 7. Інформаційні системи підтримки прийняття рішень та їх використання на підприємствах

  • Організаційно-технологічні основи теорії прийняття рішень

  • Класифікація СППР

  • Архітектура СППР

  • Тенденції розвитку СППР

  • Розділ 8. Інтелектуальні інформаційні системи на підприємствах

  • Квазіалгоритми

  • Організаційні основи експертних систем

  • Класифікація експертних систем

  • Інструментарій створення ЕС

  • Інтелектуальні системи аналізу і звітності на підприємствах. Приклади використання інтелектуальних ВІ-платформ

  • Структура Cognos & ВІ

  • ВІ Server

  • ВІ Publisher

  • ВІ Delivers

  • ВІ Office Plug-In

  • ВІ Disconnected Analytics

  • Використання можливостей баз даних

  • Архітектура MicroStrategy

  • -системи

  • -запити

  • Інтелектуальні технології Data Mining і Text Mining

  • Задача класифікації і регресії

  • Моделі Data Mining
  • Статистичні методи Data Mining

  • Інтелектуальні технології Text Mining

  • Агентно орієнтовані системи на підприємствах

  • Віртуальні організації

  • Типи віртуальних підприємств

  • Онтологічний підхід до використання знань на підприємствах. Організаційні онтології

  • Висновки

  • Розділ 9. Web-технології на підприємствах

  • Засоби створення Web-сайтів

  • Інші Web-технології

  • Сайт як засіб підтримки і розвитку підприємства

  • Web-сервіси як технологічний базис інтеграції підприємств

  • Сервіс-орієнтована архітектура

  • Розділ 10. Інформаційні системи управління корпораціями

  • Єдиний інформаційний простір

  • Класифікація КІС

  • Корпоративна інформаційна система SAP R/3

  • Бізнес-інжиніринг в SAP R/3

  • Бюджетування та його реалізація в корпоративних інформаційних системах

  • ВИСНОВКИ

  • ГЛОСАРІЙ