Статистичні методи Data Mining

Інформаційні системи і технології на підприємствах

Ці методи включають: попередній аналіз природи статистичних даних (перевірка гіпотез стаціонарності, нормальності, незалежності, однорідності, оцінка виду функції розподілу, її параметрів); виявлення зв'язків і закономірностей (лінійний і нелінійний регресійний аналіз, кореляційний аналіз); багатовимірний статистичний аналіз (лінійний і нелінійний дискримінантний аналіз, кластерний аналіз, компонентний аналіз, факторний аналіз); динамічні моделі і прогноз на основі часових рядів.

Статистичні методи Data Mining поділяються на чотири групи методів: дескриптивний аналіз і опис початкових даних; аналіз зв'язків (кореляційний і регресійний аналіз, факторний аналіз, дисперсійний аналіз); багатовимірний статистичний аналіз (компонентний аналіз, дискримінантний аналіз, багатовимірний регресійний аналіз, канонічні кореляції); аналіз часових рядів (динамічні моделі і прогнозування).

Кібернетичні методи Data Mining

До цієї групи належать такі методи: еволюційне програмування; асоціативна пам'ять (пошук аналогів, прототипів); нечітка логіка; дерева рішень; системи обробки експертних знань, штучні нейронні мережі (розпізнавання, кластеризація, прогноз); генетичні алгоритми (оптимізація).

Нейронні мережі (Neural Networks) - це клас моделей, що базуються на аналогії з роботою мозку людини і призначаються для вирішення різноманітних задач аналізу даних після проходження етапу навчання на даних.

Нейронні мережі - це моделі біологічних нейронних мереж мозку, в яких нейрони імітуються однотипними елементами (штучними нейронами).

Нейронна мережа може бути представлена направленим графом зі зваженими зв'язками, у якому штучні нейрони є вершинами, а синаптичні зв'язки - дугами.

Серед сфер застосування нейронних мереж - автоматизація процесів розпізнавання образів, прогнозування показників діяльності підприємства, медична діагностика, прогнозування, адаптивне управління, створення експертних систем, організація асоціативної пам'яті, оброблення аналогових і цифрових сигналів, синтез й ідентифікація електронних систем.

За допомогою нейронних мереж можна, наприклад, передбачати обсяги продажу виробів, показники фінансового ринку, розпізнавати сигнали, конструювати самонавчальні системи.

Нейронна мережа є сукупністю нейронів, з яких складаються шари. У кожному шарі нейрони пов'язані з нейронами попереднього і наступного шарів. Серед задач Data Mining, що вирішуються за допомогою нейронних мереж, розглядатимемо такі:

• 1. Класифікація (навчання з учителем). Приклади завдань класифікації: розпізнавання тексту, розпізнавання мови, ідентифікація особи.

• 2. Прогнозування. Для нейронної мережі задача прогнозування може бути поставленою так: знайти оптимальне наближення функції, заданої кінцевим набором вхідних значень.

• 3. Кластеризація (навчання без учителя). Прикладом задачі кластеризації може бути завдання стиснення інформації шляхом зменшення розмірності даних.

Генетичні алгоритми - різновид еволюційних обчислень. Засновником генетичних алгоритмів є Дж. Холланд. Суть їх розкривається у книзі "Адаптація у природних і штучних системах".

Генетичні алгоритми (ГА) - це алгоритми, що дають змогу знайти задовільне рішення для аналітично нерозв'язуваних проблем через послідовний підбір і комбінування параметрів з використанням механізмів, що нагадують біологічну еволюцію.

ГА належать до універсальних методів оптимізації, що дають змогу вирішувати задачі різних типів (комбінаторні, загальні задачі з обмеженнями і без обмежень) і різного ступеня складності. ГА характеризуються можливістю як однокри-теріального, так і багатокритеріального пошуку в інформаційному просторі. Інтеграція ГА і нейронних мереж допомагає вирішувати проблеми пошуку оптимальних значень ваг входів нейронів, а інтеграція ГА і нечіткої логіки дає можливість оп-тимізувати систему продукційних правил, які можуть бути використані для управління.

Різні методи Data Mining характеризуються певними властивостями. Серед основних властивостей і характеристик методів Data Mining можна назвати точність, масштабованість, здатність до інтерпретації, перевірки, трудомісткість, гнучкість, швидкість і популярність.

Масштабованість - властивість обчислювальної системи, що забезпечує розгорнення системних характеристик, наприклад, швидкості реакції, загальної продуктивності при додаванні до неї обчислювальних ресурсів.

Для досягнення успіху в інтелектуальному аналізі даних необхідно мати чітке уявлення про мету аналізу; зібрати реле-вантні дані; вибрати адекватні методи аналізу та перевірити передумови їх застосування; обрати програмно-технологічні та математичні засоби, що реалізують ці методи; виконати аналіз та прийняти рішення про використання результатів. Загальна схема використання методів Data Mining складається з таких етапів (рис. 8.8).

Сторінки


В нашій електронній бібліотеці ви можете безкоштовно і без реєстрації прочитати «Інформаційні системи і технології на підприємствах» автора Плескач В.Л. на телефоні, Android, iPhone, iPads. Зараз ви знаходитесь в розділі „Статистичні методи Data Mining“ на сторінці 1. Приємного читання.

Зміст

  • ПЕРЕЛІК СКОРОЧЕНЬ

  • Розділ 1. Основні поняття і роль інформаційних систем та технологій в управлінні підприємствами

  • Сутність та поняття інформації і даних

  • Властивості інформації

  • Семантична та прагматична міри інформації

  • Інформаційні ресурси для управління діяльністю підприємства

  • Поняття інформаційного простору

  • Інформаційні технології

  • Використання IT в управлінні соціально-економічними системами

  • Структура інформаційної технології

  • Стратегія розвитку IT на підприємстві

  • Інформаційні системи

  • Проблеми захисту інформації на підприємствах

  • Відкриті системи

  • Середовище відкритих систем

  • Модель МІС

  • Удосконалення управління підприємством у процесі міжнародної економічної інтеграції

  • Зовнішнє і внутрішнє середовища підприємства

  • Розділ 2. Економічна інформація на підприємствах і засоби її формалізованого опису

  • Структури подання економічної інформації

  • Класифікація економічної інформації

  • Методи кодування економічної інформації

  • Штрихове кодування економічної інформації

  • Єдина система класифікації та кодування техніко-економічної інформації

  • Розділ 3. Cучасні підходи до розроблення -і впровадження інформаційних систем

  • Моделі життєвого циклу ПЗ

  • Інженерія вимог

  • Структурний підхід до розроблення ПЗ

  • Методи структурного аналізу і проектування ПЗ

  • -засоби

  • Класифікація САSЕ -засобів

  • Тестування програм та систем

  • Аналіз якості програмного забезпечення

  • Повторне використання компонентів ІС

  • Процеси життєвого циклу ІС

  • Розділ 4. Засоби створення і забезпечення інформаційних технологій на підприємствах

  • Використання ІТ в управлінні соціально-економічними системами

  • Тенденції розвитку інформаційних технологій

  • Критерії класифікації інформаційних технологій

  • Математичне забезпечення (МЗ)

  • Апаратне забезпечення

  • Технічні засоби обробки інформації

  • Пристрої виводу інформації

  • Програмне забезпечення

  • Автоматизоване робоче місце фахівця, основні функції та компоненти

  • Розподілений доступ до інформаційного середовища

  • Підхід до композиції сервіс-орієнтованих прикладних застосунків

  • Етапи життєвого циклу СОА

  • Internet-, Extranet-, Intranet-технології

  • Розділ 5. Автоматизація управління проектами на підприємствах

  • Сутність та поняття проекту

  • Автоматизована система управління ІТ-проектом

  • Програмний продукт управління проектами Office Project Standard-2007

  • Програмні продукти управління проектами

  • Програма Альт-Інвест 3.0

  • Розділ 6. Еволюція стратегічних моделей управління підприємствами в інформаційних системах

  • MRP-система (планування матеріальних ресурсів)

  • MRP ІІ-система (планування виробничих ресурсів)

  • ERP-система (планування ресурсів підприємства)

  • Застосування системи Microsoft XAL на світових ринках

  • Основні модулі ERP-системи компанії В A AN IV

  • Концепція ERP II

  • СSRР-система (планування ресурсів, синхронізоване зі споживачем)

  • Розділ 7. Інформаційні системи підтримки прийняття рішень та їх використання на підприємствах

  • Організаційно-технологічні основи теорії прийняття рішень

  • Класифікація СППР

  • Архітектура СППР

  • Тенденції розвитку СППР

  • Розділ 8. Інтелектуальні інформаційні системи на підприємствах

  • Квазіалгоритми

  • Організаційні основи експертних систем

  • Класифікація експертних систем

  • Інструментарій створення ЕС

  • Інтелектуальні системи аналізу і звітності на підприємствах. Приклади використання інтелектуальних ВІ-платформ

  • Структура Cognos & ВІ

  • ВІ Server

  • ВІ Publisher

  • ВІ Delivers

  • ВІ Office Plug-In

  • ВІ Disconnected Analytics

  • Використання можливостей баз даних

  • Архітектура MicroStrategy

  • -системи

  • -запити

  • Інтелектуальні технології Data Mining і Text Mining

  • Задача класифікації і регресії

  • Моделі Data Mining

  • Статистичні методи Data Mining
  • Інтелектуальні технології Text Mining

  • Агентно орієнтовані системи на підприємствах

  • Віртуальні організації

  • Типи віртуальних підприємств

  • Онтологічний підхід до використання знань на підприємствах. Організаційні онтології

  • Висновки

  • Розділ 9. Web-технології на підприємствах

  • Засоби створення Web-сайтів

  • Інші Web-технології

  • Сайт як засіб підтримки і розвитку підприємства

  • Web-сервіси як технологічний базис інтеграції підприємств

  • Сервіс-орієнтована архітектура

  • Розділ 10. Інформаційні системи управління корпораціями

  • Єдиний інформаційний простір

  • Класифікація КІС

  • Корпоративна інформаційна система SAP R/3

  • Бізнес-інжиніринг в SAP R/3

  • Бюджетування та його реалізація в корпоративних інформаційних системах

  • ВИСНОВКИ

  • ГЛОСАРІЙ