Розділ «5. Створення сховищ даних. Технології OLAP та Data Mining»

Методи Data Mining дозволяють виявляти стандартні закономірності:

o асоціація (кілька подій пов'язані одна з одною, наприклад при купівлі пива дуже часто купують і чіпси чи горішки);

o послідовність (ланцюжок пов'язаних у часі подій, наприклад: нова квартира - нові меблі);

o кластеризація (відрізняється від класифікації тим, що групи заздалегідь не створені. Використовується для сегментації ринку і замовників);

o прогнозування (базою служить історична інформація. Ґрунтується на побудові математичних моделей).

Існують два способи впровадження нової інформаційної технології в локальні інформаційні структури:

1. пристосування її до організаційної структури підприємства;

2. модернізування організаційної структури з метою найбільш ефективного використання нової інформаційної технології.

Перший спосіб є дешевшим і не вимагає великих змін в організації діяльності підприємства. Проте ефект від його впровадження може бути незначним. Другий спосіб вимагає більших капіталовкладень, але забезпечує якісно новий рівень діяльності підприємства чи організації.

Наведені нижче приклади з різних областей економіки демонструють основну перевагу методів Data Mining - здатність виявлення нових знань, які неможливо отримати методами статистичного, регресивного аналізу або економетрики.

1. Клієнти компанії за допомогою одного з інструментів Data Mining були об'єднані в сегменти з схожими ознаками. Це дозволило проводити різну маркетингову політику і будувати окремі моделі поведінки для кожного сегменту. Найважливішими чинниками для розподілу були: віддаленість регіону клієнта, сфера діяльності, середньорічні суми операцій, кількість операцій за тиждень.

2. Автоматичний аналіз банківської бази даних кредитних операцій фізичних осіб виявив правила, за якими позичальникам відмовляли у видачі кредиту. Вирішальними чинниками, виявились: термін кредиту, середньомісячний дохід і витрати позичальника. Надалі це враховувалося при експрес-кредитуванні.

3. При аналізі бази даних клієнтів страхової компанії був встановлений соціальний портрет людини, що страхує життя - це виявився чоловік 35-50 років, що має двох і більше дітей і середньомісячний дохід вище $2000.

Висунення гіпотез. Під гіпотезою в даному випадку будемо розуміти припущення про вплив певних чинників на досліджувану задачу. При цьому форма цієї залежності в значення не має. Тобто можна припустити, що на продаж впливає відхилення ціни на товар від середньоринкової, але при цьому не зазначати, як саме цей чинник впливає на продажі. Для вирішення цієї задачі і використовується Data Mining. Наприклад, для обробки даних про обсяги продажів певного товару висувається гіпотеза про вплив чинника його відсутності у торговій точці.

Автоматизувати процес висунення гіпотез не представляється можливим, принаймні, на сьогоднішньому рівні розвитку технологій. Цю задачу повинні вирішувати експерти - фахівці в даній області. З використанням їх знань про предмет, методом опитування накопичується максимальна кількість гіпотез/припущень.

Результатом цього кроку буде список з описом всіх чинників. Наприклад, для задачі прогнозування попиту це може бути список наступного вигляду: сезон, день тижня, обсяги продажів за попередні тижні, обсяги продажів за аналогічний період минулого року, рекламна компанія, маркетингові заходи, якість продукції, бренд, відхилення ціни від середньоринкової, наявність даного товару у конкурентів, тощо.

При розв'язку певної задачі необхідно створювати спеціалізований набір даних, причому їх велика кількість не обумовлює якість рішення.

Після підготовки таблиці з описом чинників експертно оцінюється значущість кожного з чинників. Ця оцінка не є остаточною, вона служить відправним пунктом. В процесі аналізу може виявитися, що чинник, який експерти вважали вкрай важливим, таким по суті не є і, навпаки, незначущий із їхньої точки зору чинник може мати значний вплив. У будь-якому випадку, всі варіанти проаналізувати відразу неможливо, потрібно від чогось відштовхуватися, цією крапкою і є оцінка експертів. До того ж, досить часто реальні дані підтверджують їх оцінку. Результатом цього кроку може бути таблиця наступного вигляду (табл.5.2).

Коли гіпотезу висуває один експерт, задача оцінки значущості істотно спрощується. Проте, із зростанням складності системи, зростає і складність отримання адекватної оцінки експертів.

Таблиця 5.2. Приклад експертної оцінки значущості чинників