Розділ «1. Технологія: поняття, основні властивості та процеси. Інформація, дані, знання як об'єкти технології»

1.4. Життєвий цикл даних. Збір і систематизація даних

Дані представляють собою спосіб представлення, збереження та елементарних операцій обробки інформації. Дані - це основа інформації. Поняття "дані" - відносно новий термін. Зазвичай дані є вхідною інформацією для інформаційного процесу.

Дані - відомості, які є необхідними для формулювання висновків і прийняття рішень

Дані, як речовину чи енергію, можна збирати, обробляти, зберігати, змінювати форму їх представлення. Вони можуть створюватись, знищуватись, багаторазово використовуватись. Головною особливістю даних сьогодні є те, що їх стає надзвичайно багато. При масовому застосуванні комп'ютерів виникла гігантська кількість джерел даних. Для прикладу можна взяти обсяг даних у всесвітній мережі Інтернет, що збільшується щохвилини.

Ключовим поняттям маніпулювання даними є структура типу "файл", що представляє собою множину однотипних елементів (записів). Також файл займає певну ділянку на носії пам'яті і характеризується ім'ям, типом та іншими атрибутами. В свою чергу запис - це структура, яка складається з полів (мінімальної структури даних).

Основними етапами життєвого циклу даних є виникнення, збереження, застосування та знищення. Знищення, з точки зору життєвого циклу даних, не представляє інтересу, оскільки причиною видалення є втрата інформативності даних. Фаза використання даних включає три етапи:

o пошук;

o обробку;

o аналіз.

Результатом використання даних є інформація.

Існує декілька методів збору, необхідних для аналізу даних:

1. Облікові системи. Як правило, в облікових системах є механізми побудови звітів і експорту даних, тому отримання потрібної інформації є відносно нескладною операцією.

2. Непрямі дані. Про чинники можна скласти оцінку і за непрямими ознаками. Наприклад, реальне фінансове положення мешканців певного регіону можна оцінити наступним чином. В більшості випадків товари з однаковим призначенням (але різною ціною) поділяються на групи: товари для покупців з низьким рівнем достатку, середнім та високим. Якщо проаналізувати звіт про продажі товару в потрібному регіоні з точки зору пропорційного розподілу суми продажів для кожної категорії достатку покупців, то можна припустити, що чим більше частка від продажу дорогих виробів з однієї товарної групи, тим більше середня платіжна спроможність мешканців даного регіону.

3. Відкриті джерела. Велика кількість даних наявна у відкритих джерелах, таких як статистичні вибірки, звіти корпорацій, опубліковані результати маркетингових досліджень тощо.

4. Проведення незалежних маркетингових досліджень і аналогічних заходів щодо збору даних. Це може бути достатньо дорогим способом, проте, такий варіант збору даних не виключений.

5. Внутрішні дані. Інформація заноситься в базу за різного роду експертними оцінками працівниками організації. Трудомісткий метод.

Зібрані дані перетворюються до єдиного формату, наприклад, таблиць Excel, текстових файлів, або компонентів довільної бази даних. Однією із важливих дій при цьому є визначення способу представлення даних. Як правило, вибирають один з наступних видів - число, рядок, дата, логічна змінна (так/ні). Визначити спосіб представлення (формалізувати) деякі дані буває легко - наприклад, об'єм продажів в гривнях - це певне число. Але, як правило, виникає ситуація, коли представлення чинника є невідомим. Найчастіше такі проблеми виникають з якісними характеристиками. Наприклад, відомо, що на обсяги продажів впливає якість товару (як для продажу побутової техніки чи одягу).

Якість - складне поняття, і якщо цей показник є важливим, то необхідно ввести спосіб його формалізації. Наприклад, визначати якість за кількістю браку на тисячу одиниць продукції, або експертно оцінювати, розбивши на декілька категорій - відмінно/ добре/ задовільно/ погано.

Також дані повинні бути уніфікованими - одні й ті ж самі дані скрізь повинні описуватись однаково. Часто при видобуванні знань основну увагу приділяють механізмам аналізу даних, не враховуючи важливість попередньої обробки та очищення даних. Очевидно, що некоректні початкові дані призводять до некоректних висновків. Зазначимо, що в більшості випадків джерелом інформації для аналітичних систем є сховище даних, в якому акумулюються відомості з різнорідних джерел, тому гострота проблеми суттєво зростає.

Для дослідження процесів різної природи дані повинні бути підготовлені спеціальним чином. Зупинимося докладніше на двох типах даних: впорядкованих і невпорядкованих. Впорядковані дані потрібні для вирішення задач прогнозування - коли визначають хід того чи іншого процесу в майбутньому на основі наявних хронологічних даних. Як правило, одним з параметрів виступає дата або час, проте можуть використовуватись довільні відліки, наприклад, покази лічильників, зняті з певною періодичністю.