Оцінюєте якість консультацій? Оберіть експеримент!

Що варто знати про соціологію та соціальні дослідження?

Третій сектор в Україні нерідко здійснює моніторинг роботи органів державної влади та місцевого самоврядування, зокрема їхніх консультаційних послуг. Найефективнішим методом оцінки якості консультацій є саме експеримент[1]: спеціально підготовлені учасники дослідницької групи звертаються по консультаційні послуги, як і будь-хто інший, кому консультація справді необхідна. Вони фіксують її перебіг за наперед розробленою методикою. Зважаючи на популярність моніторингових проектів, окрему увагу приділимо перевагам експерименту над репрезентативним опитуванням для таких проектів та деяким застереженням щодо його планування.

У чому переваги експерименту порівняно з репрезентативним опитуванням реальних клієнтів, які отримали консультаційні послуги, бо дійсно їх потребували?

По-перше, експеримент надає можливість оцінити фаховість, зміст консультації. Експеримент може проводити підготовлена людина, компетентна в тематиці консультації. Експериментатор знає, якою мала б бути "ідеальна" за змістом консультація. Натомість реальні клієнти, які відповідають на запитання анкети, мало обізнані в питаннях, із яких їх консультували (інакше їм була б не потрібна консультація), а отже, оцінюють не так зміст консультації, як інші її аспекти.

Уявімо таку ситуацію. Клієнт задоволений консультацією: можливо, у нього залишилося враження, що до нього уважно поставилися й надали детальну інформацію; можливо, його обнадіяли, що проблему дуже легко вирішити. Він/вона позитивно оцінює консультацію в анкетному опитуванні. Однак фахівець, знаючи зміст консультації, може виявити, що насправді консультант надав хибну інформацію й ефективного, реалістичного вирішення проблеми не запропонував. Можна ввічливо й привітно надавати вельми неякісні послуги. Непідготовлена людина оцінюватиме консультацію здебільшого за стилем спілкування, бо вона не орієнтується в питаннях, із яких її консультують. Натомість підготовлена зможе оцінити саме зміст консультації, а не лише стиль.

Протилежний приклад. Клієнтові пояснили, що проблему неможливо вирішити в той спосіб, на який він сподівався. При цьому консультація була цілком фаховою та коректною за стилем, але розчарування ситуацією, у яку він потрапив, позначилося на сприйнятті самої консультації. Як наслідок – людина відповідає в анкетному опитуванні, що консультацією вона не задоволена й консультант їй не допоміг (це правда, але це не є оцінкою якості роботи консультанта).

По-друге, експеримент дасть змогу виявити цілком конкретні проблемні аспекти консультаційних послуг, а не просто дати оцінки "добра консультація – погана", "послугою задоволені – не задоволені". Коли ми проводимо фаховий експеримент, маємо модель, із якою порівнюємо реальну консультацію. Маючи ідеальну модель, експериментатор чітко вкаже, чим реальна консультація відрізнялася від ідеальної як за змістом, так і за стилем.

По-третє, експеримент, проведений підготовленою людиною, дасть змогу відмежувати суб'єктивні враження від фактів при оцінці консультації, а також ретельно зафіксувати як перше, так і друге. Суб'єктивні враження зручно виявляти завдяки анкетуванню: людина легко висловить загальне суб'єктивне враження (сподобалося – не сподобалося, добре – погано). Виявити факти, коли досліджувана ситуація вже завершена, значно складніше: клієнт міг не звернути уваги на ці факти під час консультації, а отже, інформація буде менш точною. Наприклад, людина не подивилася на годинник, коли почалася консультація й коли завершилася, тому, не може назвати точну її тривалість.

Розглянемо більше прикладів. "Консультант не був ввічливим" – це суб'єктивне враження (оціночне твердженняJ. Консультант не привітався; конкретні фрази, які прозвучали, – це факти (фактуальні твердження)[2]. "Нам не приділили достатньо часу" – це суб'єктивне враження. Консультація тривала 12 хвилин – це факт. Консультант розповів про аспект А проблеми, але не аспект Б – це встановлений експериментатором факт.

Підготовлені експериментатори розуміють відмінність між суб'єктивними та об'єктивними показниками якості консультації та фіксують їх відповідним чином. Зайве казати, за звичайних обставин клієнти не фіксують із таймером час очікування й час консультування; не занотовують, чи привіталися з ними, чи дякували їм, чи перепросили тощо, – вони лише намагаються пригадати, як усе відбулося, якщо їх про це запитати. Натомість усі ці аспекти консультування ретельно фіксуватиме експериментатор, а отже, зібрані дані точно відповідатимуть дійсності[3].

Розмежування суб'єктивного й об'єктивного дуже важливе для справедливої оцінки. Ми всі різні, а отже, по-різному можемо сприймати одне й те саме. По-різному реагуємо на інтонацію, голос і зовнішність співрозмовника. Понад те, маємо різні очікування щодо "нормальної", або "задовільної", тривалості консультації, часу очікування в черзі (у разі телефонних консультацій часу, впродовж якого можна додзвонитися), умов очікування або консультування. Хтось призвичаєний до стресового стилю спілкування й може не звернути уваги на те, що консультант розмовляв підвищеним тоном. Хтось, навпаки, чутливий до найменшого роздратування. Одні легко й швидко сприймають інформацію, іншим потрібен значно повільніший темп консультування. Наші очікування щодо "норми" накладають відбиток на наші враження. Якщо очікування дуже низькі, ми будемо вельми задоволені тим, що насправді не мало високого рівня. Якщо очікування дуже високі, можемо дати виразно негативну оцінку тому, що було цілком добрим.

Отже, опитуючи реальних клієнтів, які отримали певну консультацію, ми можемо довідатися про їхнє сприйняття консультації, але не можемо оцінити її зміст та отримати точну інформацію. Натомість завдяки ретельно спланованому експерименту можемо порівняти ідеальну модель із реальною консультацією, а відтак надати фахову, аргументовану або хоча б підкріплену аргументами оцінку її якості за чітко визначеними критеріями.

Однак, як і будь-який інший метод, оцінка якості консультації спеціально підготовленим експериментатором має не лише переваги, а й обмеження. Розгляньмо ключові з них.

По-перше, консультація може прозвучати цілком адекватно для підготовленого експериментатора, але бути недостатньо зрозумілою для людини непідготовленої. Якщо є сумніви в зрозумілості консультації для так званого пересічного громадянина, потрібна додаткова модифікація експерименту: щоб експериментаторами були як фахівці, так і необізнані в тематиці люди різного рівня й типу освіти, які повідомлятимуть фахівцеві, що саме вони зрозуміли в результаті консультації, а фахівець порівнюватиме їхню розповідь із тим, що в ідеалі мав би знати клієнт після консультації.

По-друге, на якість консультації може впливати особистість експериментатора. Адже на поведінку консультанта може впливати те, як поводиться клієнт: наскільки впевнено людина тримається, наскільки привітно, як вона вдягнена, скільки їй років, якої статі тощо. Тож в ідеалі, якщо дозволяють ресурси, у команді експериментаторів варто мати людей різного віку, статі, а в деяких випадках навіть запланувати вбрання різного стилю: формальне й неформальне, дороге й дешеве. В умовах обмежених ресурсів, коли немає можливості залучити різних експериментаторів і провести відповідну кількість експериментів, необхідно принаймні бути свідомими можливого впливу експериментатора на якість надаваної йому або їй консультації.

По-третє, потрібна обережність у плануванні часу й кількості експериментів. Наприклад, в установі можуть працювати З консультанти високого рівня, 1 – середнього та 1 – низького. Якщо в результаті експерименту будуть зроблені висновки щодо консультаційної роботи установи загалом, необхідно спланувати експерименти таким чином, щоб отримати бодай по одній (бажано по кілька) консультації в кожного з працівників.

Отже, ми пересвідчилися, що експеримент, як і будь-який інший метод, має свої переваги й обмеження. Однак усе ж таки є низка причин, із яких варто віддати перевагу спостереженню й експерименту, якщо це можливо.

• Проводячи інтерв'ю, ми можемо зафіксувати лише те, що люди розповідають нам про свій досвід, а не те, що відбулося насправді. Пригадуючи власний досвід, респонденти можуть забути чи сплутати деталі або й свідомо не надати інформації, яка, на їхню думку, представляє їх у негативному світлі.

• Дослідники наперед визначають низку деталей, на які потрібно звернути увагу в процесі спостереження. Людина, яка була свідком ситуації без дослідницької мети, могла просто не звернути уваги на деталі, важливі для дослідження.

• Людині, яка була свідком ситуації без дослідницької мети, легше давати оціночні судження (наприклад, довго чи швидко, багато присутніх чи мало), ніж фактуальні (скільки саме часу це зайняло, скільки саме людей були присутні).

Сторінки


В нашій електронній бібліотеці ви можете безкоштовно і без реєстрації прочитати «Що варто знати про соціологію та соціальні дослідження?» автора Богдан О. на телефоні, Android, iPhone, iPads. Зараз ви знаходитесь в розділі „Оцінюєте якість консультацій? Оберіть експеримент!“ на сторінці 1. Приємного читання.

Зміст

  • Замість передмови: соціологія та соціальні дослідження у відкритому суспільстві

  • Про соціологію та соціальні дослідження

  • Про соціальні та бізнесові проекти

  • Розділ 2. ПЛАНУЄМО ДОСЛІДНИЦЬКИЙ КОМПОНЕНТ ПРОЕКТУ: ПЕРШІ КРОКИ

  • Як переконати грантодавця в доцільності дослідницького компонента?

  • міфів про співпрацю із соціологами. А як же насправді?

  • Як конкретизувати мету дослідження? І навіщо це робити?

  • Розділ 3. ЯК З'ЯСУВАТИ ТЕ, ЩО НАМ ПОТРІБНО ЗНАТИ?

  • Яка дослідницька стратегія нам потрібна – кількісна чи якісна?

  • Що робить методи дослідження якісними або кількісними?

  • Який саме метод обрати?

  • Оцінюєте якість консультацій? Оберіть експеримент!
  • Розділ 4. ВИБІРКА: ТАКА ЗАГАДКОВА Й ТАКА ВАЖЛИВА

  • Репрезентативні та нерепрезентативні вибірки

  • Загальна (генеральна) сукупність – те, без чого неможливо почати формування вибірки

  • Кому й навіщо потрібна нерепрезентативна вибірка?

  • Як визначити розмір (обсяг) нерепрезентативної вибірки?

  • Загадкові похибки й імовірності репрезентативної вибірки

  • Приклад формування репрезентативної вибірки

  • міфів про вибірку й опитування громадської думки. І як воно є насправді?

  • Чому соціологи не готують довідник "типових вибірок" для областей та обласних центрів?

  • Розділ 5. ГЕНДЕРНА РІВНІСТЬ: ЧИМ ВОНА ВАЖЛИВА ДЛЯ МЕНЕ ТА МОГО ПРОЕКТУ?

  • Патріархатні погляди та практики

  • міфи про гендерну рівність і фемінізм

  • Гендерна коректність і гендерна чутливість на противагу сексизму

  • Чому це важливо для мого проекту?

  • Гендерна (не)рівність в Україні: міжнародні експертні оцінки

  • Розділ 6. ЯК ПОСТАВИТИ ЗАПИТАННЯ ТА ВМОВИТИ ДАТИ ЩИРІ ВІДПОВІДІ?

  • Як умовити бути щирими та не боятися запису інтерв'ю на диктофон?

  • Як уникнути типових помилок глибинного інтерв'ювання?

  • Скільки інтерв'ю запланувати?

  • Плануємо фокус-групи: скільки учасників, скільки груп та яка тривалість обговорення?

  • У чому складність формулювання запитань анкети?

  • Як уникнути типових помилок при формулюванні запитань анкети?

  • Приклад 3. Викладачі університетів

  • Як і навіщо досвідчені фахівці тестують анкети?

  • Розділ 7. БУДЬМО КОМПЕТЕНТНИМИ ЗАМОВНИКАМИ ДОСЛІДЖЕНЬ!

  • Із чого складається кошторис дослідження?

  • Де та як знайти фахівців із соціальних досліджень?

  • З ким співпрацювати – дослідницьким центром чи окремим фахівцем?

  • "Ми хотіли б довідатися, який відсоток населення України знає про..." – вам потрібен омнібус!

  • Скільки й чому коштують глибинні інтерв'ю? Що зменшує їхню вартість?

  • Скільки й чому коштують фокус-групи? Що зменшує їхню вартість?

  • Деякі труднощі у співпраці з фаховими дослідниками – як їх вирішити?

  • Розділ 8. ПРЕДСТАВЛЯЄМО ДОСЛІДНИЦЬКИЙ КОМПОНЕНТ У ПРОЕКТНІЙ ЗАЯВЦІ

  • Наскільки докладно представляти дослідницький компонент заявки?

  • типових помилок представлення дослідницького компонента в проектній заявці

  • Пам'ятка про фахове представлення дослідницького компонента в проектній заявці

  • Післямова