Високу якість отриманих результатів забезпечує дотримання певного алгоритму дій при експертному оцінюванні. Моніторингова група, яка складається з експертів для організації експертизи, спочатку формулює дослідницьке завдання, підбирає компетентних фахівців, інструктує їх, розробляє оцінні параметри, забезпечує роботу експертів (технічне, математично-статистичне оброблення даних, логіко-семантичне оформлення суджень).
Оцінки експертів не завжди бувають точними, що нерідко зумовлюється їхніми особистісними якостями (некомпетентністю, упередженістю, несумлінністю, незацікавленістю в успіху справи, невпевненістю у собі) або прорахунками моніторингової групи (нечіткістю мети і завдань роботи, здійснення експертного опитування без спеціально розробленої програми, невиразністю інструкцій з оцінювання, недостатнім обліком впливу факторів, перекручуванням результатів експертизи, поверховістю в обробленні суджень експертів). Тому необхідно на цьому етапі подбати про максимальне наближення оцінок експертів до істини. Суб'єктивність експертного оцінювання не означає його неефективності, воно надає недостовірну інформацію лише через підбір некваліфікованих фахівців і неякісно організовану їх роботу.
Оцінювальна діяльність експертів передбачає:
• 1) підготовку до експертизи (вивчення порядку і правил оцінювання, ознайомлення зі способами реєстрації суджень, актуалізація знань у конкретній галузі);
• 2) дослідження об'єкта експертизи;
• 3) виникнення імпліцитної оцінки, за якої суб'єктивне враження слабо диференційоване і нестійке, не виражене засобами внутрішнього мовлення чи словами;
• 4) експлікацію (формулювання), а потім вербальне або символічне вираження оцінки;
• 5) перевірку правильності результату оцінювання;
• 6) аргументування оцінки;
• 7) участь в інформаційному обміні між експертами.
Робота експертів має бути стандартизованою. їх судження залежно від особливостей дослідження оформлюються у формі вільного чи стандартизованого інтерв'ю, анкетування з напівзакритими або відкритими питаннями.
Статистичне оброблення матеріалу традиційно здійснюють із застосуванням вимірювальних шкал: шкали найменувань, порядку (рангової), інтервалів, відношень (пропорцій). Моніторингова група, визначивши адекватний дослідженню тип вимірювальної шкали, розробляє для експертів конкретні параметри, які слід оцінити в індивідуальних судженнях.
Після оцінювання експертів дослідник перевіряє індивідуальні судження і обґрунтовує їх, виявляючи несуперечність складових; аналізує думки експертів, з'ясовуючи узгодженість їх між собою; виокремлює групу експертів з подібними та різними оцінками, визначаючи причини відмінності між індивідуальними думками; виявляє вплив компетентності експертів на зміст і обґрунтування їх оцінок.
На вірогідності результатів у процесі експертного оцінювання позначається оцінний суб'єктивізм, спричинений поліфункціональністю оцінки; необраховуваністю оцінних процедур; різним рівнем професійної підготовленості; індивідуально-особистісними особливостями експертів; сформованими до моменту оцінювання уявленнями про можливості досліджуваних; відмінностями в умінні абстрагуватися від наявних міжособистісних відносин з досліджуваними; характерологічними особливостями (відповідальність, сумлінність, зібраність, зацікавленість тощо); ситуаційними умовами оцінювання (втома); облаштуванням робочого місця (освітленість, температура приміщення); чергуванням різних за якістю відповідей або робіт; впливом на оцінку загального рівня досліджуваних. На вірогідність результатів експертного оцінювання також впливають:
• ефект ореолу (вплив на оцінку сформованих уявлень про можливості досліджуваних);
• ефект фасаду (залежність оцінки від враження, яке справив досліджуваний на момент оцінювання: зовнішній вигляд, стать, манери поведінки, логічність відповіді, впевненість);
• ефект контрасту (залежність оцінки від оцінок попередніх досліджуваних);
• ефект фону (вплив на оцінку загального рівня підготовленості досліджуваних).
Причиною перекручування результатів експертного оцінювання може бути специфіка оцінюваної сфери. За участю групи фахівців, які оцінюють об'єкт і дискутують про його характеристики, вплив багатьох причин спотворювань послаблюється, однак це не гарантує точності результатів.
Сторінки
В нашій електронній бібліотеці ви можете безкоштовно і без реєстрації прочитати «Психодіагностика» автора Галян І.М. на телефоні, Android, iPhone, iPads. Зараз ви знаходитесь в розділі „Послідовність експертного оцінювання“ на сторінці 1. Приємного читання.
