В 90-х годах исследователи пришли к удивительному открытию. С каждым прохождением теста MMPI человек диагностировался с меньшим количеством психических заболеваний (Kelley, Jacobs & Farr, 1994). В этот момент практики задались вопросом: как перетест влияет на результаты тестирования? Этот вопрос актуален и для оценки персонала, где повторное тестирование является относительно распространённой, но малоизученной практикой. Блог решил выяснить, что такое перетест и каковы его последствия. Пошумим?

На Западе ретест приобрёл статус проблемы. Руководства и стандарты проведения тестирования не содержат точных указаний на то, в каких обстоятельствах можно или необходимо перетестировать. Но при этом поощряют данную практику, т.к. она может добавить объективности и справедливости процедуре оценки (Society for Industrial and Organizational Psychology, 2003). Поэтому HR’ы зачастую неосознанно злоупотребляют повторным тестированием. Также сами участники могут использовать перетест как лазейку — сославшись на плохой Интернет, перепройти тест или его отдельные блоки. В России практика тестирования только начинает регламентироваться, поэтому данная проблема характерна и для нас.

Разберём основные ситуации перетеста в порядке их объективности.

Плановое повторное тестирование спустя год и больше

Встречается в компаниях, где психологические тесты встроены в процесс управления талантами, и работники раз в год / несколько лет заполняют методики. Улучшаются ли со временем их результаты? Ведь мы привыкли думать, что психологические тесты измеряют качества, устойчивые на протяжении 2–3 лет?

Ответ зависит от ситуации и инструмента. Результаты по тестам способностей – да, улучшатся. Для знающих: средний размер эффекта — 0,26 (мета-анализ, Hausknecht, Halpert, Di Paolo & Moriarty Gerrard, 2007). Причина – тесты способностей, конечно, измеряют способности, но всё-таки через конкретные задания. Человек может обучиться навыкам решения этих заданий — спонтанно, через многократные корпоративные тестирования, или намеренно с помощью соответствующих руководств. Факторы, которые помогут участникам улучшить свои результаты:

  • Маленький объём банка заданий или его отсутствие. Здесь решающим фактором станет не навыки решения заданий, а память участников и их сплочённость.
  • Использование того же формата заданий (Arendasy & Sommer, 2013; Villado, Randall & Zimmer, 2016). Банк заданий нивелирует эффект научения, но не до конца. Участники уже знают формат заданий, время их выполнения.

Привлечение других тестов способностей для перетеста затруднено по многим причинам. Это и затратно, и неэтично (участники будут оцениваться разными инструментами). Получается, у нас нет выхода: участники улучшат свои результаты.

С личностными опросниками ситуация сложнее. Зависит от конкретных используемых опросников — нормативных или ипсативных.

Если из года в год компания использует нормативные опросники – сотрудники будут улучшать свои результаты. Ведь результаты опросников вносят вклад в кадровое решение, и сотрудники это знают. Каждое прохождение будет для них ситуацией научения. Они будут учиться понимать, какое качество оценивает каждый вопрос. Насколько сильно каждый из них в итоге будет “врать” – зависит, в первую очередь, от следующих факторов:

  • Успешность прошлых прохождений личностных опросников (Holladay, David & Johnson, 2013). Если сотрудник в прошлые тестирования получал низкие результаты – он будет стараться их улучшить.
  • Значимость результатов для сотрудника (Hausknecht, 2010; Walmsley & Sackett 2013). Чем больше вес опросника в принятии решении — тем выше шанс того, что сотрудники будут стараться улучшить свои результаты.
  • Наличие обратной связи по результатам первого прохождения (Holladay et al., 2013). Каждая обратная связь – будь то отчёт или устный ответ – будет учить сотрудника понимать измеряемые качества.

Использование ипсативных опросников мешает сотрудникам улучшать свои результаты. Ведь эти опросники вынуждают делать выбор между качествами, равными по своей “желательности”. Тем не менее, и здесь сотрудники смогут улучшить свои результаты, узнав “желаемый” профиль качеств и заполнив опросник соответствующим образом. Улучшения могут быть существенными (Hausknecht, 2010).

Наконец, следует помнить, что личностные качества не выбиты на молекулах ДНК и могут меняться со временем (McAdams & Olson, 2010). Если опросник заполнялся через год и более, изменения в результатах могут отражать реальные изменения в человеке. Или в том, как он себя начал воспринимать

ВНЕплановое повторное тестирование

1. Неккоректно проведённая процедура тестирования

К примеру, участник не был вовремя проинформирован об оценке, ему дали меньше времени на заполнение, чем другим участникам, тест заполнялся в непригодных, или были нарушены какие-либо иные положения Российского стандарта тестирования персонала.

В этом случае важно разобрать каждое нарушение и то, насколько оно повлияло на результаты. Особое внимание надо уделить в том случае, если тестировались способности или знания. Доступное время и условия заполнения являются критичными факторами в этой ситуации. Личностные опросники менее чувствительны к этим факторам.

Будьте готовы: если участник не проходил тест способностей в совсем плохих условиях, второе заполнение улучшит его результаты. Если банка заданий нет или он небольшой — улучшение будет существенным. И даже в случае наличия объёмного объёма банка заданий участник улучшит свои результаты. Он уже знаком с процедурой – форматом заданий и временем их выполнения. Мы становимся заложниками ситуации: некорректная процедура тестирования, может быть, несильно повлияла на прохождение теста, но мы обязаны её повторить, тем самым дав участнику возможность улучшить свои результаты. Но у нас нет другого выбора.

2. Участник списывал или заполнял совместно с кем-тоИменно эта причина описана в Российском стандарте тестирования персонала как повод для перетеста (пункт 9.3).

Основной вопрос заключается в источниках информации о том, что участник списывал или заполнял не сам / вместе с кем-то. Достоверность источников (от самого – к наименее):

  • Свидетельства администраторов, контролирующих тестирование.
  • Статистические методы, используемые в онлайн-тестировании. Это могут быть индексы соответствия ответов или среднее время ответа. Любой современный провайдер тестов может сказать, есть ли вероятность, что участник списывал.
  • Подозрения HR’а или руководителя участника.

Общая рекомендация — проводить тестирование под контролем администратора, который будет следить за участниками. Остальные рекомендации зависят от инструмента. Если это тест знаний – ситуация, скорее всего, не имеет простого выхода, т.к. тесты знаний редко содержат банки заданий и поэтому не могут быть адекватно перетестированы. Участники уже помнят большую часть заданий и ответов. Если это тесты способностей – следует назначить повторное тестирование с использованием альтернативной формы теста. Это более короткий вариант теста, не содержащих заданий из полной формы. Результаты повторного прохождения должны указать, в какой мере первичный результат был справедлив. Практически каждый провайдер тестов имеет такие альтернативные формы, и вы можете обратиться к нему для перетеста.

3. Проблемы с компьютером или Интернетом, повлиявшие на результат участника

Наиболее лёгкая для манипуляции ситуация. Если тестирование проводилось под контролем администратора и на корпоративных компьютерах — нам не остаётся ничего, кроме перетеста. Только важно удостовериться, что технические проблемы действительно повлияли на результат. Если тестирование проводилось кандидатом неизвестно где — это повод ещё более серьёзно разобраться в ситуации. Как это можно сделать:

  • Привлечь IT-специалистов и посмотреть, действительно ли происходили разрывы во время прохождения.
  • Проверить, на каком задании / блоке теста (в случае если тест состоит из частей) происходили разрывы. Перетестировать надо не весь тест, а только соответствующий блок.

Но это всё косвенные замеры, и мы не сможем 100% сказать, действительно ли были проблемы. Поэтому лучше прибегать к превентивным мерам – тестировать под контролем администратора и непосредственно перед тестированием проверять компьютеры и Интернет.

Важно помнить, что проблемы с Интернетом могут повлиять на выполнение только заданий, ограниченных по времени. Поэтому плохое Интернет-подключение не является поводом для перетеста личностных опросников.

4. Шкала лжи или согласованности в опроснике указывает на неправдоподобность ответов

Ситуация встречается в компаниях, которые используют нормативные личностные опросники (см. пункт 1). Это такие опросники, где участника прямо спрашивают о его уровне личностных черт. Чтобы хоть как-то защитить нормативные опросники от обмана, в них встраивают шкалы лжи или согласованности. Получив по ним высокие баллы, участник приглашается заполнить опросник ещё раз, “но уже более честно”.

Ситуация сложная и для организации, и для участника. Во-первых, перетест может оставить ситуацию прежней — высокие баллы по шкале лжи просто продублируются. Причина — шкалы лжи в основном измеряют не намерение человека обмануть опросник, а его склонность “слишком позитивно” мыслить о себе (McCrae & Costa, 1993; Ones, Viswesvaran & Reiss, 1996). Повторно заполнив опросник, он вновь репрезентирует эту склонность. Может сложится обратная ситуация, когда в перетесте участник получит более высокие баллы и по шкале лжи, и по шкалам опросника. Он уже сознательно будет давать более позитивные самоописания. Особенно если кадровое решение, которое будет принято по результатам, важно для участника. И он знает, что опросник обладает большим весом в этом решении. Чем более значима процедура оценки для участника, тем сильнее он будет стараться улучшить свои результаты (Hausknecht, 2010; Walmsley & Sackett 2013).

Также участник может подготовиться к повторному тестированию, прочитав про шкалы лжи и в итоге улучшив свои результаты. Как и все методы выявления социальной желательности, шкалы лжи достаточно уязвимы для подготовленных участников.
Что в итоге. Тестирование участника оплачено, но шкала лжи или согласованности указывает на не-истинность ответов. Перетест вряд ли выправит ситуацию. Компания в тупике. Рекомендация – не использовать нормативные опросники, или использовать их вместе с ипсативными заданиями (где просят сравнить несколько качеств между собой). Необходимость перетеста личностными опросниками отпадёт.

5. Участник получил низкие результаты, и это противоречит ожиданиям заказчика

Например, участник является сильным кандидатом, и его приём на работу / повышение важно для HR’а или руководителя.

Назначение перетеста в этом случае дискредитирует процедуру тестирования. По двум причинам:

  1. Тесты не должны сильно коррелировать с оценкой менеджера или какого-либо другого человека (Connolly, Kavanagh & Viswesvaran, 2007). Важный нюанс: инструмент “создаёт” качество, которое он измеряет. Интеллект, измеренный руководителем, и интеллект, измеренный тестом – это не одно и то же качество. То же самое с личностными чертами. Это расхождение и делает тесты ценным инструментом – они рассматривают качество с уникального ракурса (и поэтому добавляют валидности).
  2. Участник получит преимущество, т.к. сможет улучшить свои результаты в повторном тестировании. Что (а) несправедливо по отношению к другим участникам и (б) снижает объективность оценки (на которую тесты претендуют).

Мнение какого-либо человека не может быть поводом для перетеста.

Резюме

Повторное тестирование – это сложность и испытание не только для участника, но и для оценочной процедуры. Дабы вы ориентировались в этой процедуре, как итог статьи составлена «памятка» перетеста.

13797_900

Литература:

1. Arendasy, M. E., & Sommer, M. (2013). Quantitative differences in retest effects across different methods used to construct alternate test forms. Intelligence, 41(3), 181–192.

2. Connolly, J. J., Kavanagh, E. J., & Viswesvaran, C. (2007). The convergent validity between self and observer ratings of personality: A meta‐analytic review.International Journal of Selection and Assessment, 15(1), 110-117.

3. McCrae, R. R., & Costa, P. T. (1983). Social desirability scales: More substance than style. Journal of consulting and clinical psychology, 51(6), 882.

4. Hausknecht, J. P., Halpert, J. A., Di Paolo, N. T., & Moriarty Gerrard, M. O. (2007). Retesting in selection: a meta-analysis of coaching and practice effects for tests of cognitive ability. Journal of Applied Psychology, 92(2), 373.

5. Hausknecht, J. P. (2010). Candidate persistence and personality test practice effects: Implications for staffing system management. Personnel Psychology, 63(2), 299–324.

6. Holladay, C. L., David, E., & Johnson, S. K. (2013). Retesting personality in employee selection: implications of the context, sample, and setting. Psychological reports, 112.

6. Kelley, P. L., Jacobs, R. R., & Farr, J. L. (1994). Effects of multiple administrations of the MMPI for employee screening. Personnel Psychology, 47, 575–591.

7. McAdams, D. P., & Olson, B. D. (2010). Personality development: Continuity and change over the life course. Annual review of psychology, 61, 517–542.

8. Ones, D. S., Viswesvaran, C., & Reiss, A. D. (1996). Role of social desirability in personality testing for personnel selection: The red herring. Journal of Applied Psychology, 81(6), 660.

9. Villado, A. J., Randall, J. G., & Zimmer, C. U. (2016). The effect of method characteristics on retest score gains and criterion-related validity. Journal of Business and Psychology, 31(2), 233–248.
10. Walmsley, P. T., & Sackett, P. R. (2013). Factors affecting potential personality retest improvement after initial failure. Human Performance, 26(5), 390–408.

Источник: Блог Юрия Шатрова «ЭКОПСИ-Консалтинг»

Интересные материалы на эту тему

ОЦЕНКА ПЕРСОНАЛА ПО МЕТОДУ 360 ГРАДУСОВ... Метод оценки 360 градусов – это сбор и комплексный анализ информации о сотруднике (его действиях и поведении в различных рабочих обстоятельствах, личн...
Мы ищем «дешевое» на рынке труда и пытаемся выращи... 2 июня в Астрахани прошел бизнес-завтрак с Александром Шемякиным, помощником по наведению порядка в бизнесе «Результат». Мероприятие для HR организова...
Методики оценки персонала Методы оценки персонала — это эффективные инструменты менеджмента, позволяющие объективно оценить вклад сотрудников в достижение общих целей, определи...
Модель компетенций: быть или не быть?... Модель компетенций – как настоящая любовь: все о ней говорят, но мало кто ее знает. Юрий Михеев, ведущий консультант по оценке персонала ГК "Инст...
Как выяснить, готов ли человек быть руководителем... Беря на работу нового менеджера, вы сильно рискуете: вам нужен человек, способный вести за собой других, управлять бюджетом, строить отношения с высши...
Бизнес кейс для интервью менеджмента... Подумайте над описанным случаем фирмы «Маккинси» и выделите три момента, когда Вы поступили бы по-другому? Объясните, почему. Данный клиент с головны...
Бизнес кейс для интервью руководителя... Вас только что назначили менеджером группы кросс-продаж в Capital One. Вы и ваша группа несете ответственность за оценку возможностей маркетинга товар...
0.5