Оценка через управление реальностью

В погоне за валидностью

Все методы оценки стремятся максимально воспроизвести условия реальной жизни, чтобы обеспечить точность оценки и высокую прогностическую валидность – степень соответствия результатов, полученных с помощью инструментов оценки, с показателями дальнейшей рабочей эффективности. Казалось, как было бы прекрасно проводить оценку непосредственно в живой жизни – не нужно ничего приближать и моделировать. Но не все так просто! Оказывается, слепок живой жизни тоже не идеален. Возникновения нужных критических инцидентов, дающих возможность увидеть необходимые компетенции сотрудника, в реальной жизни приходится ждать слишком долго. А если мы оцениваем сотрудников «на вырост», то их текущие задачи не дают возможность оценить успешность в решении будущих задач.

Ответом на несовершенство реальности для целей оценки служит создание модели реальности. По этому принципу выстроен Ассессмент-центр, который признан одним из самых валидных методов оценки – его коэффициент валидности по результатам исследований составляет 0.72, что очень высоко для оценки такого объекта как человек.

Совсем далеки от реальности личностные тесты и опросники, коэффициент валидности которых составляет всего 0.39. Причем не только потому, что оцениваемые параметры зачастую весьма сомнительно соотносятся с успехом в рабочей деятельности, а сама оценка подвержена существенному влиянию социальной желательности –стремлению произвести наилучшее впечатление, которое определяет выбор из предложенных вариантов ответов наиболее «правильного». Даже исключительно правдиво отвечая на вопросы, человек демонстрирует только свой образ самого себя, что может существенно расходиться с его реальным поведением. Так, например, известны эксперименты, в которых сопоставлялись данные опросников и тестов на объективные показатели нервно-психических процессов. Если в ответах на опросник человек выглядит «сильным и выносливым», в то время как в «тэппинг-тесте», где нужно максимально быстро нажимать на клавишу или ставить точки карандашом на бумаге, быстро снижает темп, это показывает, что он только стремится к желаемому «сильному» образу. На самом же деле он обладает слабым типом нервной системы.

Единственный ли выход — модель реальности? В Ассессмент-центре возможно точно задать контекст бизнеса, смоделировать трудные ситуации, для успешного разрешения которых должны быть проявлены нужные компетенции. Например: вывод компании из убытков в зону рентабельности, угроза забастовки на производстве, трудные переговоры с клиентом для оценки менеджеров или отказ одного из двигателей самолета для оценки командира экипажа. Несмотря на это, необходимость переноса результатов оценки из смоделированной ситуации к поведению в реальной жизни все равно существует. Именно здесь теряются недостающие десятые баллы валидности до идеального коэффициента 1. В чем же причины несовершенства модели? Коммуникативный стресс, который могут испытывать оцениваемые, неспособность переносить свои знания в другой контекст, восприятие процедуры оценки как некой игры, и даже конкретные проблемы со здоровьем в день «экзамена». Перспектива приблизиться к живой жизни, к абсолютной единице валидности продолжает манить оценщиков. Существует ли такая возможность Если непосредственная реальность как «она есть» не дает возможность оперативно раскрыть человека для перископа ассессора, то нужно научиться управлять реальностью так, чтобы это стало возможным.

Чем мы управляем, управляя Реальностью

• Временем и местом. Необходимо локализовать рабочую активность, чтобы обеспечить возможность компактного наблюдения за ней. Мы собираем людей в одно время в одном месте для решения реальной рабочей задачи.

• Контентом. Важен содержательный фокус — нужно поставить значимые, актуальные, серьезные вопросы.

• Процессом. Необходимо структурировать хаос живой жизни — задать формат взаимодействия, установить рамкии минимальные правила. При этом важно помнить, что для целей оценки нам нужно только слегка «подрулить» процесс в нужном направлении, так как избыточное управление уничтожает саму реальность.

• Динамикой . Мы не можем позволить реальности тихо и мирно идти своим чередом, так как для целей оценки всегда необходимо, чтобы в сути ситуации был некий конфликт. Чтобы получить реакцию, нам нужно создать релевантный стимул: предложить неоднозначную задачу, требующую серьезных аналитических размышлений, создать дефицит ресурсов и информации, поставить в жесткие временные рамки, задать противоречивые требования или обострить расхождение во взглядах разных людей.

Например, в рамках мероприятия, целью которого была оценка компетенций на реальном рабочем материале, участвующие в обсуждении менеджеры вежливо слушали друг друга, не задавая вопросов и не споря. Это снижало проявление интерактивных компетенций, и, соответственно, возможность их оценки. Тогда ведущие ввели дополнительный соревновательный компонент — попросили оценивать презентации друг друга по двум параметрам: соответствие предложенных идей стратегии компании и яркость самого публичного выступления. Это сразу же повысило тонус выступающих, появились вопросы и контраргументы и, более того, высветилась картинка, как люди реагируют на обратную связь и умеют работать с оппонентами.

Другой пример: в процессе подготовки решения группа из четырех человек слишком незначительно отнеслась к вопросам планирования ресурсов и расчета экономической целесообразности своих предложений. Эксперту-наблюдателю необходимо было проверить, действительно ли менеджеры не считают это важным и не умеют проводить грамотный финансовый анализ затрат и эф-фектов или они просто не сочли это нужным в рамках выполнения конкретной задачи. Он включился и стал задавать провокационные__ вопросы, завязывая дискуссию, чтобы получить больше информации и проверить свои гипотезы.

Таким образом, управляя реальностью, мы упаковываем ее в удобный для наблюдения формат и стимулируем проявить те компетенции, которые нам важны для оценки.

Два в одном: оценка компетенций и полезный наработанный результат

Отдельное преимущество оценки через управление реальностью — это возможность воспользоваться наработанными плодами деятельности, ибо решаемые в процессе оценки задачи являются самыми настоящими.

Важно учитывать одну тонкость. Если мы хотим оценить, то нам важно максимально снять фотографию, не влияя на изменение поведения оцениваемых. При этом, для получения качественного результата работы необходимо дополнительно фасилитировать процесс, показывая на проблемы и помогая снимать возникающие противоречия. Это, безусловно, повышает качество результата, но ухудшает качество оценки, так как полученный продукт деятельности как раз и помогает оценить компетенции его творцов. Таким образом, мы всегда сталкиваемся с дилеммой — что для нас важнее сейчас: точная, незамутненная, оценка или тщательно проработанный продукт? В зависимости от расстановки приоритетов баланс может сдвигаться в ту или иную сторону. Конечно, на самом мероприятии участникам объявляются обе задачи: и задачаоценки, и задача формирования содержательного результата.

Поле применения методов управляемой реальности

Управляемая реальность дает нам возможность оценить разный тип компетенций: как деловые качества, так и профессиональные знания. Причем, на начальном и среднем уровне организации нужны инструменты, которые помогут их оценить независимо друг от друга.

На высшем уровне организации собственно узкие профессиональные знания становятся уже не столь востребованы, а на первый план выходят именно менеджерские компетенции верхнего порядка — умение мыслить стратегически, понимание широкого контекста рынка, перспективное планирование и т.п. Такого рода компетенции по факту и становятся профессиональным мастерством высшего менеджера, и для его оценки применим уже единый инструмент.

Оценочная стратегическая сессия

Топ-менеджеров всегда трудно собрать для оценки в искусственно созданных условиях, степень их критичности и сопротивления обычно высока. Прекрасным полем для оценки их компетенций выступают реальные стратегические мероприятия, где мы можем увидеть топ-менеджеров в живом контексте мышления и взаимодействия. Оценочная стратегическая сессия —классический пример «2 в 1». Команда работает на решение поставленных стратегических вопросов, для управления реальностью готовится сценарий, который позволяет раскрыться необходимым для оценки компетенциям каждого руководителя.

Конечно, у оценочной стратегической сессии должен быть заказчик — первое лицо компании, акционер или высшее руководство.

Любопытным и полезным является содержательный результат, который можно получить через оценочную стратегическую сессию.

Приведу примеры:

1)Трансляция стратегии вниз. Стратегия Банка, разработанная наверху, каскадируется на уровень N-2, руководителям региональных филиалов Банка. Менеджеры в процессе работы на стратегической сессии примеряют стратегию на свои региональные филиалы, продумывают, что необходимо сделать, чтобы внедрить стратегические инициативы.

Предлагая такого рода задачи, нужно быть честным. Если высшее руководство не ждет от менеджеров помощи в создании стратегии всего Банка, нужно ставить на сессию именно задачу определить следующий шаг в реализации стратегии в своих бизнес-единицах, и не стремиться вовлечь менеджеров в формирование или уточнение стратегии всего Банка. Иначе это будет порождать сначала определенные ожидания, потом вести к разочарованию. Тогда это не реальность, а игра в нее.

2) Оценка стратегического разрыва. Акционер крупной производственной компании хочет понять, насколько его видение изменения поведения компании на рынке в кризисной ситуации совпадает с видением Правления. Ему важно получить аккумулированную позицию топ-менеджеров и, одновременно, оценить компетенции каждого менеджера, необходимые в новых условиях. Большую часть времени оценочная стратегическая сессия решает именно эти задачи. Дополнительно, в конце сессии было оставлено время на живую обратную связь — акционер, выслушав итоговую позицию Правления, вы- сказывает, в чем он видит разрыв позиций и какие приоритеты наиболее значимы на его взгляд.

Деловая игра «Лидеры роста»

Традиционная задача, с которой мы сталкиваемся на уровне средних и начальных позиций компании — выбор лучших, лидеров, которые затем становятся или кандидатами в кадровый резерв компании или активом по внедрению сложных проектов изменений.

В течение нескольких лет мы помогаем одной крупной нефтяной компании полного цикла с разветвленной сетью филиалов и ДО реализовывать систему оценки и развития персонала на всех уровнях управления. Игра «Лидеры роста» зарекомендовала себя как быстрый и хороший способ определить наиболее перспективных с точки зрения лидерского потенциала молодых специалистов, на которых Компания в дальнейшем делает ставку как на резервистов. Данный формат позволяет провести через одно мероприятие около 50-70 человек и, например, за 5 дней отсмотреть 350 молодых специалистов. Молодые специалисты в ходе деловой игры получают для анализа и предложения вариантов решений актуальные проблемы Компании. Полученные предложения направляются на рассмотрение руководству Компании и служат источником ценных идей. Дополнительными бонусами является обмен опытом между сотрудниками разных структурных подразделений, развитие меж- функциональных связей, мотивация молодых специалистов на развитие и повышение их приверженности Компании за счет совместной работы на достижение общих, значимых для Компании целей.

В рамках специально организованной игры хорошо проявляются люди с собственно лидерскими качествами — умением вести за собой, способностью влиять на других, грамотной коммуникацией. При этом в групповом формате плохо видны компетенции сферы мышления — способность мыслить системно, проводить качественный анализ информации, простраивать перспективные сценарии развития событий. Чтобы снять это ограничение, в интерактивные форматы необходимо ввести задания, в которых можно вычленить и оценить индивидуальный мыслительный результат.

Деловая игра «Лидеры роста» — не столько инструмент оценки, сколь инструмент селекции, так как позволяет быстро и точно выделить из первичного пула фактических лидеров. Затем в рамках мероприятия есть возможность присмотреться к ним более тщательно, сразу оставляя за границей пристального внимания тех, кто не проходит по первичным лидерским критериям и, соответственно, экономя ресурсы на их оценке.

Профессиональный форум

В прошлом году в России наблюдался бум на разработку и оценку профессиональных компетенций. В чем-то тренд понятен, прошла эра, когда «кухарка управляла государством», а мальчики-выпускники экономических факультетов «нерейтинговых» вузов, не имея никакого опыта в отрасли, вставали у руля производственных предприятий и смело давали советы экспертам-ветеранам, как добывать уголь, варить сахар и т.п. Профильное образование стало исключительно важным, и многие предприятия в первую очередь стремились сохранить экспертизу «старичков» и даже построить новые стандарты обучения в профильных вузах, чтобы привлечь талантливую молодежь и дать ей качественный уровень образования по производственным специальностям.

Традиционным способом оценки профессиональных знаний являются тесты. Тест — очень хороший инструмент, который за счет свой стандартизованности уже отчужден от экспертизы его пользователя. Имея в руках тест, HR легко может оценить знания системного администратора или маркшейдера. Но создание хорошего профессионального теста — процесс непростой и небыстрый. Причем, контент теста нуждается в периодическом освежении, так как, к сожалению, правильные ответы достаточно быстро распространяются среди коллег, да и обновление содержания полезно при повторном тестировании одних и тех же людей.

Альтернативным вариантом является интерактивный Профессиональный форум, когда через актуальную задачу и обеспечение экспертизы решений, возможно в сжатые сроки оценить уровень профессиональной квалификации и одновременно продвинуться в решении самой поставленной задачи.

С помощью Профессионального форума была проведена оценка профессиональных знаний технологов наукоемкого производства. Содержательным полем для оценки послужили две актуальные задачи: поиск и устранение причин брака в конкретных производственных процессах и формирование банка идей по совершенствованию производственных технологий. В ходе специально структурированной последовательности письменных работ, анализа статистики и обсуждений оценивались практические знания в области производственных технологий, понимание современных отраслевых тенденций. Оценка профессиональных знаний проводилась Экспертным советом, в состав которого кроме главного технолога предприятия и его заместителя, были приглашены профессора двух кафедр профильного ВУЗа – партнера.

Чтобы согласовать единое понимание экспертами шкалы и принципов оценки, а также помочь договориться в спорных ситуациях, одной из важных задач ведущих форума была фасилитация работы Экспертного совета. Несколько наиболее интересных рационализаторских предложений, выдвинутых участниками форума, затем были апробированы на практике для оптимизации производственных процессов. Вовлечение партнеров обеспечило не только многостороннюю экспертизу, но и позволило дополнительно обсудить стандарты подготовки специалистов, обучающихся в ВУЗе по целевому заказу предприятия.

Перенос оценки непосредственно в «боевые условия» интересен и имеет много выгод. Но важно помнить, что реальность, даже управляемая, все же менее послушна, чем искусственная ситуация или модель. Поэтому оценивая методами управляемой реальности исключительно важно обеспечить квалифицированный ресурс самих ассессоров. Ибо чем менее стандартизован инструмент, тем больше требований к квалификации того, у кого он в руках.

 

Автор: Вероника Луцкина

Источник:http://ecopsy.ru/knbase/ap/765