Перевод статьи Ben Lamorte “A Brief History of Scoring Objectives and Key Results (OKRs)” 2015 года
Часть 1: Бинарная оценка
Когда я впервые начал работать с OKR около 5 лет назад, мы не применяли шкалу оценки. Каждый ключевой результат либо достигался, либо нет. Все было просто, бинарно. Если ваш ключевой результат был «10 новых клиентов к концу квартала», а вы закончили квартал с 9 новыми клиентами, то ключевой результат не был достигнут.
На самом деле предполагалось, что вы достигнете 10 клиентов в середине квартала, вычеркнете 10 и поднимете планку до 15, а затем закончите квартал с 20. Такой подход иногда называют «установить высокую планку и перевыполнить ее».
Существовало неписаное правило: если ваша команда достигает своих целей, ее больше отмечают и чаще повышают.
Ваша команда была успешной в той степени, в какой были достигнуты OKR. Если быть точным, то люди в команде, достигшие своих целей, с большей вероятностью получали премию. В конце концов, разве бонус не должен быть связан с успехом?
Эта система не всегда работала хорошо и не претендовала на совершенство. Предположим, у команды был ключевой результат «10 новых клиентов», но в итоге получили 9 клиентов. Возникло бы чувство неудачи, учитывая, что у нас была бинарная система подсчета очков. Другими словами, 9 было бы воспринято, как «недобор». Небольшое, но все же ощущение проигрыша было бы. В общем, такой подход к оценке OKR был диаметрально противоположен культуре OKR в Google, где самое худшее, что можно сделать, - это завалить все OKR.
На самом деле предполагалось, что вы достигнете 10 клиентов в середине квартала, вычеркнете 10 и поднимете планку до 15, а затем закончите квартал с 20. Такой подход иногда называют «установить высокую планку и перевыполнить ее».
Существовало неписаное правило: если ваша команда достигает своих целей, ее больше отмечают и чаще повышают.
Ваша команда была успешной в той степени, в какой были достигнуты OKR. Если быть точным, то люди в команде, достигшие своих целей, с большей вероятностью получали премию. В конце концов, разве бонус не должен быть связан с успехом?
Эта система не всегда работала хорошо и не претендовала на совершенство. Предположим, у команды был ключевой результат «10 новых клиентов», но в итоге получили 9 клиентов. Возникло бы чувство неудачи, учитывая, что у нас была бинарная система подсчета очков. Другими словами, 9 было бы воспринято, как «недобор». Небольшое, но все же ощущение проигрыша было бы. В общем, такой подход к оценке OKR был диаметрально противоположен культуре OKR в Google, где самое худшее, что можно сделать, - это завалить все OKR.
Часть 2: Оценка в стиле Google по шкале 0-1
Позже я узнал о том, как Google оценивает OKR, примерно в то время, когда в 2013 году вышло видео Google Ventures. Идея заключалась в том, чтобы стандартизировать оценку всех OKR по всей организации: 1 означает полное достижение, а 0 - «нет прогресса». В Google ценят стремление к достижению целей. Настолько, что если вы получили максимальный 1 балл по OKR, значит, вы поставили недостаточно высокие цели.
Недавно я услышал историю об одном гуглере, который поставил перед собой очень высокие цели и затем достиг их. По всей видимости, все решили, что он схалтурил. Я не уверен на 100 %, что эта история правдива, но, учитывая количество людей, работающих в Google, вполне вероятно, что такой сценарий происходил неоднократно.
Я вижу, что стандартизованная модель оценки Google может быть очень эффективной. Она дает всем возможность понять, как оценивать успех. Пусть она не идеальна, но, вероятно, решает гораздо больше проблем, чем создает. Если не считать всего остального, она стандартизирует разговоры и упорядочивает общение по поводу выполнения целей.
Как тренер по OKRs, я обнаружил, что большинство организаций, внедривших систему подсчета баллов, оценивают ключевые результаты либо только в конце квартала, либо интервалами в течение квартала. При этом они часто не определяют критерии оценки, как часть определения Ключевого результата. Если вы хотите использовать стандартизированную систему оценки, критерии оценки для каждого ключевого результата ДОЛЖНЫ быть определены в процессе его создания. Если они не определены заранее, оценки становятся субъективными. Мне кажется, что очень трудно считать Ключевой результат четко определенным, пока команда не договорится о подсчете баллов. Разговор о том, что такое «3» или «7», также не очень интересен, если мы не переведем «3» и «7» на человеческий язык. Обсудив этот вопрос с Винсентом Друкером - да, Винсент является сыном Питера Друкера, - я пришел к следующим рекомендациям, которые мои клиенты находят очень полезными:
Недавно я услышал историю об одном гуглере, который поставил перед собой очень высокие цели и затем достиг их. По всей видимости, все решили, что он схалтурил. Я не уверен на 100 %, что эта история правдива, но, учитывая количество людей, работающих в Google, вполне вероятно, что такой сценарий происходил неоднократно.
Я вижу, что стандартизованная модель оценки Google может быть очень эффективной. Она дает всем возможность понять, как оценивать успех. Пусть она не идеальна, но, вероятно, решает гораздо больше проблем, чем создает. Если не считать всего остального, она стандартизирует разговоры и упорядочивает общение по поводу выполнения целей.
Как тренер по OKRs, я обнаружил, что большинство организаций, внедривших систему подсчета баллов, оценивают ключевые результаты либо только в конце квартала, либо интервалами в течение квартала. При этом они часто не определяют критерии оценки, как часть определения Ключевого результата. Если вы хотите использовать стандартизированную систему оценки, критерии оценки для каждого ключевого результата ДОЛЖНЫ быть определены в процессе его создания. Если они не определены заранее, оценки становятся субъективными. Мне кажется, что очень трудно считать Ключевой результат четко определенным, пока команда не договорится о подсчете баллов. Разговор о том, что такое «3» или «7», также не очень интересен, если мы не переведем «3» и «7» на человеческий язык. Обсудив этот вопрос с Винсентом Друкером - да, Винсент является сыном Питера Друкера, - я пришел к следующим рекомендациям, которые мои клиенты находят очень полезными:
Ключевой момент коучинга по OKRs: четко определите OKRs, включив последовательную систему оценок для каждого ключевого результата.
Оценка ключевых результатов
Вот пример, демонстрирующий силу определения критериев оценки Ключевого результата на начальном этапе.
Ключевой результат: Запуск нового продукта ABC с 10 активными пользователями к концу третьего квартала.
Оценка 0,3 = прототип протестирован 3 внутренними пользователями
Оценка 0.7 = Прототип протестирован и утвержден с датой запуска в 4 квартале
Оценка 1.0 = Продукт запущен и получено 10 активных пользователей
Обратите внимание, что «1.0» идентичен самому ключевому результату, поэтому он задан по умолчанию. Кроме того, показатель 0,5 является необязательным и обычно не используется. Это заставляет задуматься о том, что является желаемым, а что реалистичным. Команда инженеров может ответить, что даже 0,3 балла будет сложно. Проведение таких разговоров перед окончательным утверждением ключевого результата гарантирует, что все будут на одной волне с самого начала.
*Альтернативный подход к оценке ключевых результатов, о котором я впервые услышал от супер крутого коллеги, использует еще один подход к оценке OKR, который делает акцент на будущем, а не на прошлом.
- Когда - В начале квартала как часть определения ключевого результата
- Четко определите «правила игры»
- Как - Применяйте шкалу 0-1 следующим образом:
Вот пример, демонстрирующий силу определения критериев оценки Ключевого результата на начальном этапе.
Ключевой результат: Запуск нового продукта ABC с 10 активными пользователями к концу третьего квартала.
Оценка 0,3 = прототип протестирован 3 внутренними пользователями
Оценка 0.7 = Прототип протестирован и утвержден с датой запуска в 4 квартале
Оценка 1.0 = Продукт запущен и получено 10 активных пользователей
Обратите внимание, что «1.0» идентичен самому ключевому результату, поэтому он задан по умолчанию. Кроме того, показатель 0,5 является необязательным и обычно не используется. Это заставляет задуматься о том, что является желаемым, а что реалистичным. Команда инженеров может ответить, что даже 0,3 балла будет сложно. Проведение таких разговоров перед окончательным утверждением ключевого результата гарантирует, что все будут на одной волне с самого начала.
*Альтернативный подход к оценке ключевых результатов, о котором я впервые услышал от супер крутого коллеги, использует еще один подход к оценке OKR, который делает акцент на будущем, а не на прошлом.
Часть 3: Предиктивный скоринг
Большинство организаций, которые обращаются ко мне за помощью в работе с OKR, в той или иной форме оценивают OKR. Однако их оценки сосредоточены исключительно на «прогрессе на сегодняшний день». Это позволяет получить точку данных для каждого ключевого результата в виде «X% выполнено».
Эти данные могут иметь определенную ценность, однако все больше пользователей OKR начинают включать в свои оценки прогностический элемент. Давайте вернемся к ключевому результату «10 новых клиентов», чтобы проанализировать, почему предиктивный скоринг набирает такую популярность.
Допустим, в первый месяц квартала вы подписали 6 контрактов с клиентами. Отлично, вы выполнили задачу на 60%! Однако, допустим, вы не верите, что ваша команда подпишет еще больше клиентов, потому что “трубопровод пересох” или ключевой торговый представитель только что ушел на более выгодную работу. Если бы у вас был способ сообщить, что вы потеряли уверенность и считаете, что этот ключевой результат останется на уровне 60% и не будет достигнут, вы могли бы предупредить своих коллег и стейкхолдеров. Предиктивная оценка служит системой раннего предупреждения, позволяющей лучше управлять ожиданиями.
По моим прогнозам, системы подсчета очков будут развиваться и дальше. Хотя некоторые организации, только начинающие использовать OKRs, могут не понимать важности скоринга, я прогнозирую, что скоринг будет оставаться одной из наиболее важных переменных, которую необходимо правильно настроить для вашей организации, чтобы обеспечить успешное внедрение OKRs в долгосрочной перспективе. Некоторые организации могут использовать гибридный подход, сочетающий предиктивный и исторический скоринг для OKRs.
Эти данные могут иметь определенную ценность, однако все больше пользователей OKR начинают включать в свои оценки прогностический элемент. Давайте вернемся к ключевому результату «10 новых клиентов», чтобы проанализировать, почему предиктивный скоринг набирает такую популярность.
Допустим, в первый месяц квартала вы подписали 6 контрактов с клиентами. Отлично, вы выполнили задачу на 60%! Однако, допустим, вы не верите, что ваша команда подпишет еще больше клиентов, потому что “трубопровод пересох” или ключевой торговый представитель только что ушел на более выгодную работу. Если бы у вас был способ сообщить, что вы потеряли уверенность и считаете, что этот ключевой результат останется на уровне 60% и не будет достигнут, вы могли бы предупредить своих коллег и стейкхолдеров. Предиктивная оценка служит системой раннего предупреждения, позволяющей лучше управлять ожиданиями.
По моим прогнозам, системы подсчета очков будут развиваться и дальше. Хотя некоторые организации, только начинающие использовать OKRs, могут не понимать важности скоринга, я прогнозирую, что скоринг будет оставаться одной из наиболее важных переменных, которую необходимо правильно настроить для вашей организации, чтобы обеспечить успешное внедрение OKRs в долгосрочной перспективе. Некоторые организации могут использовать гибридный подход, сочетающий предиктивный и исторический скоринг для OKRs.
