Как по каким критериям вы измеряли продукт результат

В чем измерять и как оценить результат

Продолжаю публиковать отрывки из своей книги/методики «Технология».

Начну с главного вопроса, который интересует каждого, с результатов, проведем исследования, поищем ответы на самые разные вопросы связанные с тем, «Как?», «Чем?», «В чем?» и главное «Что?» оценивать, так как объекты оценки разные, это и работа, и индивид, и рабочая группа и организация в целом.

То что мы имеем на выходе технологии это «изделие» или «результат» и как быть с оценкой эффективности?

Как соотносятся понятие: цель, действие, результат, эффект?

Как правильнее оценить свои действия по действиям или по результатам?

Можно ли говорить про индивидуальную эффективность?

В чем измеряется ваша работа?

Как организации оценить человека: по результатом работы или что еще нужно обязательно принять во внимание?

Оценка работы организации — это сумма достижений или средняя температура?

Как повысить эффективность? (рецепт для работника, группы и всей организации).

Как оценить самого себя и возможно ли это сделать объективно?

Вопросов много, можно попробовать найти ответ на каждый, а можно подвести общий знаменатель, чтобы понять откуда появились эти вопросы и почему на них сложно найти ответ. Начну с предыстории, с того, что в СССР фундаментальным понятием был ТРУД, а измерение результата было идеологически опасным, так как вносило раскол во всеобщее равенство. В настоящее время мало что изменилось, да появились KPI, но не как оценка эффективности работы, а больше как карательный инструмент. А формальный подход к оценке результата по 10-30 показателям (KPI) сделал т.е. «эффективных менеджеров» героями анекдотов. Попробуем внести ясность в понимание результата, а для этого нужно знать про триаду эффективности:

Все что мы делаем, все наши действия — это наша способность действовать и она оценивается по степени выполнения запланированных действий как по объему, так и по качеству, своевременности и другим характеристикам. Ключевые (самые главные из них) составляют тот самый показатель KPI. Это как бы измеритель вашей активности, вашей «механической» работы. Если этот уровень освоен, вы знаете ЧТО и КАК делать и измерять, то можно переходить к оценке результатов. Если нет, то попробуйте (на бытовом примере) оценить ваш KPI в виде выполненных в течение дня действий. Как правило статистика за неделю может дать данные приемлемые для понимания всей ситуации.

Переходим ко-второму элементу триады — РЕЗУЛЬТАТУ — то, что остается после вашей работы, когда вы уходите с работы. Особенность его измерения заключается в том, что «результат» — это не только способность к действию, это и действие самой технологии, умение человека пользоваться инструментом, владение методами, понимание того, как фиксировать и измерять результаты своей работы.

Работа по своему характеру может быть разной, так и результат может проявляться и измеряться совершенно по-разному. В приведенной ниже матрице можно увидеть, основные подходы к измерению работы и единицы этих измерений.

Третий элемент — ЭФФЕКТИВНОСТЬ — это комплексное понятие, которое состоит из нескольких показателей (для экономистов один, для управленцев — другой, для политиков — третий), но главное это то, что результат должен оказать влияние (благодаря знанию сил природы) на жизнь и благосостояние других людей, их решения и результаты их работы.

Выражение «ЗНАНИЕ — СИЛА» по сути означает знание сил природы, которые человек может задействовать если их знает.

Так, если вы делаете афишу, то действенность — это количество действий по рисованию/дизайну которые вы выполнили; результат — это сам плакат в соответствующем формате и разрешением сделанный к определенному моменту времени (это важно), а вот эффективность — это то влияние которое окажет образ и использованный текст на человека/потенциального клиента в той самой ситуации, когда он его увидит.

В чем измеряется работа?

Воспользуемся методом Гипермышление чтобы найти ответ, а точнее девять разных ответов (в формате матрице 3х3) на этот не простой вопрос.

В чем конкретно измеряется ваша работа? В чем вы измеряете свою работу и в чем измеряет вашу работу ваш начальник? Возможно, вы по-разному измеряете работу и поэтому не можете договориться о повышении зарплаты, а возможно вы оба заблуждаетесь, но кто-то искренне, а кому-то просто удобно так думать.

Итак, в чем же измеряют вашу работу? Конечно же некоторые скажу, что в часах, 40 часов — рабочая неделя, и попробуй опоздать!? Возможно, вы сразу обнаружите, что время чрезвычайно важно. Ваше время прихода контролируют сильнее чем то, что вы делаете в течение оставшихся восьми часов и время ухода. Может быть вам платят за выработку, как это было на заре зарождения науки об управлении. А может быть за уровень ответственности? И это хороший повод подумать о продвижении по карьерной лестнице. Кто-то скажет, что ему платят за профессионализм и сложность выполняемых операций, которые можно измерить. В конечном счете, многие говорят о важности вклада в общее дело и произносят вам слова признательности за ваш личный вклад и вам сразу же на память приходят счастливые лица наших клиентов. Но все это многообразие, нагромождение и хитросплетение показателей заслонила собой один простой и самый главный показатель ценности и результативности вашей деятельности. И этот главный показатель ценности — это деньги, которые вы получили за свою работу.

Конечно, вы можете делать вид, что вас уважают на работе, или что у вас гибкий график. А может быть для вас бесценны те слова, что говорят вам благодарные клиенты, особенно если это дети. Возможно, вам приятно осознание своей незаменимости в команде или ваш постоянный профессиональный рост. Но …

Единственным и самым объективным измерителем ценности вашей работы остаются деньги, которые вам за нее заплатили.

Но не все так однозначно в корпоративном мире. Есть оценка работы, а есть оценка человека и это два разных измерения в организации. Можно отбросить человеческий фактор и считать только результаты, цифры, но западные компании идут дальше. Вы удивитесь, но для оценки работы используют матрицу 3х3 !!

Оценка вклада в отношения по работе и в организацию — это очень тонкая материя и не является предметом исследования данной книги, но важно знать, что проведения «Оценки 360» достаточно, чтобы оценить вклад человека. 360 градусов подразумевает оценку человека его окружением: непосредственным руководителем, самооценка, оценка со стороны коллег, оценка сотрудниками находящимися в подчинении и оценка со стороны клиента или внутреннего потребителя. Непременным является в этом методе является сравнение результатов и обсуждение и расхождений во мнениях.

Читайте также:  Лекарства с хромом и в каких продуктах содержится хром

Важно что вклад в организацию оказывается не менее важным, чем результаты и достижения по работе. Такое положение побуждает не только конкурировать за достижения, но и сотрудничать выбирая собственную стратегию поведения в компании, ориентироваться на внутренний рост, самореализацию или, при агрессивной стратегии, уход с повышением в должности в другую компанию.

В следующем выпуске вы узнаете про систему показателей эффективности, способах и шагах для ее повышения и доступном инструменте под названием «рефлексия».

Продолжение следует…

Источник

Как измерять ваш продукт: советы лектора Y Combinator Сухаила Доши

Мнения — 6 октября 2018

Как по каким критериям вы измеряли продукт результат

Фото: flickr / CC BY 2.0

В конце августа стартовала онлайн-школа для стартапов Startup School известного акселератора Y Combinator, который был ранним инвестором таких компаний, как Airbnb, DropBox, WhatsApp и Reddit. Одну из первых лекций в рамках нового курса стартаперам прочел Сухаил Доши, сооснователь системы мобильной аналитики Mixpanel. Доши создал компанию в 2008 году, когда ему было 20. Сейчас у компании больше 300 сотрудников, около 7 тыс. клиентов, а годовой доход приближается к $100 млн. Компания помогает клиентам определять, что происходит с продуктом, искать способы захвата пользователей и изменять уровень конверсии посетителей сайта в пользователей продуктом, а также разрабатывать стратегии их удержания. В своей лекции Доши рассказал о том, что и как нужно мерить в стартапе.

Мы делали главные деловые СМИ страны, теперь делаем лучше — подпишитесь на -рассылку The Bell!

The Bell в партнерстве с российской некоммерческой онлайн-школой стартапов Russol и с изданием VC пересказывает главные тезисы этой (а в будущем — и других) лекции Y Combinator.

  • Польза. Мы часто видим виральный рост классных продуктов, но при этом пользователи не возвращаются, чтобы снова воспользоваться ими. Для самих продуктов это означает их скорую смерть. Продукт успешного стартапа должен быть полезным, а вы должны научиться удерживать пользователей.
  • Разговоры. Что измерять, когда у тебя от 0 до 50 пользователей? Поначалу просто идите и общайтесь с ними, с каждым лично или в общем чате — неважно. Записывайте все, что они говорят. Так вы получите намного больше информации, чем из графиков и сухих цифр.
  • Действие. Если люди на вашем сайте ничего не делают или не пользуются вашим приложением, вам нужно срочно понять причины и устранить их. Метрики действия пользователей продукта — самые важные.
  • Передоз. Когда метрик 25 и более (а по мере роста компании их число обязательно будет увеличиваться), вы окончательно запутаетесь в том, что вы делаете и как, вам станет тяжелее понимать, по какой причине вчера был рост, а сегодня отток.
  • Пять метрик. Сбалансированное количество метрик стартапа колеблется в районе пяти штук. И это должны быть жизненно важные показатели. Они будут служить поводырями и вам, и команде, а заодно — путеводной звездой, напоминающей о том, что вы делаете что-то нужное людям. Вот самые очевидные: число посетителей, сколько из них зарегистрировались, сколько — поняли ценность продукта, возвращаются ли пользователи, сколько из них поделились вашим продуктом.
  • Время. Большинству предпринимателей понадобятся сотни итераций для того, чтобы подобрать нужные путеводные метрики. Будьте готовы, что с первого раза может и не получиться.
  • Понятность. Как измерить понятность продукта? Для начала стоит замерить самое простое — сколько пользователей нажало на кнопку «Подписаться». Но подписка еще не значит, что люди будут пользоваться вашим продуктом, а значит, полезно узнать, сколько пользователей, подписавшись, стали активно с ним взаимодействовать (куда они ходили, на что кликали, пользовались ли лайками, шерами и пр.). Ваш главный враг — кнопка «Назад» в браузере, пользователи держат ее наготове: как только они решат, что ничего не поняли на вашем сайте, они уйдут.
  • Простота. Как измерять простоту использования? Предположим, пользователи выполняют на вашем сайте какое-то полезное действие: например, ищут жилье или запускают видео. Нужно замерить промежуток времени, которое им нужно на раскачку. Если между заходом на сайт и действием проходит слишком много времени, вы не на верном пути.
  • Рост. Формула роста стартапа проста: посещение — регистрация — получение ценности (прокатиться на каршере, съесть булку, лайкнуть пост) — повторное действие — шеринг пользователями инфы о продукте.
  • Ошибки. Все время задавайте себе вопросы:«Легко ли пользователям понять суть моего продукта?», «Легко ли им начать им пользоваться?». Сложный вход в продукт гарантирует отток клиентов. Ответы помогут исправлять продукт. Но будьте готовы к тому, что этот процесс будет длиться вечно.
  • Критика. Насмешки или критика вашей идеи со стороны — это ценная обратная связь. Не пренебрегайте ею. Она позволяет шлифовать продукт и двигаться дальше.
  • Возврат денег. Гипотезы проверяются легче и быстрее, если вы обещаете 100%-ный возврат денег пользователям, которых что-то в вашем продукте не устроило. Не бойтесь возвращать деньги, полученная таким способом обратная связь ценнее многого другого.
  • Потери. Около 40-50% пользователей будут потеряны на этапе подтверждения регистрации через электронную почту или sms. Вы будете молиться, чтобы письмо не ушло в спам, и будете конкурировать с другими письмами в ящике пользователя. Дайте возможность пользователю попробовать ваш продукт без регистрации — пускай выполнит ценные для него действия и те, что важны с точки зрения метрик.
  • Отток. Большинство компаний и стартапов не отслеживают отток, и зря. Если он составляет 7% в месяц, обязательно прикиньте, сколько это будет за год, и начните решать проблему.
  • Цена. Если у вас платный продукт, обращайте внимание на то, сколько пользователей дошли до посещения раздела с расценками — это отличный индикатор, считают ли клиенты ваш продукт стоящим траты денег.
  • Метрики на стенах. Если ваш стартап уже дорос до офиса, не стесняйтесь вешать плакаты с целевыми метриками на всех стенах: это поможет членам команды сфокусироваться.

  • Благодаря волонтерской инициативе Russol «Y Combinator по-русски», в этой лекции есть субтитры на русском языке. Цель инициативы: передать опыт создания ИТ-компаний, а также вдохновить заняться предпринимательством. Присоединиться и помочь «Y Combinator по-русски» можно здесь.
  • А тут до 13 октября можно подать заявку в бесплатную онлайн-школу стартапов RUSSOL на осенний поток акселерации и записаться на двухмесячный цикл лекций российских предпринимателей о том, как искать идеи для бизнеса, создавать востребованный продукт и т.д.
Читайте также:  Какие продукты чистят организм от шлаков и токсинов в домашних

Юрий Ярцев (для The Bell)

Источник

Как оценить качество продукта

Привет Хабр!

Недавно мне попалась на глаза статья про Service Now. В ней описывалось про то, какой же хороший у них продукт. Даже показали менеджера среднего звена с микрофоном, которая без цифр что-то говорила (из статьи — «сократило время административного труда, и врачи смогли сфокусироваться на своём основном предназначении»).

Однако при беглом чтении статьи у меня остался небольшой осадок, как минимум из-за того, что я работал с этой системы (как пользователь). И у меня сложилось абсолютно негативное мнение о софте данной компании в целом (и о продукте в частности).

После статьи я попытался осознать — а как можно по подобным рекламным презентациям оценить, продукт действительно пользователям, или же он только помог менеджерам среднего звена получить очередной бонус?

Моё личное, не совсем культурное и к тому же эмоциональное мнение о продукции Service Now

Если описывать данное решение одним словом, то идеально подходит «дно». Если описывать двумя словами, то «полное дно».

В теории этот продукт должен помогать администрировать работу крупного предприятия (где менеджер из Индии может увидеть, что открылась заявка на поставку груза в Нигерии), однако я абсолютно не понимаю, как это возможно, если:

  • Технически продукт является убожеством:
    • В нем не поддерживается работа из разных вкладок (я напомню — сейчас 2018 год). Нельзя одновременно редактировать «тикет» в двух разных вкладках браузера
    • В нем не поддерживается подписка на определенные тикеты/задачи (или по-другому — сущности). То есть если вы создали заявку, то проверяйте статус каждый час. Еще раз напомню, что в маркетинговых брошюрах говорится об оптимизации предприятия.
    • Сайт работает настолько медленно, что в углу экрана сделан специальный виджет, который показывает, насколько долгий был отклик сервера, клиента (т.е. браузера). Зачем это пользователю? Еще раз убедиться в том, что отдел IT состоит из слабых разработчиков?
  • С точки зрения помощи бизнесу, с продуктом полный провал:
    • У пользователя нет возможности кастомизации и оптимизации под себя. Видимо, торговцы от Service Now считают, что они могут сделать динамическую форму удобную для всех сразу. Они ошибаются.
    • Продукт не поддерживает интеграции с (как это было сделано у salesforce). Т.е. нельзя вести переписку вне этого сайта, с автоматическим сохранением в систему, а значит море привычного общение переходит на непривычный сайт.
    • Нет даже приблизительных цен на продукт. На вас посмотрят, выставят цены, а при ближайшем обновлении лицензии вы заплатите намного больше. В реальности цены выдаются под NDA.

Единственное, чем я восхищаюсь — так это продавцами Service Now. Если бы у меня были эти ребята в команде, я бы не раздумывая открыл компанию в любом секторе экономики. Раз они продали Service Now, то они способны не просто впарить снег зимой, но и продать многолетнюю подписку на снег для арктических экспедиций.

Однако это всё эмоции, дальше только конструктив.

Чтобы заранее обозначить термины статьи, а заодно и сузить предметную область, термины лучше определить так:

  • Продукт — программа/сервис и т.д., которая помогает в работе специалистам (в теории или на практике). В статье не рассматриваются сервисы, которые навязываются государством. А также в статье не рассматриваются программы, которые позволяют избавиться от рабочих (как, например, замена банковских касс на банкоматы), так как в этом случае наиболее объективным фактором будут экономические показатели. Также в статье не рассматриваются вещи, которые помогают не специалистам на работе, а, например, человеку дома/вне работы.
  • Хороший продукт — продукт, который позволяет специалисту экономить время на рутинных задачах (например, врач сможет меньше заниматься рутинной писаниной, а больше тратить время на пациента)
  • Плохой продукт — антоним к хорошему продукту, то есть решение, на работу с которым специалист тратит больше времени, чем тратил ранее, при условии, что нагрузка на других рабочих компании тоже не уменьшилась (после введения продукта в эксплуатацию)
  • Продукт А лучше продукта Б — продукт А позволяет экономить больше времени на решении рутинных задач для специалистов, чем продукт Б.

Из терминов выше получаем следствие: если продукт экономит время специалисту, то последний сможет сделать больше товаров/услуг, что приведет к более высоким доходам (к сожалению, не факт, что к более высоким прибылям).

Сразу тезис: хороший продукт хвалят специалисты, которые с ним работают; плохой продукт будут хвалить люди, которые к нему даже не прикасались. Или другими словами — если нет никаких оснований считать продукт хорошим, то рекомендации будут от людей, которые вообще с продуктом не работали. Зачастую это те же самые люди, которые получили бонус за успешное внедрение сервиса.

Если вернуться к статье про великолепный Service Now, то можно увидеть, что хвалебные оды идут от «представителя медицинской компании Magellan Health» (если цитировать дословно). И продолжая пересказ: «сократило время административного труда, и врачи смогли сфокусироваться на своём основном предназначении». То есть вместо врачей приехал условный «представитель», который за врачей рассказал, как им стало хорошо.

История из жизни: в одной из старых страховых компаний РФ (к сожалению, не могу назвать имени, так как NDA и пр.) используется самописная система для учета полисов (плюс для автоматизации бизнес процессов). В большинстве случаев с этой системой работают страховые агенты (собственно, ради них она и разрабатывалась), однако есть ряд нюансов:

  • Страховые агенты люто ненавидят эту систему. Продукт мало того, что работает только на Windows, так еще и в самые часы пик любит кидаться ошибками вида «нет свободных лицензий», «Ошибка ORA-12345» и т.д.
  • Технологическое состояние системы настолько высокое, что:
    • Для её настройки требуется прописать несколько сертификатов в доверенные на своей ОС
    • Из-за того, что ряд операций проходит на терминальном сервере, система по-умолчанию не видит подключенный принтер (действительно, зачем страховому агенту что-то печатать?)
    • Система не умеет делать стандартные рутинные вещи, такие как масштабирование фотографий и т.д. Страховой агент должен уметь самостоятельно ужимать снимок до N Kb
  • Качество системы таково, что люди стараются работать с продуктом по-минимуму. В частности, как-то раз у брокера я спросил «Вы дали мне цены для шести страховых компаний. И можно еще для компании M?». И в ответ услышал, что настройка системы слишком сложна, так что брокер просто не работает с этой страховой компанией, если это возможно.
Читайте также:  Какие продукты должны быть в основе

Интересно, что в этой страховой компании системой гордилось только начальство, причем выше определенного уровня. То есть, систему хвалили строго те, которые с ней не работают.

Из этих заключений получаем вывод, что если продукт хвалит тот, кто с ним не работает, то качество этого «продукта» ниже плинтуса.

Кратко идея: если на продукт нет положительных отзывов от пользователей, то программа кишит недостатками, которые искусно замазываются. Или по-другому: если пользователи не хвалят продукт, то это верный признак того, что у продукта отсутствует feedback. А его зачастую нет там, где пользователи будут только зло отвечать в стиле «что за убожество вы сделали» и т.д. Отсюда и получаем: чтобы ограничить число негатива, заодно отрезаем и весь позитив.

Меня обычно злит фраза «жалоб нет». Ведь практически на любой сервис, товар, услугу можно найти жалобы, если хорошенько расспросить пользователей. Однако идея «жалоб нет» зачастую применяется в контексте, что «нет зарегистрированных жалоб», то у пользователя просто нет способа «оставлять жалобы». Разве будут разработчики хороших продуктов усложнять себе обратную связь? Нет, конечно, им это не выгодно. В отличии от разработчиков проблемных систем.

Продолжая пример про страховую компанию: в великолепной системе, которая позволяет агентам поменьше работать с клиентами, а побольше сидеть у компьютера, есть несколько способов обратной связи. И сделаны они просто идеально (как я считаю):

  • В самой системе можно «написать сообщение разработчикам», в котором в теории можно расписать все детали. Но вот беда: нельзя никак наблюдать за статусом сообщения, ведь оно отправляется словно в черную дыру. Кстати, жалоб на систему официально нет.
  • Можно написать письмо разработчикам, которое заканчивается ничем (даже если его прочитать).
  • И конечно же нет никакого официального баг трекера, никто не публикует информацию о релизах или о новых возможностях.

Как видно из примера выше, до разработчиков достучаться невероятно сложно. В итоге с одной стороны потеряна обратная связь, я с другой стороны — менеджер среднего звена может с радостью отчитаться: «жалоб нет, мы не косячим». Для сравнения, про эти продукты можно с легкостью пожаловаться: IntelliJ Idea, Artifactory.

Команды с продуктами низкого качества зачастую намеренно усложняют обратную связь с пользователями. Как минимум, это позволяет заниматься тем, что хочется отделу разработки, вместо того, чтобы помогать пользователю/бизнесу. Заодно, если за зарплаты и повышения отвечает тот, кто не работает с «продуктом», можно практически всегда подтасовать отзывы от пользователей.

Несмотря на кликбейтный заголовок, я распишу лишь пару техник, которые помогут в продаже плохого продукта. То есть такого, который в принципе не нравится пользователям (он им вредит и заставляет тратить больше времени на рутину, более того — он никак не помогает оптимизировать и структурировать работу).

  • Самое первое — никаких контактов с пользователями. Их не должно быть ни на презентациях, на при внедрении продукта (на всех стадиях: покупка и т.д.).
  • Второе — вы должны показать, что немало авторитетных людей из других компаний пользуются продуктом. Главное — это человек, а не прибыль. Если говорите про Apple — покажите фото Стива Джобса на фоне яблока.
  • И последнее — вы продаете продукт менеджерам, а не специалистам. Вы не должны помогать «простым рабочим». Делайте упор на «систематизацию» (не так много директоров знают, что там делают далекие подчиненные, а с вашей системой всё будет под контролем), «автоматизацию» (ведь в будущем можно будет сократить штат). И не надо забывать про тренды: вместо фразы линейная регрессия можно употребить Искусственный Интеллект или ML.

Как осуществлять внедрение:

  • Продажа: перво-наперво необходимо показать, что продуктом пользуются многие. У любого менеджера должна быть железная отмазка, что у всех всё работает (т.е. когда менеджер будет показывать отчет начальнику, в документе должно быть четко продемонстрировано, что «половина компаний из TOP-500 успешно внедрили у себя продукт», или же «30% быстрорастущих стартапов внедрили продукт» и т.д.). Это самый важный пункт продаж (кроме очевидных). Вы должны убрать информацию с цифр эффективности (если мы говорим про автоматизацию, то принципиально не должно быть никаких подсчетов того, на что сейчас тратится рабочее время, что мешает работать быстрее/лучше и т.д.). Никакой индивидуальности, никакого пристального анализа.
  • В начале внедрения необходимо найти отдел, который первым перейдет на вашу систему. В идеале, если он будет не шибко нагруженным (ему ведь не просто так не дают задач, верно?) и с людьми, которые замотивированы внедрить новое (им надо повторять почаще, что они инноваторы и т.д.). В идеале пообещать им премию за содействие (работает, что очевидно, не всегда). Важно: отдел, который первым будет пользоваться системой, не должен ни в коей мере быть заинтересован в критике системы. То есть мотиватором должно быть внедрение системы, а не качество работы или эффективность отдела.
  • После внедрения: всё общение с разработчиками должно быть строго через ваши каналы (естественно, они должны быть не самыми удобными, с долгой и тормознутой службой поддержки, которая советует сначала переустановить систему, прежде чем начнет изучать вопрос).

Надеюсь, эта статья поможет хорошим продуктам продвигаться на рынке. Я крайне надеюсь, что если вы участвуете в разработке продукта, то после прочтения статьи вы будете ближе к пользователям (а не к управляющим). В идеале, если вы сделаете опросник для пользователей (а лучше — периодический), где все поля будут необязательными, а как минимум половина — в стиле «если хотите добавить что-нибудь еще по пункту выше — напишите в этом текстовом поле».

Источник