001 Школа менеджемента — Как создавать полезные продукты Илья Воробьев

давайте знакомиться меня зовут илья я работаю индекс почте менеджер продукта сегодня хотел бы поговорить с вами о том как создавать полезные продукты которые нравятся пользователям наверное многие из вас бывали в ситуации когда вы потратили достаточно много усилий своего времени времени коллег но в итоге что то не получилось или получилось чем совсем не то на что вы рассчитывали или делали какой-то большой проект большой продукт в котором столько деталей что непонятно чего стоит начать чем не понятно что с этим всем делать начать лекция бы хотел наверно с личной истории того как я собственно дошел до такой жизни до продуктового менеджмента а первые два года своей трудовой деятельности я в принципе был наверно человек человеком больше про технологии администрировать сервера программировал в меня это в общем все очень увлекала и в какой-то момент я летом попал на стажировку microsoft после чего я там остался и занимался порталами скажем для инженеров msd нам тег на этом возможно кто-то из вас знает то можно документацию посмотреть ко всем продуктам sdk скачать индус скачать ну и так далее в какой-то момент мы подумали с коллегами муж такие классные такие умные microsoft и работы на данном свой проект сделать свой продукт свой facebook мы же самый луны вот придумали идею об считали ее получилось идея на миллион сделаем facebook сделаем новый индекс надо в общем увольняться и заниматься этим проектом вот следующее средство несколько месяцев мы все это обсуждали выбирали долго логотип выбирали долго название но все рыжая серьезные идея же просто бомбическое нужно чтобы логотип правильным был и чтобы это все масштабировал а сразу чтобы в облаке чтобы на миллионы человек соответственно это потребовало еще четыре месяца сложной разработки за это время мы успели много раз поругаться на тему того как как должна вот эта кнопка выглядеть какого цвета должна быть почему она здесь такая почему опять же логотип такой вот в общем в итоге спустя девять месяцев мы выпустили все это на рынок и нас ждал полный провал а помню какой то мы недалеко отсюда сидели на арбате и отмечали запуске или песчаными ну вот все еще две недели все можно будет уже выпила думай стал на новой машине очень прошли эти две недели мы поняли что все наши конверсии собственно все наши прогнозы ожиданий они все казались неправильными вся наша бизнес-модель просто убыточная и нерабочие средства находясь в такой ситуации полного морального истощения за все эти месяцы команды еще больше разругалась этим товарищ ну вообще не выдержал и мы решили что проект надо собственно закрывать и в тот момент я подумал а как же так получилось что вроде четыре хороших специалистов в разных областях в маркетинге финансовых в разработке не смогли сделать вроде бы понятный понятный продукт и ответ на этот у меня был такой что к сожалению продуктовый менеджмент это совсем другая дисциплина которая требует немного другого мышления других навыков которые у нас на тот момент отсутствовали этот момент я задал себе еще один вопрос а как же вот сделать правильно то как делать продукты так чтобы они людям нравились чтобы я ни оказался еще раз в ситуации что потратил 9 месяцев своего времени да еще и времени там друзей еще и поругавшись с ними и все в общем никак вот и последние наверно шесть лет я потратил на то чтобы понять как же это правильно делать поработав в разных компаниях вот и сегодня хотел бы вам рассказать свою версию как это нужно собственно правильно делать вот и первый наверное такой важной идеей является то что когда мы создавали этот сервис мы руководствовались личным опытом одного из членов команды мы думали что вот у него есть такая проблема у твоего друга есть проблема значит это проблема будет и у всех посчитали то мы зашли в интернет сколько стоит клики во дворце на такую рекламу посмотрели грубо говоря бизнес-моделью конкурентов в дубле ну наверное это все тоже к нам будет применимо ну и дальше все что я уже рассказывал что у нас классный бизнес модель надо это делать но в итоге всему этому последовал полный собственно крах почему так получилось ну потому что сожалению 99 процентов идей проектов они все целиться по причине того что мы оперируем неопределенностью неопределенностью будущем и опреде неопределенностью настоящему например до 19-го века люди упорно считали что лебеди бывает только белые но в начале 19-го века в районе австралии они нашли небольшое количество черных лебедей вот есть целая хорошая книжка про это то либо чёрный лебедь очень рекомендую почитать суть книжки заключается в том что когда мы пытаемся что-то описать построить какую-то модель формулу возможно тем кто учится на мат методах будет это частично знакома понятно то мы оперируем набором каких-то значений параметров которые нам на сегодняшний част известно но на самом деле это далеко не все миром бесконечные многогранный его измерить померить невозможно и вот кажется такие небольшие детали они вносят существенный вклад то есть та же самая ситуация в другое время с другими людьми будет иметь абсолютно другой исход вот его которая из этого можно собственно сделать мир это в принципе и будущее это большая неопределённость которую стоит подтвердить либо опровергнуть то есть нужно на ваши идеи смотреть с точки зрения гипотеза все что вы обсуждаете в команде каждого есть свое мнение каждое такое мнение это определенная гипотеза которую вы должны проверить какими-то экспериментами какими-то цифрами и пока вы это не сделаете вы создаете себе постоянно риск того что вы потратите много времени просто впустую и чем быстрее вы проверите свои основные ключевые убеждения тем будет лучше ответственно отсюда обычно возникает следующий вопрос а какие гипотезы то нужно тестировать мысли идеи достаточно многое кстати такой похожий вопрос уже видел в списке один из вариантов как то можно сделать есть модель для создания скажем фреймворк для создания бизнес-модели называется ленка нас есть еще другие варианты например и стиль вальтера но по сути они на самом деле про одно и тоже есть определенные блоки на которые стоит всегда отвечать скажем блоки ключевых вопросов вот давайте немножко поговорим о каждом блоке что это за блоки первый и наиболее важный блок это проблема всегда нужно начинать с проблемам зачем мы это делаем какие три ключевые проблемы пользователей мы хотим решить как эти проблемы пользователь решает сейчас это кстати очень хороший интересный момент посмотреть то как пользователи решают это сейчас было опять же вопрос а как понять что эта проблема важно если человек и сейчас решает значит она и можно если он и не решает значит на ему не важно это сколько он усилий готов потратить на решение этой проблемы может в принципе достаточно хорошо отражать степени важности вот что еще сюда относится какое количество людей этой проблемы обладают как час ну и так далее то есть это способ на самом деле измерить важности как-то приоритизировать то что у вас получится потому что скорее всего у вас будет там их 5 10 20 и вам нужно будет выбрать какие-то основные на которые вы сделаете упор вторая вещь которая всегда с ним связано это пользователи при каких пользователей эти проблемы актуальны какие сегменты пользователей имеют эти проблемы у кого из них они выражены больше у кого из них они выражены меньше всегда есть определенная какая-то специфика за ним следует следующий блок это решение почему это важно проверять например на базе почты вы знаете что каждый день пользователям приходит большое количество писем наверное многим из вас приходит большое количество писем и это реально раздражает это раздражает создает эффект помойке неприятных ощущений и вариантов как эту проблему можно решить достаточно много можно как-то попробовать поток писем разделить на разные категории на разные блоки можно пробовать важные и неважные письма как-то по-разному подсвечивать можно пытаться их как-то приоритизировать каждое такое решение но имеет свои плюсы и свои минусы одной группе пользователя но понятно другое на не понятно одно решение проще сделать другое решение сложнее сделать и ваше решение нужно будет тоже проверять на факт того насколько она в принципе понятно что за этим еще следует за этим следует такой очень важный блок он может показаться сначала неважным как конкурентное преимущество речь идет о чем в нашем современном мире многое можно найти на гитхабе в open source ее достаточно легко скопировать в китае вопрос заключается в том почему вы почему ваша команда почему вы это сделаете они агентство не другие какие-то люди ответы здесь могут быть разные например у вас есть какая-то уникальная технология уникальный патент у яндекса есть технологии для машинного обучения которые работают на несколько процентов лучше чем в open source и но эти несколько процентов дает очень существенно 1 что еще может быть это может быть команда если вы создаете какой-то уникальный продукт например опять же с тем же машинным обучением специалистов таких на рынке но очень очень мало их очень очень сложно найти и это безусловно плюс что еще может быть например у яндекса очень большая аудитория которую теоретически наверное можно было купить но если посчитать сколько это будет стоить то это будет просто нереальной задачей общем важно понять чем обладаете именно вы таким уникальным ваша идея почему ее не смогут быстро скопировать другие какие еще блок есть важны блоки связанные с каналами продвижения граждан и пользователя можно по-разному доставить свой месишь доставить свой продукт и про это тоже стоит подумать потому что они банально разное количество денег могут стоить связанные с деньгами вещи структуры расходов в структуру доходов на что вы хотите тратить деньги вы хотите их можно не деньгами ресурсами допустим да оперировать вы хотите их тратить на разработку на сервера на партнеров на чем вы будете зарабатывать у вас рекламная модель у вас подписанная модель у вас еще какая-то модель ваша уникальная которую вы придумаете завершающий блок в данном инструменте метрики какими метриками вы планируете измерять успех их достаточно хорошо привязать каждому блоку в этой съемки вот чем мне нравится эта история тем что вы можете на одном листе а4 на одном слайде достаточно получить понятную картину того что вы делаете обычно вот такая же история выглядит как презентация на 20 слайдов с красивыми картинками но это гораздо более понятная вещь которую можно прочитать за 2 минуты допустим вы построили свою прекрасную бизнес-модель новую картину мира используя linkin с того что вы хотите сделать что же с этим всем делать дальше как мы уже с вами говорили многие наши идеи и в том числе вот этот самый canvas они являются набором гипотез которые стоят протестировать в ростом а как их лучше и правильнее протестировать есть очень хороший примеров книжки джеффа сазерленда одного из скажем идеологов основателей скрама проекта sentinels его делали в 2000 года кажется с 2005 по 2012 скажем очень популярный кейс в современном мире в чем заключается собственно сама история проект был направлен на то чтобы разработать новую систему учета для фбр перевести все что у них есть сейчас бумажном виде в цифровой вид и грубо говоря предотвратить новое единственное сентября они проектом занимались семь лет потратили 500 миллионов долларов если не ошибаюсь там 400 или 500 человек над этим всем работала и по оценке специалистов на тот момент им нужно было еще четыре года еще столько же денег и не факт что в общем все закончится и в тот момент они подумали а почему вот нам не попробовать скрам и решили это сделать в итоге 2010 году они начали этим заниматься и за 18 месяцев они закончили то что до этого не могли сделать 18 месяцев гораздо меньше естественно команды почему так получил в чем была собственно причина ошибки причина ошибки была в том что они фиксировали требования на долгий период а чем дальше вы уходите в разработке тем вам дороже становится цена ошибки потому что все это как пирамидка складывается все больше больше больше групп горя зависимости у проекта и чем позже вы покажете пользователем заказчиком то что вы сделаете чем позже вы получите обратно систем высшего собственно будет риск и таким же способом можно руководствоваться когда вы работаете над своими идеями гипотезами которые могут быть скажем бумажным каким-то прототипом а еще не реальной разработкой вот и начинать нужно с наиболее рискованных частей наиболее рискованными частями всегда является проблемой решения в большинстве случаев вот из всех компаний что я работал вот это никто не делает всегда есть мега идея уже т.д. и начинается разработка при этом никто не знает зачем это делается почему это делается есть определенного рода убеждения которые никто никогда не проверял начинайте всегда с проблему зачем вы это делаете для каких пользователей действительно ли эти проблемы правдивы кто-нибудь сходил с этими пообщался спросил у них про эти вещи или это где-то просто услышали или увидели что за этим идет за этим идут такие вещи как каналы продвижения как монетизация они безусловно тоже важны но они больше относится к этапу скажем оптимизации в первую очередь вам нужно создать продукт придумать найти найти проблему для пользователей понять насколько она важна и подобрать правильное решение после этого начинается уже больше вопрос оптимизации какие каналы нужно выбрать чтобы больше денег зарабатывать чтобы больше пользователей привлекать ну и как будет выглядеть за монетизация структура расходов доходов и так далее вот что еще важно отметить говоря о приоритетах это первые пользователи есть одна концепция она достаточно жизненная понятная много раз проверял на собственном опыте многие компании используют эти книжкой называется div южан of innovations and роджерс в ней а есть такая кривая называется технология давшим корж или кривая того как технологии скажем усваиваются пользователями речь собственно о чем речь о том что разные люди по-разному относятся к чему-то новому какие-то люди готовы сразу пользовать пользоваться тем что вы сделали какие-то люди достаточно консервативны и буду до последнего тянуть ждать когда вот все будет значить прекрасное хорошая вот соответственно я бы хотел поговорить про три наверное основные группы которые есть в этой кривой видите здесь здесь их больше на самом деле можно поговорить про три потому что остальные можно просто захлопнуть они же мне не особо большим интересом для нас сейчас является лишь первая группа это какая это инноваторы это те люди которые готовы стоять в очереди это те люди которые покупают гугл гласс это те люди которые пользуют тестовой сборки винды за 2 года до ее выхода и интерес у них скорее больше идейные это фанаты того что вы делаете они готовы вам предоставлять очень подробный фид бэк очень полезный негативный позитивный множество идей которые можете реализовать но интересах я уже говорил подчеркиваю он не рациональный а больше идейной у них похожие ценности похожие взгляды на мир и ему интересно пользоваться тем что вы им предлагаете вот наиболее важная группа это первые потребители это те люди которые похожи на инноваторов но у них уже есть вполне себе понятно и применение что это за такие люди или компании ну многие из вас я как уже понял смотрели силиконовую долину последний сезон средства там есть вот такой товарищ melcher и он работает в страховой компании и они всячески и экономит на всем чем попало пытаются сократить издержки и когда к нему приходит ричард и говорит а вот у меня есть для тебя супертехнологии по компрессии данных которые сократит тебе 30 процентов бюджета он естественно заинтересован это люди либо компании для которых решение этой проблемы является настолько важным что без этого решения не просто не выживут или не смогут продолжать также эффективно работать и эта аудитория наиболее важно для нас потому что мы можем уже с неё что-то заработать либо получить какую-то реальную пользу при этом они достаточно лояльны чтобы рисковать и чтобы пробовать что-то новое опять же когда вы захотите продвигаться дальше на массовый рынок массовый рынок он как правило требовательнее к отзывам каким-то интеграциям и во всем этом вам могут помочь 1 пользователь они сделали вас правильный фидбэк они помогут доработать нужно интеграции и в первую очередь нужно фокусироваться у них но соответственно про массовый рынок я думаю понятно это достаточно консервативны и товарищи которые поедут к вам в последнюю очередь еще можно внутри на три группу разделить но условно для нас они скажем на втором плане стоят говоря о движении вперед наборе аудитория стоит уделить внимание двигателем роста тому за счет чего вы собственно будете расти сейчас на мой взгляд есть наверно три ключевые двигатели роста которые описаны во многих книжках блин стартапе описаны похоже я насколько помню идеи значит что это за двигатель 1 9 лета возвращаем асти это продукты достаточно долго играющий например такие как почта которых вы стремитесь пользователя удерживать либо возвращать как можно дольше математика здесь получается такая вы стремитесь сделать такую модель чтобы каждый месяц у вас база на какой-то небольшой процентик на небольшое количество людей прирастала и формула такая что вы смотрите сколько людей у вас было в прошлом месяце сколько из них у вас осталось в этом месяце естественно если это вычесть можно понять сколько из них отвалилась и вот количество новых пользователей вас должно быть больше чем количество от валишься тогда с вами у вас будет получаться так что от месяца к месяцу вы растете как то можно сделать ну нужно каким-то образом поддерживать постоянный интерес постоянную вовлеченности в продуктом занята репуш и отправляет человеку или если вы можете как-то предсказать что скоро он будет уходить нам что-то ему предложить заминировать чтобы он оставался с вами второй двигатель роста это виральность характерно для большинства социальных сетей facebook instagram вконтакте за счет чего они растут они растут за счет того что каждый их активный пользователь приводит больше одного друга за счет этого образуется сетевой he средстве на ключ здесь успеху подход такое что вам нужно мотивировать людей приглашать своих друзей и знакомых коллег к используем вашим продуктом на самом деле этим пользуется не только социальные сети друг бокс яндекс диска не например предлагают вам некое место за то что вы позовете своего друга вот третий двигатель роста это маржинальности идея тут в чем есть достаточно много продуктов например интернет-магазинов у которых пользователи возвращаются достаточно редко но если они делают что-то например 1 год или два раза в год и фактически в этих людей каждый раз покупаете в платных каналах платя за них определенную денежку соответственно чтобы цифр у вас сходились вам нужно с каждой такой транзакции зарабатывать больше чем вы тратите естественно если вы такую ситуацию сможете построить что ключ к успеху стройте эффективные каналов и вкладываете в них собственно деньги завершающей блок в lingq анусе которые с вами обсуждали это метрики продуктовые метрики в принципе это способ понять делаете ли вы хорошие вещи в жизни в продукте с точки зрения пользователя с точки зрения бизнеса как вот говорил один из светил современного менеджмента трекеры если ты не можешь измерить то ты собственно не можешь управлять поэтому метрики это большие ваши друзья и сейчас есть достаточно два простых полезных framework of с которых можно начать первый framework р-р его придумал не сказал что он придумал популяризировал наверное все таки да их макклюр товарищ который лес одним из основателей акселератора 500 стартапов игру к гуру силиконовой долины его идея заключается в том что вы ваш продукт можете представить в виде воронки сверху который вы наливаете трафик и каким-то образом с какой-то эффективностью его конвертируйте в полезные вещи для вашего продукта соответственно сверху у вас находится привлечение количество трафика также этот трафик можно там по фильтровать от мусорного какого-то робот нова грубо говоря по bounce rate а второй этап воронки это адоб шин либо активы шин извините эти высшим когда вы склоняете пользователи какому-то целевому действию это в принципе зависит от вашего продукта это может быть подписка на рассылку может быть регистрация в почте или это может быть на самом деле даже выживаемость через неделю после регистрации потому что у нас например многие пользователи они перестают пользоваться продуктом через неделю это важно отдельный медь естественно после того как мы его привели в состоянии полезного действия мы хотим это полезное действие чтобы он приходил к нам и повторял будешь нам не знаю подписка например на музыке продлевал и там что-то искал в поиске пользовался почты вот и тут вы начинаете уже мерить ритой шин насколько эффективно в этих людей удерживайте как много людей из прошлого периода в текущем периоде у вас совершили полезные действия как померить тире темп это такой скажем вопрос не совсем простой но обычно его мере этот месяца к месяцу можно мерить и по-другому можно про это отдельно потом поговорить также в некоторых продуктах важны такие блоги как реферальной суды или на прошлом слайде кажется позапрошлом слайде просить его эффект естественно здесь вам тоже здорово померить ну и естественно доходы в доходах могут быть метрики такие как доход на пользователи в период и соответственно зная то насколько вы эффективно удерживаете пользователи вы можете понять а сколько в среднем пользователь то пользуется вашим сервисом приложением продуктом допустим пользоваться 9 месяцев умножаете 9 месяцев на доход месяца вы можете естественно посчитать сколько вы с него грубо говоря условно заработаете за весь период с помощью этого вы опять же сможете понять сколько вы можете реально тратить на продвижение на рекламу свой продукт 2 очень хороший форвард его придумали в google называется hard используется в gmail частично мы его тоже используем он хорошо подходит для долгоиграющих продуктов типа почты с каких блоков он состоит первый блок happiness или то насколько пользователи счастливы от использования вашего продукта это скорее больше качественная метрика чем количественной почему качественную ну потому что она достаточно грязно и волатильна и получится если вы будете сравнивать версии к версии или миска месяца то точности и изменения будет достаточно низко чем идет речь многие из вас наверное бронировали себе отель на booking.com и после бронирования вас обычно спрашивают а насколько вы довольны тем что сейчас случилось вот это хороший пример такой истории или еще хороший пример вы скачали приложение в appstore в google play и через три дня вас просили нравится вам приложение или нет поставьте от единички до 5 вот второй блок гелем или увлечение насколько хорошо вы вовлекаете пользу например как часто он пользуется тем что вы предлагаете сколько какое количество сессии он делает допустим в неделю в почте третий блок отдавшим на русский сложновато переводится на друга и усвоение насколько хорошо осваивается пользователями новый продукт либо новый функционал например мы захотели же не захотели уже сделали редизайн в почте делая редизайн мы хотим понять насколько пользователям нравится при этом мы даем им возможность откатиться до старого дизайна соответственно мы можем измерить какое количество людей у нас откатилась до старой версии это будет для нас полезным сигналом и с этими людьми мы можем еще отдельно паровоз следующий блок ретенция про него мы говорили средства мы пытаемся помирить насколько хорошо мы удерживаем пользователи от периода к периоду и мой любимый блок завершающие тоска секс с о чем речь в каждом продукте как мы с вами говорили есть ключевые проблемы и ключевые решения которые вы предлагаете ключевые сценарии так вот мы хотим понять насколько наши ключевые сценарии хорошо работает насколько хорошо мы сделали свою работу вот например в почте один из ключевых сценариев это поиск и для поиска мы хотим померить качество качество поиска можно например измерить средней позиции клика немного поясню что это такое вы заходите и войти в поисковую строчку что-то после этого видите результат результаты себя представляет список средстве на в этом списке каждый результат имеет определенную позицию 1 2 3 4 5 соответственно можно посчитать групп грязно день какая была средняя позиция первого клика у каждой поисковой сессии средства если она очень низкая это говорит о том что что-то не то с вашим поиском как-то он не так ранжирует и интересные результаты спихивают куда-то вниз вот и каждый такой ключевой сценарий в продукте стоит соответственно вам измерять какими-то специфичными для него метриками мы тут вроде что-то много про стартапы про новые про новые говорим на самом деле продукта бывают не только новые продукты бывают вполне себе зрелая естественно жизненный цикл продукта он состоит из каких блоков этап разработки когда вы что-то делаете в гараже общаетесь с пользователями на улицы пытайтесь понять и какие все-таки проблему решаете насколько они правильные какое решение вы все-таки для не сделаете после этого вы запускаете свой продукт переходите жим на стадию оптимизации когда пытаетесь выбрать правильные каналы продвижения структуру доходов и расходов и когда все становится достаточно хорошо вы можете взять побольше денег у инвестора либо может компания побольше денег выделить на рекламу когда у вас уже понятны и схему работы вы просто увеличиваете свой продукт наполняете его новыми пользователями новыми потребителями вот и в какой-то момент вы приходите в точку насыщение слишком зрелости в которые продукты могут находиться годами или десятилетиями в почту например поиск достаточно зрелы и продукты средстве на дальше что может с продуктами происходить они обычно эволюционируют либо они естественно отмирают эволюционируя они подстраиваются под какую-то новую конъюнктуру рынка одно устройство под новые проблемы под новые запросы вот ну то есть какие тут могут быть например примеры если рассматривать и функции g data есть товары стандартного потребления для них классическая ситуация такая что проходит 5 10 лет вы товар остается таким же этикетка меняется происходит почему потому что сам бренд и название на полке она приедается человеку и нужно что-то обновить придумать какую-то фишку но по сути продукт как был 20 30 лет пасты так он собственно и остался с небольшими как бы игрушечками какой может быть еще вариант например контент надо компании disney каждый там год они выпускают новый фильм и у них есть такое понятие как франшизы или бренд скажем набор персонажи какая-то история которой они продвигают номер пираты карибского моря они запускают пираты карибского моря начинается продаже игрушек моих всякой вот всячины вот эта всякая всячина она продается год-два-три а потом все это начинает затухать они все это мере этого нам надо запустить новое кино привлечь новые интересы людей чтобы они снова покупали вот в принципе это может вот это краб случае технологических продуктов все очень сильно зависит от продукта поиск сейчас движется сильно в сторону помощников и так далее вот то есть если заканчивать про блог про как сформировать идею продукта как работать с гипотезами то стоит помнить его в следующих вещах что многое в том что мы думаем о том что мы считаем сейчас на самом деле не более чем гипотез то есть кажется на самом деле ерунда но когда вот эта мысль она дойдет до подковок вы даже в своей команде начните по-другому общаться вы будет думать а вот этот товарищ мне там что-то говорит что вот у него там другая идея она правильно так но вот ну допустим на самом деле же он может быть прав у меня же нет никаких чисел которые подтверждают что это действительно так ну давайте проверим а почему бы нет и часто проверить намного проще и лучше чем сидеть и ругаться плюс это намного более эффективно с точки зрения коммуникаций это и доверие в команде будет лучший и подход потом работе будет более правильно 2 вещи нужно как-то структурировать свою мысль и структурировать свои идеи задать правильные вопросы как вариант можно использовать лин кинула с его используем достаточно многие компании думаю практически все стартапы точно используют вот есть другие инструменты но по сути они очень похоже на то что здесь как бы нарисован есть design sprint google ventures придумано то же самое про старость они растягивают все это на там неделю грубо говоря или есть там бизнес-модели ost револьвера примерно тоже все самое только наверно больше заточенная под enterprise на вещи с моей точки зрения вот подумав про это всё стоит вспомнить про первых потребителей на которых вы сможете все это протестировать продвинуть и так далее но если вы не можете все это померить если вы не понимаете в каких координатах вы живете если у вас нету кампуса ту понять делаете ли вы правильно или неправильно ну достаточно грубо говоря сложно поэтому используйте метрики возвращаясь к моему эпичному файлу со стартапом важная мысль которую мы сегодня обсудили усвоили что многое является неопределенностью все наши идеи весь наш canvas все это гипотезы которые стоит проверить опровергнуть либо доказать что они правдивы как говорил великий физик недавно современности основателей квантовой электродинамики что наука в целом это скажем организованный скептицизм в достоверности экспертного мнения спешно вот как как же нам быть достаточно скептичными к своей идее к своим мыслям по своему концу как могу понять что мы правильно и что-то придумали неправильно какими инструментами можем здесь пользоваться на мой взгляд сегодня есть три группы инструментов которые вам помогут обычно они используются вдруг за другом все зависит от ситуации первый блок с которого вы обычно можете начать это сделать какой-то предварительный анализ если у вас существующий продукт у вас наверняка уже есть какие-нибудь логе от метрика еще что-то и по ней вы можете посмотреть а что же происходит чаще всего половина идей сразу же уйдет в никуда вот на этом этапе за пять минут за 10 минут откройте метрику а что вот из этого важнее и все все сразу абсолютно очевидно и понятно какие есть инструмент еще есть инструменты такие как качественные исследования или интервью с пользователями в яндексе мы обычно их проводим вот здесь в соседнем корпусе это специальная переговорная специальная комната в которую мы приглашаем людей которые пользуются нашими продуктами и начинаем спрашивать а вот расскажите пожалуйста вот про с ситуации вспомните про ситуацию когда вы последний раз что-то делали и начинаю вот копать чтобы разобраться какие же проблемы есть а почему они происходят как сейчас их люди решают вот так же здесь можно на самом деле уже и попробовать протестировать какое-то предварительное решение если у вас она есть например достаточно дешево можно в фотошопе либо скетчи нарисовать какой-то прототип сделать его угли кабельного выдвижение дать покликать человеку достаточно дешевы просто да забыл сказать естественно в чем еще разница каждый из этих методов он обладает определенной степенью точности и определенной трудозатрат ностью соответственно первый блок предварительный анализ это самый дешевый способ который можно сделать максимум за два дня часто даже самостоятельно но как правило он не дает всем нам нужных ответов а второй вариант с качественными исследованиями занимает чуть больше времени от нескольких дней до 2 недель позволяет вам больше понять но ограничение здесь обычно 10-20 человек вы не сможете ходить по прошивать тысячи людей на самом деле это будет не очень вам нужно вот третий блок обычно когда мы поняли уже проблему мы что-то разрабатываем мы хотим померить ваши результаты на более большом масштабе так сказать провести количественные исследования или обычно называют об и тестированием в чем его преимущество в том что вы можете свою идею же проверить не на 20 людях а посмотреть ее на каком-то проценте вашей аудитории на 1000 человек на 10 тысяч человек и самое главное вы их ещё можете как-то численно друг с другом сравнить не качественно эмоционально на свой взгляд из интервью уже прям чисел и какие то получить от соответственно как я уже сказал обычно их используют друг за другом но не стоит доходить до маразма если вы хотите протестировать идею новых баннеров в которых вы меняете цвет или текст то не стоит ходить на качественные исследования вы можете за два дня собрать новый баннер выкатить его процент и понять что же действительно происходит вот можно рассмотреть например такую примерчик как это все может в конечно работа ну например вы знаете что вам приходит много писем каждый день сыпется на голову вас то ужасно раздражает бесит и вы хотите как-то людям тоже помочь вот вы можете начать предварительного анализа ну например это реальный пример из нашей системы можете написать скрипт блогом и посмотреть а что же люди делают и например согласно таким исследований у вас может получиться что достаточно большое количество людей получают письма от одного и того же отправителя рассыльщика но они не открывают регулярно при этом иногда они пытаются зайти в письмо учета в подвальчике покликать но почему-то ничего там не происходит и все равно не это все получают вот и начинаешь думать о что-то здесь наверное еще чего-то здесь не хватает и картина нашего мира она не пол это на самом деле достаточно типовая ситуация потому что данные вам никогда не назовут все ответов и будет очень много вариантов того как вы их можете интерпретировать и здесь на помощь нам приходят качественное исследование интервью пользователи мы можем взять этих прекрасных людей которых мы нашли в логе с такой проблемой и позвать в офис и спросить расскажите нам пожалуйста про ситуацию когда вы в последний раз сделали вот это и оказывается что многие рассыльщики негодяи при отписки просит тебя логин и пароль которые ты уже не помнишь или некоторые умельцы вроде тебя отписали вроде нет там есть какая-то формочка с e-mail его ещё кнопка закончить что то сделать здесь лежишь такая уже отписался или или нет или еще что-то надо сделать ты вроде клик и что опять начинаешь получать есть какая-то фигня там же вы узнаете что люди с этим много раз сталкиваются разочаровываются в этом функционале полностью и потом никто в подвальчик даже кликать на отписку не хочет ада есть еще негодяи который в подвале отписка мне делают мы стараемся бани через такие вещи но тем не менее такие тоже господа могут присутствовать соответственно с вами мы поняли проблему что есть пользователи которые страдают от неправильный одписки да неправильные некачественные отписки от всякого ненужного хлама и как мы уже с вами говорили чем быстрее мы проверим свою гипотезу проблемы и гипотезу решение тем будет лучше естественно гипотеза проблемы проверили на качестве ниги поняли что действительно проблема есть она важна и почти все пожаловались там еще эмоции проявляют такие что общему было понятно что фишка пойдет вот дальше вы пытаетесь понять о чём мы можем такого сделать максимально дешево для проверки предложенного решения то есть мы не хотим уходить на долгого разработка а мы хотим сделать что-то быстренько минимальное ценное что при этом будет решать задачу пальца например в нашем случае мы сделали в списке списке в списке действий с письмами мы сделали кнопку подписки которая позволяет подключить соответственно все же ссылочные письма от от данного отправителя вот разработав такое решение вы уже можете его потестировать в продакшене на каком-то проценте сожалению эта история была достаточно давно и по ряду причин например индией не могу поделиться цифрами поэтому привел в качестве примера вот такую картинку собственно в чем суть суть в том что у вас есть определенный набор метрик они могут быть специфичными для продукта либо они могут быть специфичными для какой-то конкретной фичи дальше у вас есть контрольная группа так называемая группа в которой происходит все что у вас происходило раньше то есть тот же самый функционала которую возлу есть группа п экспериментальная группа в которой вы хотите что-то новое попробовать обычно эти группы выбирают разного атф одинакового размера чтобы не получилось каких-то дополнительных сюрпризов соответственно имея посчитанные метрики для этих двух групп вы можете посчитать разницу вот посчитав разницу важно понять а это разница случилось из реальной разницы и вот просто какое-то чудо пришло и чудесным случайным образом нарисовалась такая цифра вот и в такой ситуации нам достаточно хорошо помогает стандартный математический статистический аппарат и мы попытаемся посчитать какая живота этой разнице статистическая значимость но мы в яндексе обычно используем три девятки то есть 99 и 9 процентов потому что нас много трафика у вас может трафика быть меньше можно пробовать что-то попроще 95 процентов 90 процент собственно здесь как раз вот эта колонка павильона отражает ту статичную статистическую значимость которую мы имеем соответственно статистическая значимость 01 говорит о том что это достоверно для 90 процентов статистическая значимость 0 0 21 пылью и о том что это уж им больше чем 99 и 9 поэтому зелененькое этого можно доверять ну естественно желтенькое мы считаем 99 и 595 про страшный для нас недостаточно здорово вот допустим если все это вместе совместить с тем о чем мы говорили с вами до этого о том как можно формировать идея о том как их можно тестировать то все вместе это может выглядеть например следующим образом у вас есть определенная идея которую вы можете описать виде конец за час за два часа вместе с друзьями с коллегами с которыми вы это собираетесь делать ну например вы будете делать свой проект курсовой вы соберетесь команды но бросаете такую табличку дальше к этой табличке вы начнете задавать вопросы исходя из их важности а какие вещи мы считаем наиболее рискованными какие вопросы мы должны задать к этим утверждением где мы на них можем получить ответы например вы поймете что вам нужно пойти и пообщаться с десятью пользователями вы можете их найти на улице или позвонить там друзьям написать в фейсбуке друзьям немного с ними пообщаться есть пригласить их пообщаться пообщаться и понять что же действительно из этого правда что из этого не правда вот после этого вы можете таким же образом протестировать самого решение и собирать уже какой-то прототип чик первую версию своего продукта который вы будете уже тестировать количество но я насколько понимаю в рамках школы мы количество ничего не будем тестировать но тем не менее это здорово сделать вот закончить лекция бы хотела мои любимые цитаты стива джобса когда мы растем нас учит что мир вокруг он вот такой какой он есть и не нужно сильно раскачивать лодку и жить собственно в тех рамках которые есть и пытаться там хорошо учиться хорошо делать свою работу зарабатывать деньги не хорошую семью но на самом деле может найти такой идеи что все это достаточно ограниченная жизнь когда вы поймете что все что сделано вокруг это все сделано людьми и далеко все эти прекрасные решения не лучше того чтобы вы могли придумать и все эти люди не умнее как бы вас и вы можете создать что-то собственно свое вы можете нажать в жизни что то с одной стороны и с другой стороны что то произойдет другое полезное и ваши собственные идеи будут пользоваться миллион других естественно людей вот и теперь вы знаете как можно это все сделать спасибо у нас есть ряд вопросов с локо конце можно будет еще любой давайте тогда зачитаю попытаюсь на них ответить 1 просто как готовиться к интервью чтобы не превратить его в допрос по листочку составляете были список обязательных вопросов или просто верха уровне вы определяете тема которая хотите затронуть в разговоре но обычно действительно листочки с с вопросами никто не составляет потому что реальные интервью но для каждого человека происходит по-разному обычно рисуют так называемую карту того что мы хотим спросить какие то основные ключевые темы ключевые вопрос а все остальное но происходит достаточно спонтанно и тот результат который хотите получить вы хотите вывести человека в какую-то реальную ситуацию которая у него была и как можно глубже погрузиться в этот опыт чтобы он сам все рассказал не подталкивать его не вытаскивать из него все ключами потому что вы фактически на говорите сами себе свои же ответы интересно вывести его на ситуацию чтобы он сам поговорю про это поэтому нет списка вопросов для допроса у нас конечно же нету есть определенного рода карта связанные же с ним вопрос был как работать с респондентами которые на интервью говорят начали одно потом сами себе противоречат но действительно ситуация достаточно типовая мы проводим интервью не только в офисе мы проводим интервью в других городах в других городах нам приводят средства на панели став агентства и часто эти агентства халтурит приводит друзей каких-нибудь своих или тех кто там пришли там не знаю поесть или что-то очень поделать не то что нам нужно или они не пользуются на самом деле нашим продуктом как правило есть какие-то контрольные вопросы или контрольные действия которые вы делаете в самом начале что понять что это правильные люди наиболее к кажется с моей точки зрения правильный подход у нас миллионы пользователей у нас множество логов мы по этим логом можем понять каких людей мы хотим пригласить и позвать это реальные пользователи которых мы проверили данные ст если это какие-то неизвестные нам люди то сказал вы должны задать какие-то проверочные вопросы или сделать какие-то проверочные действия ну например попросить его там зайти в свою почту естественно вы спрашиваете у человека разрешения и заранее ему говорят что его могут попросить что-нибудь показать и если у него там какая-то ерунда полная то понятно что этому человеку можно не особо доверять вот он не знает пустой ящик например или вы открываете его историю в браузере и понимаете что там много горя . ерунда происходит какие у нас еще были вопросы как выявить важность решение проблемы у пользователей мне кажется мы уже частично про это поговорили хорошим кажется индикатором является то что человек эту проблему решает и насколько много усилий для решения этой проблемы он проявляет собственно тему важнее на для него и является нам не интересно решать проблемы делает которые особо не важны человек вы делая продукты и витаминки потому что на них мы ничего не сможем не заработать ничего полезного не сможем сделать если не ответил на вопрос потом будет возможность спросите еще раз перед переспросите в чем конкретно так и мы были еще вопрос при создании продукта есть три роли продакт-менеджер который придумывает продукт проджект менеджер который организует команду и аналитик который пишет и за как вы считаете это должен быть один человек или два три разных человека почему зависит ли это от специфики проекта если да то как но у меня опять же есть мое личное мнение а то как это у нас работает в команде в яндексе вообще много команд в каждой команде какая-то своя практика я бы наверное сказал тут важно думать и в результате есть хорошая книжка по менеджменту классическое и написалось основатель intel а х вот тут менеджмент идея заключается в том что вы как менеджеры должны создавать дополнительную ценность и вам нужно понять как в эту дополнительную ценность будете создавать то есть в каждый момент времени у вас есть какая-то команда какие-то ресурсы с помощью которой вы достигаете результата у вас никогда не будет идеальной ситуации с идеальными людьми вам нужно на текущей конфигурации получить максимальный результат соответственно все зависит от конкретного кейс если вы понимаете что у вас много там операционной работы там много разработки и вам нужно отдельно проджект менеджер прекрасно нанимаете проджект менеджер если вы понимаете что у вас самая слабая часть сейчас в продукте какие-то качественные идея гипотеза вам нужно больше просит продакт-менеджер если вы делаете много аналитики и у вас не все умеют сами программировать делать какие-то отчеты но вероятно вам нужен будет аналитик все зависит от конкретного продукта от конкретной конфигурации но я бы наверное сказал что сейчас в целом есть определенный тренд что все эти скилы стараются объединить под одного человека но опять же я бы про это рассуждал с точки зрения выхлопа с точки зрения того как получить максимум пользы и мы были еще вопросы а вот очень такой скажем каверзный вопрос вопрос к утверждению главное уметь общаться со специалистом дизайне разработчика что вы думаете по поводу идей о том что чтобы тебя уважали нужно разбираться сфере и быть авторитетом может быть есть какие нибудь приемы хаки как не будучи специалистом можно создать менеджерский авторитет но опять же у меня есть свое мнение и как мне кажется у предыдущий пример она очень схож с ответом на этот вопрос вам нужно каким-то образом формировать пользу ценность для команды каким конкретно скиллом вы будете это делать зависит от конкретной ситуации и от вас безусловно это мои уже мнение вы должны быть экспертом в чем-то вы можете быть экспертом в коммуникации как правило не все люди могут друг друга объяснить что-то вы можете быть экспертом в урегулировании конфликтов или вы можете быть экспертом в дизайне в разработке в чем-то одном вы должны быть экспертом что будет создавать дополнительную ценность для команды либо знаю организатором от бога таким что все готовы идти вперед на баррикады и завоевывать мир спасибо [аплодисменты]

Loading