Экспериментирование — это точное планирование и разработка, обеспечивающие предотвращение ошибочных выводов данных.
Согласно с Гарвардский бизнес-обзор, более половины американцев полагаются на свою интуицию, чтобы решить, во что верить, даже когда они сталкиваются с доказательствами, говорящими об обратном. Честно говоря, я тоже, но только когда выбор стоит между шоколадным и ванильным мороженым.
Хотя интуиция является вспомогательным инструментом, может быть нецелесообразно основывать все наши решения на простых ощущениях. Хотя интуиция может подсказать, как начать двигаться по определенному пути, только путем экспериментов можно проверить различные решения, проверить, оценить и, в конечном итоге, выбрать правильное.
Вы когда-нибудь задумывались, почему OTT-платформы имеют такой отличный опыт потоковой передачи? Вы, наверное, заметили, что избранное шоу на главной странице OTT, кажется, меняется всякий раз, когда вы входите в систему. Все это является частью их стратегии по проверке нескольких гипотез и концепций на своих клиентах.
Основная идея гипотезы состоит в том, что не существует предопределенного исхода. Организации планируют эксперимент с контрольной группой и одной или несколькими экспериментальными группами. В то время как каждая из экспериментальных групп получает различное лечение, контрольная группа получает тот же опыт, что и все другие пользователи, не включенные в тест. По мере того, как мы углубляемся в эту область, следующая структура представляет собой скромную попытку объяснить целостную концепцию экспериментального дизайна и его различных приложений.
Допустим, вы едете из Ченнаи в Бангалор. Внезапно вы замечаете, что ваш автомобиль издает скрипящий звук во время движения. Итак, вы останавливаете машину, обходите машину сзади и прислушиваетесь, откуда именно исходит звук. Вы замечаете, что этот звук исходит от двигателя, поэтому вы открываете капот автомобиля и видите, что одна из его частей шевелится. Вы пытаетесь исправить эту проблему и понимаете, что, когда вы держите эту часть на месте, скрип прекращается, а когда вы ее отпускаете, скрип продолжается. Вы повторяете это действие и заключаете, что шевелящаяся часть действительно является причиной этого скрипа. Вы подтягиваете эту часть, и скрип прекращается.
Попробуем описать то, что только что произошло, в экспериментальных терминах. Сначала вы заметили пищащий звук, а затем описали его, указав точное местоположение. Затем вы предположили, что покачивание может быть связано с этим звуком. Вы проверили свою гипотезу, удерживая эту часть и наблюдая, прекратился ли звук. Вы повторили тест и сравнили условия отсутствия шевеления и шевеления. На языке аналитики данных эти условия можно назватьУхода такжеКонтрольнастройки. Наконец, вы пришли к выводу, что шевелящаяся часть вызывает шум. Вы материализовали вывод, затянув деталь, чтобы она не шевелилась.
Экспериментирование по своей сути связано с точным планированием и дизайном, чтобы гарантировать изучение соответствующих данных и предотвращение ошибочных выводов. В количественном отношении результаты экспериментов должны быть статистически значимыми. Статистическая значимость указывает на то, что результат или метрика, оцениваемые в ходе теста, вряд ли будут случайными. Вместо этого это приписывается конкретной причине.
Когда мы проводим эксперимент или анализируем его данные, он обычно основывается на выборке, потому что собирать данные от всего населения сложно и дорого. Затем по выборке делаются выводы о генеральной совокупности. Статистическая значимость помогает определить, обусловлен ли результат каким-либо интересующим фактором или нет. Идея состоит в том, чтобы убедиться, что мы уверены в этих выводах. Прозрения должны быть реальными, и не должно быть так, что нам просто повезло выбрать благоприятный образец.
Несоответствие в основной совокупности играет ключевую роль в понимании того, будет ли случайно выбранная выборка сильно отличаться от общей совокупности. Другими словами, изменчивость населения действительно имеет повышенную вероятность возникновения ошибок выборки. Эффект изменчивости внутри конкретной совокупности можно уменьшить, увеличив размер выборки, чтобы сделать ее более репрезентативной. При больших размерах выборки у нас меньше шансов получить результаты, отражающие случайность. Подумайте о том, чтобы подбросить монету 10 раз, а не 1000 раз. Чем больше раз мы подбрасываем, тем меньше вероятность того, что мы получим подавляющее большинство одного конкретного результата.
Давайте рассмотрим наглядный бизнес-пример экспериментов. Менеджер по продукту должен убедить высшее руководство запустить новую линейку джинсовых курток в универмагах. Целью этого запуска является увеличение продаж, увеличение присутствия компании в торговом зале и расширение предложений компании. Менеджер хочет доказать, что эта линия принесет пользу, прежде чем компания сможет предложить эту идею магазинам.
Итак, менеджер по продукту проводит экспериментальное исследование, чтобы обосновать эту гипотезу. Он/она проводит тест в нескольких магазинах, в которых продается новая линия джинсовых курток. Эти магазины расположены в разных местах, чтобы проверить продажи на целевом рынке до и после запуска. Тест проводится в течение двух месяцев, чтобы определить, можно ли подтвердить или опровергнуть гипотезу. В конце концов, новая линия джинсовых курток запускается во всех магазинах, потому что результаты благоприятны, исходя из оценки, полученной на основе репрезентативной выборки. Продажи магазина, вероятно, увеличатся на 5% с введением новой линии курток.
Однако следует отметить, что даже если результат не является статистически значимым, он может быть использован в организации. В качестве альтернативы, когда мы работаем с огромными наборами данных, можно получить статистически значимые, но практически нерелевантные результаты. Например, в предыдущем примере, если бы мы обнаружили, что продажи в магазине увеличатся на 0,001% с появлением новых курток, то это не имело бы большого значения для бизнеса. Таким образом, вместо того, чтобы зацикливаться на том, верны ли наши выводы или нет, мы могли бы подумать о влиянии каждого вывода на решение, которое мы хотим принять.
Несмотря на то, что это не идеальное решение, эксперименты имеют процесс случайного распределения, который устраняет любые предшествующие смещения между экспериментальными группами и обеспечивает возможность сравнительного сравнения. Эксперименты могут иметь широкое применение в организациях, стремящихся найти решения для разработки продуктов и создания культуры, основанной на данных.
Фирмы, конкурирующие в сфере высоких технологий, регулярно проверяют такие переменные, как дизайн страницы, предложения и услуги. В более широком смысле экспериментальное мышление проникло в большую часть технологического сектора, а теперь распространяется и за его пределы. Однако, когда мы думаем о преимуществах экспериментирования, часто упускается из виду то, что приносит пользу корпоративной культуре и моральному духу ее сотрудников. Прививая культуру экспериментирования, организация может дать своим сотрудникам возможность изменить ситуацию к лучшему благодаря своей работе. Используя этот подход, сотрудники могут получить плоды своего труда, которые также подтверждаются данными.
В целом экспериментирование позволяет бизнесу и его сотрудникам одновременно оценивать несколько возможностей. Это позволяет компаниям тестировать совершенно новые стратегии и оценивать реакцию своих целевых клиентов с минимальными затратами. Следовательно, эксперименты, безусловно, являются рекомендуемым инструментом для компаний, чтобы обеспечить более эффективное принятие решений на основе данных.
Автор:
Ятин Будхираджа — директор по аналитике, исследованиям и данным в Fidelity Investments India, которая является глобальным центром возможностей Fidelity Investments и ключевой финтех-компанией. Чтобы узнать больше о компании и работе, которую мы делаем, посетите наш сайт.
Сообщение «Экспериментирование имеет первостепенное значение для принятия решений на основе данных» впервые появилось на .
