こんにちは、EDOCODE採用広報担当のツヅキです。昨年リーンプロセスの本格導入にチャレンジした「リーンチーム」の取り組みシリーズ、第三弾です。今回は、2020年8月末のチームの立ち上げから2, 3ヶ月目を振り返ります。チーム発足から戦略策定、初回の施策までハイスピードで進むリーンチームですが、どんな課題や困難があったのでしょうか？

プロジェクトを粛々と進めるリーンチーム

2020年秋。

EDOCODEに新しく作られた「リーンチーム」。コロナによるユーザーの利用落ち込みを取り戻すためのプロジェクトは、佳境を迎えていました。

不安定な秋の気候に合わせるかのようにコロナの状況も一進一退し、日々報道される感染者数、Go Toトラベル情報、オリンピックの開催についてのニュースも、多くの人にとって日常的な話題になりつつありました。

この時期の「リーンチーム」は、ポイントモール全体のパフォーマンスを改善するような施策を見つけ出すために、A/Bテストを1ヶ月に2回のペースで行うことを目標としていました。A/Bテストといっても闇雲にやるわけにはいきません。定量・定性どちらの観点からも事前調査を行い、仮説を持ったうえでテストを実施する必要があります。

さて、そんなプロセスを回していく中で得た、いくつかの学びをご紹介します。

学び①データが揃うまでに時間が必要

当初は、以下の流れでA/Bテストを行う計画を立てていました。

1. A/Bテストの内容とデザインパターンをクライアントに提案し、OKをもらう
2. A/Bテストの実装が完了したら、テストを開始する（テスト期間は2週間）
3. 1つのA/Bテストが実施されている間に、次のA/Bテストの準備をする
4. テスト期間終了から1週間後に結果を分析する（システム上の都合により、KPIとしていた購入データは1週間遅れてくるため）

しかし実際に検証しようとすると、2週間というテスト期間ではサンブル数が足りないことがわかりました。統計的な分析をするにはある程度のサンプル数が必要ですが、。今回のテストは広告やメールなどの瞬発的なコミュニケーションではなく、通常のサイト訪問者に対してのものなので、充分なデータが貯まるまでより長い時間が必要だったのです。

当初はスピード重視ということで2週間のサイクルと考えていましたが、十分なデータが集まらなくては統計的有意な分析ができません。3回目のテストからはテスト期間を3週間、分析を含めての1ヶ月サイクルに変更しました。

学び②仮説は間違っている場合がある

当たり前ではありますが、仮説は間違っている場合があります。そもそも、「無駄なものを作らないために、少しずつ仮説検証を繰り返しながら開発をすすめる」というのがリーン開発の趣旨です。最初に考えていたことが間違っているかもしれないから、検証を行います。

例えばあるテストでは、こんなことがありました。

ポイントモールの利用率を上げるために、ポイントアップの終了期限をカウントダウンするタイマーを入れるというアイディアがありました。一般的に、動的なカウントダウンタイマーを導入することでキャンペーンが目立ちやすくなり、認知やコンバージョンに効果的と言われています。クライアント側も、ユーザーが「今のうちにやらなくては」と思ってコンバージョンが上がると乗り気でした。

しかし、実際にA/Bテストをした結果、カウントダウンタイマーが入ってない場合の方が、コンバージョンしていることがわかりました。さらに、カウントダウンの長さ（例：30日前と5日前）によって結果が変化するか、という検証も行いましたが、特に大きな差はありませんでした。つまり、ポイントモールのユーザーにとってはノイズにしかなっていなかったのです。

このA/Bテストなしで改善を行った場合、カウントダウンタイマーが実際の機能としてサービスに反映されてしまっていたかもしれません。テストをしたおかげでEDOCODEもクライアントも同じ認識で進められ、改悪を避けることができました。

学び③職種をまたいだ役割分担でスピーディーに

仮説の立案、要件定義、デザイン制作、クライアントコミュニケーション、そして効果測定。これを3人で、2週間に1回のペースで行っていく・・。想像していただければわかると思いますが、やることはとても多く、3人は毎日何かのデッドラインに追われていました。

その反面、少人数だからこそのメリットも3人は感じていました。それは3人が理解している内容がほぼ同じなので、チーム内でのコミュニケーションコストが少なくて済むことです。また、忙しい中で3人で回すための大きな工夫として「職種をまたいだ役割分担」をしたことも功を奏しました。

例えば、デザイナーのBetsyやNatsumiも、プロダクトマネージャーのTimmyにガイドしてもらいながらGoogle AnalyticsやBigQueryを使って分析を行ったり、クライアントへの提案資料を作成したりしました。また、通常はデザイナーの役割であるユーザビリティテストの設計をTimmyも一緒に考えたり、分析作業を一緒にやりながら、デザインについても考えました。こうして他職種の業務理解が進んだことでコミュニケーションの効率が上がり、本当に議論が必要なところに時間を使うことができるようになりました。

2020年が終わる・・次回最終回！

11月が終わるころ、既に9回のA/Bテストを完了した3人がいました。次回は最終回として、社内やクライアントの評価、メンバーの感想をお伝えします。お楽しみに！