正しいA/Bテストを行うために必要なことは？

感性に頼ったクリエーティブA/Bテストは意味がない？

岩本氏（アッション）
そんなことはありません。改善の最初のきっかけが、感性に頼った定性データだったとしても、A/Bテストを行うことで定量化できます。まずは施策に取り組むために、PDCAサイクルのD（Do）から始めてみるという意味なら、感性に頼ったA/Bテストもありだと思います。

好村
PDCAのP（Plan）、C（Check）、A（Action）の部分をまったく加味せず、「ボタンを赤色にする」などといった、D（Do）に終始するA/Bテストの事例をよく耳にしますが、こういった手法はどう思われますか？

岩本氏（アッション）
それによって大幅に改善するならよいと思うのですが、そんな簡単に改善しないことが多いので、難しいところです。

好村
弊社でも、「ボタンを赤色に変更したパターン」と「変更しないパターン」を比較するようなA/Bテストを実施することはありますが、「変更したパターン」が勝つケースは少ないです。結局、どのような仮説をもって赤色にしたのか、そして実行した結果、仮説は正しかったのかどうか、その検証をしなければ知見は得られないと思います。
「ボタンを赤色にしたらCVRが改善した」というような成功事例は、1つの結果として参考にしつつも、その結果を100％信じすぎない、というのが重要なスタンスかと思っています。

岩本氏（アッション）
完全に同意です。

データをもとにした分析は必要か？

作左部氏（DLPO）
必要だと思います。 データをもとにした分析には、①A/BテストのA案、B案を考えるための分析と、②結果検証の分析があります。
まずA案、B案を考えるための分析がなぜ必要か、について説明します。一般的に、他社の成功事例をそのまま真似してA/Bテストを行っても、うまくいくとは限りません。そんな中で勝率を上げるためには、自社のデータをもとにした定量的な分析、あるいは定性的な分析が必要になってきます。
定量的な分析では、アクセス解析ツールのデータなどを使ってCVユーザーの特徴を深掘りすることで、改善のヒントが得られます。定性的な分析では、ユーザーテストなどを用いて、ユーザーの小さな意見から改善のヒントが得られる場合もたくさんあります。
手がかりが何もないまま、思いつきや他社事例の真似でA/Bテストを行うよりも、このようにデータを分析して手がかりを掴んだ方が、勝率を高めると思います。

好村
結果検証のためのデータ分析では、どのようなことに気をつければ良いでしょうか？

作左部氏（DLPO）
結果検証の際は、スクロール量（読了率）や離脱率をサブKPIに置くなど、ゴールの指標を複数用意した分析も必要だと考えています。A/Bテストでは差が出なかったものの、クリエーティブを変更したことで再訪問率が上がり、再訪後の売り上げ増加に繋がった事例もあります。そういった複数の観点から結果を検証していくことが重要だと思います。

好村
LP（ランディングページ）のA/Bテストで、「ファーストビューのアイキャッチ画像を変えるだけで、CVRが上がる」のような話をよく聞きますが、こういう場合の改善はデータ不要なのではないでしょうか？

作左部氏（DLPO）
確かに一般的に、縦長のLPではファーストビューにインパクトあるかないかでCVRがだいぶ変わると思います。 しかし、2度3度PDCAを回しているLPや、ある程度デザインがフォーマットとして確立されている業界のWebサイトでは、LPのファーストビューだけを変えてもCVRがあまり変わらない場合もあります。 そういった場合には多変量テストのような手法を用いて、複数の要素を同時に検証し、どの要素がCVRに変化をもたらすかなどを調べることで、改善のヒントが得られると思います。

好村
LPのどこの要素がどう効果をもたらすか、をデータできちんと把握したうえで、ファーストビューのアイキャッチを変えていく、というプロセスは我々もありだと考えています。逆に、そういった検証をまったく実施したことがない中でアイキャッチだけ変えると失敗に繋がるおそれがありますね。

そもそもA/Bテストを実行する意味はあるのか？

玉屋氏（グラッドキューブ）
もちろん意味はあります。ビジネスにおいて、A/Bテストを使って改善していくサイクルは絶対に必要です。アメリカの著名なグロースハッカーであるSean Ellis氏は、「A/Bテストをしていなければ、おそらくビジネスは成長していない」（参照：Hacking Growth グロースハック完全読本／日経BP社／2018年9月27日発行）と書いています。
ただ、ビジネスにもいろいろなプロセスがあります。A/Bテストを優先的に実施すべきなのはどのプロセスなのかというのは1つ、論点としてあるかと思います。
ビジネスをグロースさせていくためには、新規獲得のためのA/Bテストだけでなく、既存ユーザーのリテンションを高めるようなA/Bテストも実施する必要があります。小さなA/Bテストでもいいので、継続して回していくことは必要だと考えています。

A/Bテストや検証にかける予算の捻出は、どのように配慮すべきか？

中田氏（and,a）
たとえば、A/BテストやCROをいっさい行わず、その分の予算を広告とクリエーティブに回して運用していたとします。そんな状況で上司から「もう少しCVRを上げてほしい」と言われてしまった場合、往々にして「代理店を変えてみようか」というような話になります。
こういったケースの最大の問題は、企業の皆さま側にCROやA/Bテストの知見が溜まっていないということです。代理店を変えるとまたゼロからやり直しになり、時間と予算の両方で企業側に損失が発生します。 A/Bテストを実施する際、もっとも重要なのは、自社のデータ分析をもとにした仮説を立て、A案、B案を作っていくフェーズです。そのフェーズでは企業ならではの知見がどうしても必要になってきます。それは過去のA/Bテストを検証したり、競合他社と比較分析したりすることから蓄積されるものです。
A/Bテストやその検証に予算を割かないと、そういった知見が溜まらないため、中長期的に企業の皆さま側で取り返しのつかない損が発生してしまうことになります。
Web運用予算の数パーセントは必ずA/Bテストの実施とその前後の検証にあてる。
代理店を変える場合でも必ず、"何"が改善に至り、"何"が改善に至らなかったかを振り返りながらRFP（提案依頼書）を作る。
A/Bテストの予算を捻出するためには、そのように知見の蓄積を重視してマーケティングを回していく経営判断が必要です。半分理想論ですが、このような視点で社内を説得していただきたいと思います。

好村
A/Bテストをせず、リニューアルの前後比較による検証ではダメなのでしょうか。

中田（and,a）
良くないです。そういったやり方をしていますと、社内に知見が溜まっていきません。たとえば成果が出ないから業者を変えたいとなった場合、複数社でコンペをしてみても、業者を選ぶ基準が現場に存在しない。最終的には上司の好みなどになってしまい、業者を変えても成果に繋がりません。

会場からの質問と回答

イベント会場からも、Sli.doに多数質問が集まり、ピックアップしながら各社から回答しました。Sli.doに寄せられた質問と、それに対する回答をご紹介します。

「違和感」といいますか、「意外な結果」が出たときです。そういうときは、その理由を深掘りします。はっきりと差が出たA/Bテストだと、結果に対してあまり深掘りをしなかったりするケースも多いので、失敗を重ね、その結果を検証していくことで、再現性の高いA/Bテストを回していけるのではないかと思います。

好村
ユーザーの感情の機微を、データから読み解くのは難しいと思うのですが、そのようなときの「違和感」とは、経験によるものなのか、皆様でも読み解けるものなのでしょうか？

作左部氏（DLPO）
経験がかなり重要だと思います。現場担当者のユーザーに対する理解や過去の経験値によって、A/Bテストの結果に対する気づきや分析が深くなっていくと考えています。

岩本氏（アッション）
その順番で行うのが効果は高いと考えています。つまり、まず全体に対してA/Bテストをする。その結果から取得したデータをセグメント分析して、効果のより高いセグメントにパーソナライゼーションをかけていく。その方が効果が高まると思います。
ただし、セグメントをあまり細かく切りすぎると労力が多くなります。セグメントは4象限くらいにとどめ、行動ベース・チャネルベースなどでパーソナライズを設計していくのがベストかなと考えています。

玉屋氏（グラッドキューブ）
どんなプロでも百発百中で当て続けるのは難しいので、うまくいかなかったA/Bテストに対しても仮説をしっかりと説明することが重要だと思います。たとえA/Bテストが失敗しても、それを知見に変えていくことに価値を感じてもらえれば、A/Bテストを継続してもらう理由の1つになると思うので、その点を心がけています。

「施策単位で勝ちが続いたが、全体で見たら期待したほど改善しなかった、または悪化していたことはありませんか？ その場合、どう評価すればいいのでしょうか？」

岩本氏（アッション）
一定の期間ごとや施策数が溜まった段階ごとに、中間A/Bテストを実施しています。各施策をまとめたバージョンと、勝ちパターンのみを反映させたバージョンを比較する中間A/Bテストを行っていって、そこで評価するということを行っています。
ほかには、細かな中間指標を取得しています。そうすれば、どの施策がプラスに働いていて、どの施策どうしが干渉・バッティングしているのかなどは、傾向として見えてくるのではないかと思います。

作左部氏（DLPO）
一定の期間ごとで振り返り、評価をしています。たとえば、あえて3ヶ月ごとに1回インターバルを挟んで、A/Bテストをしないで勝ちパターンだけを当てはめた場合に、それまでのCVR改善傾向が継続するかどうかの検証期間を設けます。それらが勝ちパターンとして持続するのか、というのを定期的に振り返りながらチェックしています。

玉屋氏（グラッドキューブ）
ちょっと回答とずれてしまうかもしれないのですが、ひとつのA/Bテストを実施して勝利した場合に、それが本当なのかを深掘りすることも大事だと思っています。
これまでの事例として、レスポンシブデザインのサイトでA/Bテストをしたところ、全体で見るとCVRが上がった。しかしデバイス別でセグメントしてみると、PCはCVRが悪化し、スマートフォンはCVRがかなり上がっていた、ということがありました。
なので、1つ1つのA/Bテストで勝った施策を複数組み合わせた場合には、1つの施策が本当にすべてのセグメントに対して効果があったのかどうかは、細かく分析しないとわからないと思っております。そういったところを深掘りしていくと、また違った結果が得られるかもしれません。

中田氏（and,a）
部分的に改善していても全体的には改善しない場合、というお話だと思います。
ペルソナ分析はサイトのリニューアル時などに多く使われると思うのですが、我々は1枚のLPであっても、解析を通じて簡易ペルソナを数パターン抽出することがあります。
たとえばオンライン英会話サイトの事例で、ある施策は英語に自信のない層向けに響く施策ですが、ある施策は英語にかなり自信がある層向けの施策です、など、いくつかのペルソナに向けた部分単位の施策がいろいろ出てきます。
しかし、それぞれの施策を1枚のLPにまとめなければならないので、各施策をどのくらいの配分にしてページをまとめるのが全体として最適か、というのをA/Bテストしていきます。
このように、部分単位では改善している場合でも、それらの配合の割合を変えるA/Bテストをすることで、なるべく全体の改善率をアップさせる、という方法もあると思います。

イベントのまとめ

今回のセミナーでは、"A/Bテストのプロがハマった落とし穴"や、成功事例、失敗事例を通じて、正しいCROの一部をプロの視点からご紹介いただきました。
日本においてはまだ、CROのような獲得施策の重要性は十分に浸透していない状況にあります。その理由は、「正しいCROが認知されていない」ことと、「表層的な施策に終始してしまい、失敗を経験している」という2点に集約されるのではないかというのが、セミナーの開催に至った背景としてありました。
CROグループは、正しいCROの認知を広め、獲得に寄り添った知見やノウハウを皆様にお伝えしていくことが責務であると考えています。JAMセミナーは今後も2回、3回と続けていく予定ですので、引き続きJAMセミナーにご期待ください。