ABテストのやり方と押さえておくべきポイントとは？サイト・LPを改善しよう

ウェブサイトを持っている企業であれば「ホームページで問い合わせ件数を増やしたい」「ランディングページのCPA（=顧客獲得単価）を下げたい」こんなお悩みに必ず直面するはずです。

そんなときに実施するのが「ABテスト」ですが、ABテストは難易度が高い施策のため、どのように行っていくべきかわからなかったり、つまずいたりしているケースも多いかと思います。

今回はLP（ランディングページ）やHP（ホームページ）におけるABテストのやり方について紹介します。

ABテストの必要性

結論として、ABテストはとても重要です。ABテストを行ったことによって大きく成果が改善した事例も数多く存在します。

最も有名なABテストの事例の1つとして、オバマ大統領選のチャリティーディナーでの寄付をつのった事例があります。

こちらのABテストでは、なんとサインアップ率（=CVR）が40％改善したことにより、結果として約6000万ドル分のインパクトがあったと言われています。

参照：How Obama Raised $60 Million by Running a Simple Experiment

ABテスト実施前に重要なポイント

ABテストをいきなりやみくもに実施してしまうと、失敗してしまう可能性が高いのでNGです。ABテスト実施の前に、まずはおさえておくべきポイントについてご紹介します。

ABテストにおいて整理しておくべーきデータ（定量データ）

ABテストを実施する前に、現状のデータをできる限り整理しておきましょう。

ヒートマップデータ・スクロールデータ

オリジナルページのデータとして、テスト対象のページのヒートマップデータとスクロールデータを取得しましょう。

ヒートマップとスクロールのデータを取得することで「どの部分が注目されているのか・注目されていないのか」というデータが明確になります。

実際にデータを取得してみるとわかりますが、「注目してほしい」「注目されているであろう」というコンテンツと「実際にユーザーのアテンションが集まっているコンテンツ」には大きな違いがあるケースはかなり多い印象です。

また、ヒートマップデータとスクロールデータに関しては、必ずセットで確認するようにしましょう。

「ヒートマップが赤くなっている箇所」=「ユーザーに注目をされている」=「良いコンテンツ」という解釈になってしまうところが、スクロールデータで見た際に「実は離脱が多い」ということもあります。

その場合、仮説として「わかりにくいためよく見てみたが、結果的によくわからずに離脱してしまった」というようなコンテンツであるかもしれません。

スクロールデータにはセクション別の「滞在時間」や「離脱率」が基本的には入っており、ヒートマップで赤かった箇所に関して、もし「滞在時間が長く」「離脱率も高い」コンテンツであった場合には、上記のようなケースも考えられます。

ヒートマップデータだけではなく、スクロールデータとあわせて確認をしていくことを意識しましょう。

サービス利用者のデモグラフィックデータ

次に、サービス利用者のデモグラフィックデータを取得しておきましょう。

• ユーザーは男性・女性どちらがどれくらい多いのか
• どの年代が最も利用しているのか
• 競合サービスと比較してどうなのか

このような内容がわかるデータを把握しておくと良いでしょう。

メインターゲットとなるデモグラ属性によって、ABテストの打ち手の内容が変わってくるケースなどもあります。

新商品・サービスの場合は購買データが収集できないので、その場合は競合商品・サービスの情報を何かしらの形で取得して参考データとして保有しておきましょう。

ABテストにおいて整理しておくべーきデータ（定性データ）

アンケート・口コミデータ

定性データとして、「アンケート・口コミデータ」を収取収集しておきましょう。
実際の口コミ内容によって見えていなかったユーザーのニーズなどが明確になり、その内容がABテストの打ち手として有効であるケースがあります。

こちらに関しては企業サイドで収集しているものの有無になりますが、以下の項目がセットで収集できていれば良いかと思います。

• 商品を購入した理由
• 商品を使ってみた感想
• 総合評価

多くの企業で収集しているものがあるかとは思いますが、部分的にしか収集できていないケースもあるかと思います。
その場合は収集できている分のアンケートデータで構いませんが、できるだけ収集できるような体制整備を行っていきましょう。

商品・サービスの特徴・機能性など

商品・サービスの特徴・機能性などの把握をすることで、商品理解を深めることも重要です。

以下は弊社がどのような内容を把握しているかという一例です。

• 抱えている悩み
  ⇒どのような悩みのユーザーが多いのか
• 商品サービスの強み
  ⇒競合商品・サービスと比べて優れている点や、第三者からの賞など
• 現状認識している、商品サービスの弱み
  ⇒競合商品・サービスと比べて優れている点や、第三者からの賞など

アンケート・口コミデータとあわせて「バイサイド（=売り手）」「セルサイド（=消費者）」両面から商品・サービス理解を行うことが重要です。

ABテスト実施の際に重要なポイント

データの整理が一通り完了したら、具体的なABテスト案の作成に取り掛かっていきます。

本記事では具体的な改善案の作成方法ではなく、改善案を作成したあとのABテストの進め方のポイントについてご紹介していきたいと思います。

重要なのは「改善ポテンシャル」「仮説の優位性」「工数」です。

改善ポテンシャル

まずは、それぞれのABテスト改善案に関して、「どれくらいの改善ポテンシャルがあるのかを検討する」ことが最も重要です。
ABテストを実施したとしても、その内容が結果にインパクトするものでない場合は実施する意味が非常に薄くなってしまうためです。

例として、以下のようなケースを考えてみましょう。

ヒートマップ分析の結果、LP下部の「お客様の声」の注目度が低いことが分かり、「お客様の声」のデザインを変更しCVRをKPIに置いてABテストを実施した。

このようなABテストが必ずしもNGというわけではないのですが、ABテストで大きな施策インパクトがあるエリアはある程度決まっています。

こちらに関しては後述しておりますが、今回のABテストの場合だと

• そもそもサイト下部は見ているユーザーが少ない
• コンバージョンに直結する箇所ではない

これらの理由などで、ABテストを行っても結果的に何の成果も得られない可能性が高いです。

ABテストを実施する際にはかならず「その施策はどれくらいの改善余地があるのか」をしっかりと考えたうえで実施するようにしましょう。

仮説の有効性

次に、ABテストの施策に対して「そのABテストが成功する根拠（=仮説の有効性）」を考えていきます。

具体的には

• 過去類似施策で改善したことがあるのか
• 仮説に根拠があるか

などの観点から、仮説の有効性（=どれくらいその施策が成功しそうか）という内容になってきます。

「改善ポテンシャル」同様、こちらも難易度が高い項目となりますが、できる限り根拠となりそうな材料を見つけていくことが重要です。

たとえば、WEBサイトや本に掲載されているABテストの事例集から実施予定の改善案と近しいような事例を探したり、ほかにも過去自社でABテストを実施していたデータがもしある場合はそちらのデータを参考にしながら進めると良いでしょう。

工数

最後に、改善案に対しての「工数」を考えていきます。

仮に、「改善ポテンシャルは高そう」「仮説の根拠もしっかりとある」という一方で、「ABテストの改善案を実装するためには時間がかかる」という改善があったとします。

こちらのようなケースもよくあるケースで、システム改修が絡んだり、実装するのに大量のコンテンツ制作が必要で時間がかかってしまうような改善案だと該当します。

この場合、そもそものABテスト実施自体のハードルがコスト（時間・労力）面で高くなってしまいます。

「工数」に関しては施策としての実施有無というよりは優先度として把握することが重要で、時間がかかる改善案がある場合には実施するタイミングを考え、「改善ポテンシャル」や「仮説の有効性」が低くても「工数」がかからないABテスト案から実施していきましょう。

ABテストのワンポイントアドバイス

ABテスト実施の際には必ず管理表を作るようにしましょう。

ABテストを実施する際によくありがちなのが以下のようなケースです。

「過去どんな仮説をもって施策を実施したのか」
「どんな施策が成功したのか・失敗したのか」

このあたりのデータがあやふやに管理されていたり、もしくはデータが残っていなかったりすることでABテストのクオリティ自体が下がってしまうケースです。

また、ABテストのデータが管理表で整理されていることで、施策の振り返りや他者への共有・報告の際にもスムーズになります

たとえば弊社では、以下のようなフォーマットで管理しています。

ABテストは非常に地道な作業で、かつ正解がない分、施策がうまくいかなかったときに迷走してしまいがちです。

ABテストの管理表があれば、過去の施策を振り返ることができるので、
より精度の高いABテストが実現できるようになります。

毎回のABテストをまとめておくことは結構労力がかかりますが、後々貴重なデータとなってくるので欠かさず行うようにしましょう。

ABテストで改善するべき箇所

ABテストで改善できる箇所はたくさんあり、ABテスト用のデータを準備して「いざABテスト案を！」となっても、どの箇所からABテストをしていくのかというのは非常に迷いがちになるところです。

そこで、具体的にどの部分を改善していくべきなのかについてご紹介したいと思います。

ファーストビュー（FV）

ABテストする際に最も優先するべき箇所としては、間違いなく「ファーストビュー（FV）」です。（※以下「FV」）

弊社での計測データにおいて、かつターゲティングや配信面にもよるため一概には何とも言えませんが、ディスプレイ広告のリンク先をLPとした際のFVでの離脱はおおよそ20～70％程度となります。

よって、もしLPでのFVの離脱率が高い場合、それ以降のLPコンテンツをどれだけ頑張って修正してもそもそもユーザーに見られていないために改善が実現しないケースがほとんどです。

FVのデータをもとに、まずはFVで何かABテストができないか、ということを検討していきましょう。

また、ランディングページ（LP）において、FVはLP、ひいては商品・サービスの印象を決める中で最も重要な箇所のひとつです。
たとえば、自分が知っているLPのデザインを思い出してください、と言われたときに思い出すとしたらFVになるかと思います。
それだけ商品・サービスイメージに対してFVがあたえるインパクトは大きいものです。

ユーザーが興味を持ってLPを読み進めてくれるかどうかのキーとなるFVをまずは改善していきましょう。

オファー関連エリア（CTAボタン・フォーム・カートなど）

FV以外の改善箇所としては「CTAボタン」もしくは「申込フォーム」まわりの改善を検討しましょう
コンバージョンに近い箇所のため、細かな改善でもインパクトが出やすいためです。

実際、CVR改善という観点では

• 「決済手段の追加」
• 「カートページでのアップセル・クロスセル表示」
• 「緊急性・限定性の提示（今なら●●％OFF など）」
• 「CTAボタンの追加・位置変更」
• 「在庫表示」

などがかなり大きく変化が出やすいと言われています。

位置にかかわらず、どのような商品・サービスでも注目度が高くなるエリアですので様々な角度から改善余地がないか分析を行い、検証していきましょう。

それ以外の箇所

先述の「FVエリア」「CTAボタン・オファーエリア」が改善箇所としては重要とお伝えしましたが、それ以外の箇所のABテストについてはどう改善していけば良いのでしょうか？

まず前提として、「FVエリア」「CTAボタン・オファーエリア」以外の1か所（1セクション）を変更しただけでは、ABテストとしてインパクトのある結果はほぼほぼ望めないです。

ABテストを実施する際には

• 改善対象となるユーザー母数が多い（FVなど）
• コンバージョンに直結する情報のエリア（オファーなど）

こちらのいずれかの条件を最低限満たしている必要があります。

さきに挙げた「FV」「オファー周り」に関しては、それぞれどちらかを満たしているため単体の施策としてインパクトを出すことができますが、逆に、それ以外の箇所ではこの条件を満たしていない箇所が多いため、細かい改善では大きな改善を残すことが難しいです。

では、どのようなABテストのアプローチを行っていけばよいのでしょうか？

こちらに関しても様々な考え方があるかと思いますが、弊社の中では「仮説」にもとづいた「改善案」を軸として、FVやオファーエリア以外の箇所のABテストについては複数個所のABテストを同時並行で実施し検証を行っていくケースが多いです。

「同時にABテストをやっても、どこがどう良かったのかがわからないのでは？」という懸念点が思い浮かぶかと思います。

確かに、できれば普通にABテストをしてその部分だけの細かいデータを取得して分析していくことが理想ですが、実際のABテストでは差が出にくい（=検証期間が長い）＆改善幅が「FVエリア」「CTAボタン・オファーエリア」よりも低いエリアを1つ1つ実施してPDCAサイクルを回していくことは困難です。

そこで、ABテストの際の評価指標として最も大事なのは「コンバージョン率」ではありますが、弊社ではこの場合のテスト箇所に関しては「ヒートマップデータ」「スクロールデータ」を中心に分析を行って、施策の結果考察を行っていきます。

※弊社が使用している分析ツールでは「クリックデータ」や「ビデオリプレイ」も取得できるため、案件によってはクリックデータを見たりしています。

ABテストでの気を付けるポイント

ABテストの細かい内容については先述しましたが、ここでは実際のABテストでよくある失敗ケースについて触れていきます

計測指標が定まっていなかった

ABテストでの計測指標がうまく設計できていないままABテストを開始してしまうと、ABテストの実施自体が無駄になってしまうケースもあるため、ABテスト開始前には必ず「どの指標を追うのか」と「その指標の計測がきちんと行える状態か」という2点を確認しましょう。

たとえば、CVRを指標としてABテストを行ったにもかかわらずCV地点であるサンクスページにABテスト計測用のタグが埋まっていなかったり、CV地点がボタンクリックであった場合にonclickタグの設定に不備があってCV計測ができていない、などのケースです。

このように計測指標をどれにするか事前に決めないままで実施した結果何も得られないこともあるため、しっかりと事前確認と設定を行っておく必要があります。

実施時期が違う

ABテストを実施する際に、同一URLでのABテストではなく「オリジナルパターン」と「テストパターン」を別々で用意し、「オリジナルパターンのLP」vs「テストパターンのLP」を別々のタイミングで配信して検証をするケースがあるかと思いますが、リダイレクトでリンク先のLPのABテストを実施するなどできるだけABテストの検証時期は同じタイミングにした方が良いです。

別タイミングにしてしまうと多少なりとも時期要因が加味されてしまうため、ABテストとして機能しなくなったり、ほかにも広告配信のリンク先として設定している場合には媒体側での調整の影響などを受けてしまう可能性があります。

（例：検証用LPの配信媒体はGoogle広告（リスティング）であったが、オリジナルパターンとテストパターンの配信実施時期がずれており、広告予算の配分が指名キャンペーンに寄っていたためテストパターンの方がヒートマップがいちじるしく良く見える、など）

「オリジナルパターン」と「テストパターン」を同じタイミングで配信することでこれらの変動要因が回避できるので、できるだけABテストの実施に関しては同じタイミングで「オリジナルパターン」と「テストパターン」が検証できるようにしましょう。

データに差が出ない

ABテストにおいて最も困るケースのひとつが「データに差が出ない」ことです。
実はABテストは成功するのが最も良いのですが、次に良いのは「失敗すること」で、とにかく何かしらの明確な結果が出ることが重要です。

一方で、ABテストにおいて最も失敗であるのが「差が出ない」ことです。
理由としては、差が出ないことによって「どう分析したら良いのかわからなくなってしまう」ためです。
一方で、実際にこのようなケースは多く起こります。

そうなってしまった場合のアプローチですが、こちらは「MCVポイント」「ヒートマップ」・「スクロールデータ」など別の指標からの計測アプローチを行いましょう。

仮にCVRなどの計測指標がが同じであった場合でも、ヒートマップやスクロールデータなどの別の定量・定性データにおいては多少なりとも差が出ているケースがありえます。

もし仮にCVRが変わっていなかったとしても、

• MCVRが上昇している
• ユーザーからのアテンション（=注目度）が上がっている

このようなケースがあるので、とにかく「何かしらの差が出ていないか」という点を追究していきましょう。

統計的に有意ではない

ABテストを実施する場合、期間を決めて実施するケースも多いかと思いますが、あまりおすすめではありません。

なぜなら、ABテストの終了タイミングは、本来的には「統計的に有意なデータが取得できたか」によって決める必要があるからです。

統計的に有意なデータが出ないまま、ABテストが終了となってしまうケースに関しては以下のようなケースがあります。

1. テスト期間が短く、データ量自体が少ない
2. ABテストのデータ差が小さい

特にテスト期間が事前に決まっているパターンだと、②の事象が起こりやすくなったりします。

ABテストに関しては、統計的に有意でないデータのままで「ABテストの善し悪し」を決めてしまうケースが多いように感じますが、こちらは非常に危険です。

例：ABテストの結果について

パターン①

パターン②

たとえば、20万円分の広告配信にてテストを行った結果、パターン①のような結果になったとします。
一見、テストパターンの方が良さそうに見えますが、統計学的には良し悪しを判断するデータ量として十分ではなく、いざ本番実装したところCVRが変わらなかった、というケースはよくあります。

一方で、同じ配信金額でもパターン②のようなデータになったとします。
この場合、統計的に見ても有意性があるため、テストパターンを本番実装した際にはCVRがほぼ100％の確率で上昇します。

このように、同じ配信金額でテストを行った場合でもテスト結果によって継続するべきか、それとも終了して良いかの判断は変わってきます。できるだけABテストは期間を決めずに、有意性のあるデータがとれたか、というのを検証して終了することをおすすめします。

※どうしても期間を決めて実施する必要がある場合は、KPIを1つだけではなく複数用意し（マイクロコンバージョンなど）、それらを総合的に判断する方が良いです。

デバイス別で検証する

ABテストの結果は必ずデバイス別で確認しましょう。
同じABテストを実施していたとしても、PCとスマホでユーザーの反応が異なるケースもあります。

どちらのデバイスでも傾向が同じであればまとめて検証で問題ありませんが、デバイスによってテスト箇所の見え方が違ったり、ユーザー層が違ったりなど様々な理由でABテストの結果の変化が出るケースもあるので、かならず確認するようにしましょう。

CVRだけで判断しない！大切なのは売上げ・LTV

ABテストを実施する際に、CVRを向上させるためにオファーの部分を過剰に誇張をした表現にしてしまうケースがあります。

※「今だけ限定」「買うなら今しかない！」「売り切れ続出」「限定セール」「●●％OFF」など

基本的にオファー箇所の改善がうまくいくとCVRは上昇しますが、一方でオファーに惹かれたユーザーの母数が多くなってしまうとLTVが下がってしまって本末転倒な結果になるケースもありえます。

ABテストの最終ゴールは「売上・利益の最大化」であって、そのためのKPIの一つとして「CPA・CVR」があり、それらを改善する手段として手段として「ABテストの実施」があります。

CVRはABテストの際の重要なKPIのひとつであることは間違いないですが目線は必ず最終ゴール（=売上・利益の最大化）からずらすことなく、ABテストを実施していきましょう。

まとめ

今回はLPのABテストについてまとめていきました。最後に、ABテストについて理解しておくべきことを2つお話したいと思います。

ABテストでできることは限られている

文字通り、ABテストはあくまでWEBマーケティング施策の中のひとつの手段であって、万能ではありません。
サイト改善のABテストにおける改善幅には当然ですが限界があり、どれほどの成功例でもCVR1％のLPがCVR20％になるようなことはまずありえません。

個人的には、元のLPからCVRがABテストを重ねた結果、3倍（300％）になったなどのケースがあったとすれば、その施策は稀に見る大成功例になってくるかと思います。

ABテストでできることも全体のマーケティング施策という観点からみると限られているため、より抜本的な改善が必要である場合は、時にはABテストの範疇を超えて改善施策を実行していくことがとても重要です。

データから何が言えるのか？が最も重要かつ難しい

ABテストの一通りのフロー（改善案⇒実施⇒検証）に慣れてくると、
時間はかかりますがABテストの実施と、そこからデータを抽出すること自体はとても簡単であるように感じます。

一方で、どれだけABテストを実施しているプロフェッショナルであっても

• 「ABテストの結果から何が言えるのか」（分析）
• 「ABテストの結果を踏まえて次どのようなアクションをとっていくのか」（アクション）

これらの内容はとても難易度が高く、いつも難しいと感じます。
ABテストのセオリーだけでなく、商品理解、そしてマーケット理解が高レベルで求められるためです。

そのため、できるだけ多角的な視点からデータを「分析」して、次の「アクション」につなげられるように、日頃から様々なABテストのパターンを勉強したり、マーケティングの勉強をしていくことが重要です。

ABテストはかなり難易度が高いものですが、粘り強く進めていくことで必ず改善することはできるので、本記事を参考にしつつABテストを進めていってもらえると幸いです。