いきなりの用語説明。
Ａ／Ｂテストとは、複数ある案の中で、どれが最も優れているかを試行によって確認するためのテスト手法のことです。Ｗｅｂサイトでどうしたらコンバージョン率が高くなるのかを確かめるために使われることが多いので、統計学の入門書などでもよく紹介されていますね。
ランディングページをＡパターンとＢパターンの２つ用意して、Ａ／Ｂテストで優劣は判断する場合もありますし、写真やボタンなど、パーツを複数用意してどれが最も優れているか判断するような場合もあります。
オバマ大統領が当選した大統領選挙の際、選挙用のＷｅｂサイトのユーザ登録を増加させるためにＡ／Ｂテストを使用したことが話題になりました。ユーザ登録画面を表示させるボタンを「Sign Up(サインアップする)」「Lean More(もっと知る)」「Join Us Now(すぐに参加する)」「Sign Up Now(すぐにサインアップする)」の４通りでテストしたのです。結果、「Lean More」が一番効果的だと判明し、その後は「Lean More」を使ったところ、登録ユーザが増加し、１億ドル以上の寄付が追加で集まったそうです。
このように、実際にコンバージョンしたという結果を集計しているので、「どれが良いと思いますか？」というようなアンケートの結果を集計するよりも実態を反映したものとなります。アンケートでどれが良いかと聞かれると、自分の好みよりもなんとなくセンスのよさそうなものを選んでしまうということがありますから。
さて、このＡ／Ｂテストですが、統計の知識がないと正しく実施できない場合があります。例えば、単に２日間毎にＡパターンとＢパターンを試して、コンバージョン率が高かった方を正式採用するという単純な方法をとると、偶然のいたずらによって正しくない結果となってしまう場合がままあります。統計学を勉強するか専門家の助言を得てから実施するようにしましょう。
Ａ／Ｂテストの弱点としては、なぜそのパターンが効果が高いのかという理由が分からないということがあげられます。よって、なかなかテスト結果を応用して新しいノウハウを確立するようなことができません。