A/Bテストと多変量テストはどっちをやるべきか
Google Website Optimizer(以下GWO)では「A/Bテスト」と「多変量テスト」という2つのテストを実施することができます。
ここで私たちの中では、この2つの言葉を以下のように定義して使っています。
文言の定義
- A/Bテスト:2つの完全に異なるバージョンのページをテスト
- 多変量テスト:同じページのコンテンツの組み合わせを変更できるテスト
ところでテストの内容を思いついて、いざやってみようという時にどっちのテストをやるべきか悩んだことがありました。
調べてみると,Googleがどういったケースにどちらを使うのがいいのかを示していました。
以下抜粋です。
A/B テストでは、2 つの完全に異なるバージョンのページをテストできます。A/B テストは、次のような場合に最適です。
* ページ内のセクションやオブジェクトを移動したり、ページのレイアウトを変更する。
* ページの全体的なデザインを変更する。
* 既存のページの新しいバージョンを作成して公開する。多変量テストでは、同じページのコンテンツの組み合わせを変更できます。多変量テストは、次のような場合に最適です。
* ページのトラフィックが多い (1 週間あたり約 1,000 ページビュー以上)。
* ページのレイアウトと全体のデザインは変更しない。
* ページ上の特定の部分 (見出し、画像など) を同時に変更する。
自分に適したテストのタイプ - アドワーズ 広告 ヘルプ
https://adwords.google.com/support/aw/bin/answer.py?answer=71975&cbid=-15s5o4yqbtctt&src=cb&lev=answer
こういった説明がされていますが、「A/Bテスト」の項目にあるものはほとんど
「多変量テスト」でまかなうことができるというのが今までGWOを利用してきた個人的な見解です。
例えば、『ページの全体的なデザインを変更する。』ことは「多変量テスト」でも実施できます。
上級 A/B テスト - ウェブサイト オプティマイザー ヘルプ
http://www.google.com/support/websiteoptimizer/bin/answer.py?hl=jp&answer=62999
もちろんGoogleのヘルプにもあるように、LPOなど1ページに対して大きくデザインを変えてテストしたい場合などは「A/Bテスト」が適していると思います。
一方で私たちのようなLPOというよりは『1つのサイトにおける1ページをテストしたい』という場合には、「多変量テスト」が管理運営の観点から見てもやりやすいのではないかというのが現状の見解です。


