AB/多変量テストの難しさ

UIO戦略室メンバーが日常交わしている会話を公開できる範囲で公開ｗ

• Toru Enomoto : A/Bテストは、いざやってみれば意外と簡単」という意見もありますが、やっぱり大変です。
• Toru Enomoto : 大変ていうのはちがうな、次の壁があらわれてきますよね、やっぱり
• Toru Enomoto : ひとことでいうと、生産性。
• Toru Enomoto : ROI。
• Kazumasa Harumoto : といいますと？
• Toru Enomoto : いえ、そんな目新しい話じゃないのですが、
• Toru Enomoto : テスト実装してまわすこと自体はカンタンだとわかるフェーズ
  どういう方法で仮説だてして、テストするのかにぶちあたるフェーズ　（サイト内のどこで何やったらいいの的な）
• Kazumasa Harumoto : なるほど。
• Toru Enomoto : いろいろテストはまわりはじめたけど、成果がでないテストもたくさんあるよね、なんか時間に対してもっとレバきくテスト計画（まあこれも仮説立てか）　たてれないもんかね、みたいなフェーズ
• Kazumasa Harumoto : そういう意味でのROIですね。
• Toru Enomoto : 結局、GAなどからのアナリシス能力、なんかが求められる、それなしにページの見た目をみてやっても、点のパーツの改善テストをやってるだけで時間が経つにつれ生産性の差があらわれてくる
• Kazumasa Harumoto : 今はそういうフェーズかもしれませんね。
• Kazumasa Harumoto : うちも同じようなところでよくつまづきます
• Toru Enomoto : ですね。てなはなしも、こないだのSEOmozの記事？かなんかにありましたよね。春元さんみつけてきたの。http://www.seomoz.org/blog/dont-fall-into-the-trap-of-ab-testing-minutiae
• Kazumasa Harumoto : まさしくこれですね。
• Toru Enomoto : 結論としては
  フェーズ１：とにかくテストははじめてみること！
  ただし、すぐに成果のでる着眼点のアシストが得られればベター
• Toru Enomoto : フェーズ２：プロダクト全体に対して、ROI視点のアナリシス／仮説構築　を行い、検証手段としてテストを組み込むサイクルを確立すること
  数字を読み解く能力（ボトルネック発見、ユーザー行動仮説）

• Toru Enomoto : こんなかんじかなー
  なんか・・・書いてみると当たり前すぎますが。
• Kazumasa Harumoto : 当たり前ですけど、難しいですよね。

• Megumi Onoda : さっきIA本見てて思ったんですけど、課題点を見つけると同時に効果を上げている点も見つけて評価することも大事ーっていうこともやっていきたいなぁと。
• Megumi Onoda : あと最近思うのはそこそこ意識高い制作者は点でしか考えられない人ってわりと少ないです。
• Megumi Onoda : でもそれを「アクセスログ等を見て、そこから定量化しながら分析して･･･っていうところまではなかなかなので、そこらへんが紐づくようになるとより強みになるかなぁーと思います。
• Kazumasa Harumoto : そうですね、そこまでいけると素晴らしい。
• Megumi Onoda : クリエイターが自分でなんでもかんでもできてもいいですし、そこをやる人が別にいてもうまいことリレーションとってできたらいいのかなと思います。