著者について

パラス チョプラは世界で一番簡単なABCテストツール、ビジュアルウェブサイト最適化ツールを創設した人物です。 75以上の国にわたって世界中の何千もの企業によって使用され、…More aboutParas Chopra↬

• 10 min read
• Design,Testing,Usability
• Saved for offline reading
• Share on Twitter.com
• Share for 10 min read
• Design,Testing,Usability
• Ofline reading
• Design,Testing,Usability

Design,Testing,Usability

• Design,Testing,Usability

以前のSmashing Magazineの記事で、A/Bテストとそれに関連する様々なリソースについて説明しました。 多変量テストの基本も過去に取り上げましたが、今回の記事では、A/B テストと似ているが決定的な違いがある多変量テストの技術的な詳細について深く掘り下げていきます。 基本的には、Web ページを個別のユニットに分解し、それらのユニットのバリエーションを作成します。 例えば、ページが見出し、画像、それに付随するテキストで構成されている場合、それぞれのバリエーションを作成することになります。 この例を説明するために、次のバリエーションを作成するとします。

• 見出し：見出し 1 と見出し 2
• テキスト：テキスト 1 とテキスト 2
• 画像：画像 1 と画像 2

上記のシナリオは 3 つの変数（見出し、テキスト、画像）、それぞれ 2 バージョンで構成されています。 多変量テストでは、あなたの目的は、これらのバージョンのどの組み合わせが最も高いコンバージョンレートを達成するかを見ることです。 組み合わせとは、各セクションのバリエーションを組み合わせたときにできる、8つ（2×2×2）のウェブページのバージョンのうちの1つを意味します。

• 見出し1＋テキスト1＋画像1
• 見出し1＋テキスト1＋画像2
• 見出し1＋テキスト2＋画像1
• 見出し1＋テキスト2＋画像2
• 見出し1＋テキスト2＋画像2
• 見出し 2＋テキスト1＋画像1
• 見出し2＋テキスト1＋画像2
• 見出し2＋テキスト2＋画像1
• 見出し2＋テキスト2＋画像2

多変量テストでは、以下のようなことを行います。 この8つの異なるバージョンの間でトラフィックを分割し、どの組み合わせが最も高いコンバージョン率を生み出すかを見るのです。

多変量テストを始める

最初の多変量テストを作成するには、まず、多変量テストをサポートするツールまたはフレームワークを選択します。 この記事の最後にある「ツール」のセクションにリストされているツールのうちの 1 つを使用することができます。 すべての A/B テストツールが多変量テストをサポートしているわけではないので、選択したツールがそれを可能にすることを確認してください。

使用するツールを決定したら、テストに含めるセクションを選択します。 ご存知のように、Web ページには数十から数百の異なるセクション (フッター、ヘッドライン、サイドバー、ログイン フォーム、ナビゲーション ボタンなど) が含まれることがあります。 これらすべてのセクションをテストに含めることはできません。すべてのセクションのバリエーションを作成することは膨大な作業になります（後述するように、新しいセクションが増えるたびに、テストに必要なトラフィックは指数関数的に増加します）。 コンバージョンゴールにとって最も重要だと思われるページのいくつかのセクションに絞り込みます。

ページの次の部分（重要度の高い順に列挙）は、通常、多変量テストに含まれます：

• 見出しおよび見出し、
• コール トゥ アクション ボタン（色、テキスト、サイズ、配置）、
• テキスト コピー（内容、長さ、サイズ）、
• 画像（種類、配置、サイズ）、
• フォーム長さ。

The Difference Between A/B Testing and Multivariate Testing

概念的には、この2つの手法は似ていますが、決定的な違いがあります。 まず第一に、トラフィック要件が異なります。 私が言ったように、多変量テストでは、テストする必要がある組み合わせの数が指数関数的に増えます。 A/Bテストでは3～4バージョン、多変量解析テストでは数十～数百バージョンをテストすることができます。

たとえば、3 つのセクションにそれぞれ 3 つのバリエーションがあるとすると、組み合わせの数は 27 です。 3 つのバリエーションを持つ別のセクションを追加すると、組み合わせの総数は 81 に跳ね上がります。 意味のある結果を得たいのであれば、セクションをどんどん追加していくことはできません。 選択的であること。 良いルールは、組み合わせの合計数を 25 以下に制限することです。

既存のデザインを改良または最適化するためではなく、大規模な変更に A/B テストを使用すること。 Image by Meet the Chumbeques

もう 1 つの違いは、これらのテクニックをどのように使用するかということです。 A/B テストは通常、大規模な根本的変更 (ランディング ページを完全に変更する、または 2 つの異なるオファーを表示する、など) にのみ使用されます。 多変量解析テストは、既存のデザインを改良し、最適化するために使用されます。 数学的に言うと、A/B テストは全体最適を図るために、多変量解析テストは局所最適を図るために使用されます。 ランディングページのヘッドライン、テキスト、画像をテストしているとします。 どの部分が最も影響力があるのか、どうやって知ることができるのでしょうか？ ほとんどの多変量解析テストツールは、レポート内で「インパクトファクター」と呼ばれる指標を提供し、どの部分がコンバージョン率に影響を与え、どの部分が与えないかを教えてくれます。 このような場合、「痒いところに手が届く」「痒いところに手が届く」「痒いところに手が届く」「痒いところに手が届く」「痒いところに手が届く」「痒いところに手が届く」「痒いところに手が届く」「痒いところに手が届く」「痒いところに手が届く」「痒いところに手が届く」「痒いところに手が届く」……………………………………………………このように様々な要因がありますが、その中で、どのような要因があるのかを知るには、「痒み」を軽減することが大切です。 この方法では、Webサイトのトラフィックをすべての組み合わせに均等に分散させます。 16の組み合わせがある場合、各々は、すべてのWebサイトのトラフィックの16分の1を受け取ることになります。 各組み合わせは同じ量のトラフィックを得るので、この方法は、どの組み合わせとセクションが最もうまくいったかを決定するのに必要なすべてのデータを提供します。 例えば、ある画像はコンバージョン率に全く影響を与えず、見出しが最も影響力があることが分かるかもしれません。 完全要因法は、統計学やテストの数学に関する仮定をしないので、多変量テストにおすすめです。

各テストバージョンの結果トラフィックを記録して比較します。 Image by ItoWorld

Partial or fractional factorial testingその名が示すように、この方法では、すべての組み合わせの一部だけがWebサイトのトラフィックにさらされます。 露出されていない組み合わせのコンバージョン率は、テストに含まれたものから推測されます。 例えば、16の組み合わせがあった場合、トラフィックはそのうちの8つだけに振り分けられます。 残りの8つについては、コンバージョンデータが得られないため、洞察するためには（いくつかの仮定をした上で）空想の数学に頼る必要があります。 部分要因テストでは、必要なトラフィックが少ないにもかかわらず、この方法はあまりにも多くの仮定を強いることになるからです。 どんなに高度な数学であっても、推論よりもハードデータが常に優れている。

タグチメソッドこれはすべての中で最も難解な方法です。 Googleで検索すると、タグチメソッドでテスト時間やトラフィックを大幅に削減できると主張するツールがたくさん出てきます。 異論もあるかもしれませんが、私はタグチメソッドは見せかけのもので、理論的に正しい方法ではなく、一連のヒューリスティックなものだと考えています。 もともと製造業で使われていた手法で、QAなどの実験に必要な組み合わせの数を減らすために、特定の仮定を設けていたのです。 これらの仮定はオンラインテストには当てはまらないので、タグチメソッドによるテストは必要ありません。

Do’s And Don’ts

私は何百もの多変量解析を観察してきましたが、多くの人が同じ間違いをするのを目にしてきました。 以下は、私の経験から得た実践的なアドバイスです。

Don’ts

• テストに多くのセクションを含めないこと。 セクションを追加するたびに、テストする組み合わせの数が実質的に倍増します。 たとえば、見出しと画像をテストする場合、合計 4 つの組み合わせがあります（2 × 2）。 さらにボタンを追加すると、2×2×2＝8通りのテストが可能になります。 組み合わせが増えれば増えるほど、大きな成果を得るためにはより多くのトラフィックが必要になります。

Do’s

• すべての組み合わせをプレビューしてください。 多変量解析テストでは、あるセクション（画像、見出し、ボタンなど）のバリエーションを組み合わせて、ページのバリエーションを作成します。 組み合わせの1つは奇妙に見えるかもしれませんし、さらに悪いことに、非論理的または互換性のないものかもしれません。 例えば、ある組み合わせでは、”15ドル引き “という見出しと “無料購読 “というボタンが組み合わされるかもしれません。 この2つのメッセージは互換性がありません。 プレビューの段階で非互換性を検出し、削除します。
• どのセクションがテストに含めるのに最も価値があるかを決定してください。 多変量解析テストでは、すべてのセクションがコンバージョン率に同じ影響を与えるわけではありません。 たとえば、ヘッドライン、コールトゥアクションボタン、フッターを含める場合、フッターのバリエーションにはほとんど影響がなく、ヘッドラインとコールトゥアクションのバリエーションが勝利の組み合わせを生み出すことが分かってくるかもしれません。 強力なセクション別レポートが得られます。 以下は、Visual Website Optimizerのサンプルレポートです。 ボタンのインパクトが見出し（65％）よりも大きい（91％）ことに注目してください。
• 重要な結果を得るために必要なトラフィックを推定してください。 テストの前に、統計的に有意な結果を得るためにどれくらいのトラフィックが必要かを明確に把握しましょう。 一日に100人しか来ないページに、何十ものセクションを追加している人を見たことがあります。 このようなテストでは、有意な結果を得るには数ヶ月かかるでしょう。 このA/Bスプリットテストと多変量テストの期間計算機のような計算機を使って、テストに必要なトラフィックの量を見積もることをお勧めします。

Case Studies

A/B テストのケーススタディはウェブ上にたくさんありますが、残念ながら多変量テストのケーススタディを見つけることはまだ困難です。

Software Download Case Study: Downloads increased by 60%This is one multivariate test I did to compare different versions of headlines and links.これは、私が行った多変量テストのひとつで、見出しとリンクの異なるバージョンを比較しました。 最終的に、バリエーションの1つはダウンロード数が60%以上増加しました。

Microsoft Multivariate Testing Case Studyこのプレゼンテーションは、このWebサイトでテストされたバリエーションと最終的な勝者について詳細に説明しています。

SiteSpect ケーススタディこのページでは、多変量テストと行動ターゲティングを使用してサイトを最適化する大企業の多変量テストのケーススタディを12件紹介しています。

Maxymiser ケーススタディもうひとつの多変量テストケーススタディのセット。

メールマガジンの多変量テストある代理店は、メールマガジンのコールトゥアクションボタンの色とテキストをテストしました。

Multivariate Testing Tools And Resources

Tools

Google Website OptimizerGoogleによる無料の基本多変量テストツールです。 多変量解析にお金をかける前に、試しに使ってみるには最適です。 デメリットは？ JavaScriptでウェブページのさまざまなセクションにタグ付けする必要があり、面倒です。 また、エラーが発生しやすく、実装のために他の人（技術部門など）に頼らざるを得ない。

Visual Website Optimizer（免責事項：私はこのツールの開発者です）この有料ツールの主な利点は、WYSIWYGエディタでページの異なるセクションを選択して、多変量テストを視覚的に作成できることです。 その後、セクションを個別にタグ付けすることなく、テストを実行することができます（ただし、ヘッダーにコードのスニペットが必要です）。 このツールには、ヒートマップとクリックマップのレポートが含まれています。

WhichMVTA 市販されているすべての多変量テストツールのユーザーレビューを掲載しているウェブサイトです。

エンタープライズ向けテストツールOmnitureのTest&Target、AutonomyのOptimost、Vertster、WebtrendsのOptimize、SiteSpectなどです。

リソース

Expert Guide to Multivariate Testing Success, by Jonathan Mendez多変量テストのさまざまな側面を詳細に説明する一連のブログ記事です。

Online Testing Vendor Landscape Forresterによる、様々なテストベンダーを比較した商用レポートです。

Lessons Learned from 21 Case Studies in Conversion Rate Optimizationこの記事では、異なるケーススタディを通して詳述されたコンバージョン率の最適化のためのアイデアについて説明されています。

You may be interested in the following related articles:

• Ultimate Guide to A/B Testing
• Getting Started With E-Commerce:
• オンライン販売時のオプション
• 商品写真でEコマースデザインを改善する
• 3部構成の「コンバージョン率の最適化」