ABtest に加えて、より優れたテスト方法があります。

正確な予測を求めるビジネス部門の要求に圧倒されたことはありませんか?慌てないで！今日は、データに基づかない科学的なテスト方法を通じてビジネスの成長を保護する方法をお教えします。展開からレビューまで、テストプロセス全体を 4 段階に渡って詳細に説明することで、盲目的な予測を避け、データに基づいて話し合い、証拠に基づいてビジネスを成長させることができます。

ビジネス側では、人工知能とビッグデータを使って正確な予測を行うことが求められます。予測の偏差が大きい場合は給与が減額されます。怖いですか？！同様のシナリオはたくさんあります。では、これ以上前置きせずに、早速本題に入りましょう。

問題のシナリオ: インターネット金融会社が広告を通じて投資顧客を獲得する準備をしています。最近、プライベートドメインのトラフィックが非常に人気があると聞いていますが、公式アカウントチャンネルではテストされたことはありません。今後は公式アカウントチャンネルで広告を展開していく予定だ。データ分析部門にビッグデータと人工知能を活用して広告の効果や1回の広告でどれくらいの収益が得られるかを正確に予測するよう依頼してください。あなたがこの会社のデータアナリストだとしましょう...

ちょっと考えてみてください

1. この武器をまだ持っていることを忘れないでください

正解:デタラメな予測!事業部門はデータの原理を理解していないので、分からないことがあれば「ビッグデータと人工知能」を持ち出せばいいのです。しかし、データを扱う人は特に冷静でなければなりません。質問のシナリオによると、これはビジネスでは行われたことがなく、データもないので、どのように予測すればよいのでしょうか?この時点で、まずテストを行ってデータを収集する必要があります。十分なデータが蓄積されたら、予測について話すことができます。

テストは常にデータ分析を通じて問題を解決する手段でした。諺にもあるように、ラバでも馬でも散歩に連れて行きましょう。テストは馬を歩かせるようなプロセスであり、良いか悪いかの結果が一目でわかります。特に、新しいチャネル、新しい製品、新しいチームなどのイノベーションに適しています。古いデータではイノベーションを完全に推測することはできないため、イノベーションをテストすることがさらに必要になります。

しかし、近年では自社アプリをベースとしたABテストが流行しており、多くの新規参入者はより一般的なテスト設計方法を無視しています。今日はそれらを体系的に説明していきます。

2. 設計テストの基本要件

多くの新参者は、テストとは単にビジネス部門に数回実行させることであり、彼らに実行させて、私たちはデータの収集を待つだけだということを当然のことと考えています。この怠惰な考え方は、後であなたに無限のトラブルを引き起こすでしょう。

まず、テストにはビジネスコストがかかります。

たとえば、このシナリオでは、投資の目的は新しいユーザーと新しい投資を引き付けることです。お金を使った後は結果を見なければなりません。そうでないと、上司に間違いなく非難されるでしょう。

次に、関連する質問が生じます。

いくらかかりますか？
エフェクトはいくつ必要ですか?
効果を確認するには何回のテストが必要ですか?
複数回のテストによる損失を許容できますか?

混乱を避けるために、これらを事前に明確に定義する必要があります。

第二に、テストは内容を考慮して設計されています。

例えば、このシナリオでは、最初に綿密な設計を行わないと、ユーザーが惹きつけられるかどうかは、広告の種類、広告のタイミング、コピーライティング、コンバージョンパス、商品の選択、CTA アクションに関係します。単に 1 つを削除すると、他の多くの比較テストが実行できなくなり、有効な結論を導き出せなくなります。

繰り返しになりますが、テストは投資によって影響を受けます。

たとえば、このシナリオでは、高品質のチャンネルには多額の費用がかかる可能性があり、ユーザーへの補助金が他のチャンネルよりも大きくならなければならない可能性もあります。結果として、最初のラウンドは効果がないかもしれませんが、強度を増した 2 回目のラウンドは効果があるかもしれません。したがって、追加投資を行うかどうかは事前に慎重に検討する必要があります。

上記の 3 つの点により、テストは 4 つの段階に分割する必要があり、路上に出る前に十分な準備を行う必要があります (下図を参照)。

3. 展開フェーズ

展開フェーズでは、戦略的な問題に対処します。

テストはどのくらいの期間続くのでしょうか?
テストにどれだけのリソースを投入できるか
どのようなテスト結果が満足できるものなのでしょうか?

このシナリオでは、新しい配信チャネルのテストとして、まずチャネルの位置付けを明確にする必要があります。一般的なものは次のとおりです。

メインチャネル：トラフィックソースの50％以上を占め、主な投資方向
支援チャネル：トラフィックソースの20％以上を占め、二次投資の方向性
限界チャネル: 単一チャネルのトラフィックが5%を超えず、選択的に配信
散在するチャンネル: あってもなくても構いませんが、ないよりはましです

現在の全体的なチャネル配信目標に基づいて、必要なトラフィックを逆計算できます。次に、ビジネス戦略（新しいチャネルを確立することを決意しているのか、それともトレンドに従うだけなのか）に基づいて、タスクを明確に割り当て、このテストにおける新しいチャネルの位置付けを定義します。明確なポジショニングがあれば、どれくらいの資金を投資し、何回それを実行するかを簡単に結論付けることができます。資金、人材、時間などのリソースを定義することで、その後の設計計画がシンプルになります。

4 準備

準備段階では、戦術的な問題を解決します。

どのチャネルをテストしますか?
どのバージョンがテストされていますか?
どの製品がテストされますか?

このシナリオでは、経験がまったくないため、サポートにはサードパーティ/同僚の事例とデータが必要です。 100% 正確なデータを取得することはできませんが、少なくとも次の例に従うことはできます。

どのアカウントが仲間によって投資されていますか?
観察可能な記事の露出とは何ですか?
噂からの変換率はどれくらいですか?
業界ではどのような形式が使われているか

整理した後は、少なくとも大まかな方向性が見えてきます。これは、目を閉じて盲目的に行うよりもはるかに良いことです。ユーザーの観点から見ると、ユーザーの行動に影響を与える要因は包括的であることに注意してください。たとえば、パブリックアカウントチャネルを通じて公開する場合、タイトル、長さ、公開時間、コンテンツの書き方、CTA、コンバージョンパス、製品価格、製品属性などがすべて影響を受けます。

データを使用してテストする場合、上記のすべての要素を 1 つのテストで分解することは困難です。そのため、事前に複数のテストバージョンを用意しておく必要があります。後の分析に備えて、テストバージョン間の違いは大きすぎず、一定の連続性がある必要があります。

上記のすべてが赤太字で強調表示されているのは、実際の作業ではビジネス側が細部にこだわりすぎる傾向があり、その結果、バージョンが互いに大きく異なり、完全に比較できないものになってしまうためです。全体的な変換結果を見る以外に、詳細がまったく一致していないため、詳細な分析を行うことが困難です。

事後分析における困難の 80% は、事前の計画不足によって発生すると言えます。これを覚えておいてください。

5. テストとレビューの段階

準備ができたら、オンラインでテストとレビューを行うことができます。このシナリオはチャネル配信であり、新しい投資ユーザーを獲得することが目標です。そのため、評価結果の指標は比較的単純かつ明確です。コンバージョンしたユーザーの数、ユーザーの投資率、ユーザーの投資額を見るだけで十分です。テスト結果が展開フェーズの目標を達成できる限り、チャネルは適格とみなされ、タスクは完了します。それでもうまくいかない場合は、事前に準備した反復計画に基づいて反復最適化を実行し、結果をさらに観察することができます。

強調すべき詳細は次のとおりです。

結果の判断と原因の分析は分離する必要があります。まず結果が許容できるかどうかを判断し、次にどのリンクに問題があるかを分析します。
反復は順番に実行し、製品、価格、コンテンツを分離する必要があります。一度に 1 つずつ変更するのが最善であり、最悪の場合、3 つすべてを一度に変更しないでください。
内容を一つ一つ変えるのではなく、商品や価格を変えることを優先します。内容が詳細すぎて、すべてを測定するのはコストがかかりすぎるため、製品と価格が優先されます。

このようにデータを見ると、次の順序で展開できます。

VI.まとめ

なぜ最初に、人工知能とビッグデータを使って正確な予測を行う方法を尋ねるのでしょうか?多くの学生が本当にそれを予測できると思っているからです。予測を信じているのはビジネス部門だけではなく、多くのデータアナリスト自身も予測を信じています。彼らは本当に、ほんの数個の数字がビッグデータであり、モデルとパラメータの調整だけが人工知能だと思っているのです。彼らは本当に人工知能は全知全能の神であり、空から金色の光が降ってきてコードをお金に変えることができ、キーボードをタップすると画面から飛び出すことができると思っているのです...