有料会員プログラムの価値を評価するにはどうすればよいでしょうか?この方法は無料です

編集者注: 侵入プロジェクトでは、迅速な運用上の意思決定をサポートするためにテスト制御が必要になることがよくあります。では、どのようなタイプのテスト制御が科学的かつ効果的でしょうか?本稿では、本格的なABテストの限界を踏まえ、新たな有料会員比較評価手法を提案する。見てみましょう。

1. 現在の問題

ビジネスが発展するにつれて、ABテストの本格的な比較には大きな限界があることがわかりました。たとえば、浸透プロジェクトのシナリオでは、プロジェクトの初期段階での浸透率が低いため、本格的な AB テストの比較では全体的な増分値が低くなることが多く、プロジェクトへの投資を継続するかどうかを迅速に決定するための運用をサポートできません。

ペネトレーションプロジェクトとは何ですか?

浸透プロジェクトとは、有料会員やポイントなど、運用サイクル中に高いユーザー浸透率をすぐに達成できないことが予測される製品を指します。これは、コピーの調整や UI の最適化などの要素が実験グループのユーザーに 100% の影響を与える可能性がある通常の AB テスト プロジェクトとは対照的です。

2. 解決策

著者は、業界の関連情報を読んだ後、業界で実装されている実行可能な解決策を見つけることができなかったため、この問題について考え始めました。

この問題を解決するための重要なポイントは次のとおりです。

ノードに侵入したユーザーのコントロール グループを見つけて、2 種類のユーザーのユーザー値データを比較します。

侵入ノードとは何ですか?

侵入プロジェクトのユーザーの中核行動ノードは侵入ノードであることが分かります。たとえば、「有料メンバーシップの購入」動作ノードは有料メンバーシップ プロジェクトに対応し、「ポイントの受け取り」動作ノードはポイント プロジェクトに対応します。

評価手順:

考えた結果、ある方法を見つけました。業界でこの方法を発表した人は他にいないので、この比較方法を仮に「Biluo比較方法」と名付けます。具体的な手順は次のとおりです。

1. データテスト

従来のABテスト手法に従って、浸透プロジェクトをテストします（ABテストの知識はここでは詳しく紹介しません。わからない人は自分で検索して学習してください）。

プロジェクトが実験グループ A とコントロールグループ B の 2 つのグループに分かれていると仮定します。

2. データ復旧

1) グループ A とグループ B のそれぞれについて、実験に参加したユーザーの数とユーザー値に関するデータを収集します。

2) 実験グループ内の侵入ノードのユーザー数とユーザー値データを収集します。

3. データ分析

1) ABグループ浸透ノードのユーザー増分価値評価

実験グループ A の未浸透ユーザーの数と値の計算: 実験グループ A の未浸透ユーザーの数と対応するユーザー値が a3 と A3 であると仮定すると、 a3=a1-a2、A3=A1-A2 となります。

コントロール グループ B の浸透済み/未浸透ユーザーの理論的な数の計算: a2 と a3 がコントロール グループ B の 2 つのユーザー グループに対応すると仮定すると、理論的にはユーザー数の割合は同じになるはずです。これらが b2 と b3 に対応すると仮定すると、 b2=a2*(a1/b1)、b3=a3*(a1/b1)=b1-b2 となります。

• 対照群 B における理論的に未浸透の人口の値の計算: 理論的には、b3 人口の 1 人当たりの値は a3 人口の値と一致します。 b3 集団の合計ユーザー値を B3 と定義すると、 B3=b3*(A3/a3)となります。
• 対照群 B の理論的な普及人口値の計算: 上記のデータに基づいて、対照群 B の理論的な普及人口値を簡単に導き出すことができます。これを B2、つまりB2=B1-B3とします。

実験グループAにおける侵入ノードの増分ユーザー価値の計算:

△実験群Aの普及ノードにおけるユーザの増分価値増加率 = (b2*A2/a2-B2)/B2

2) AグループとBグループのユーザー価値データの比較

実験グループAのユーザーの増分価値の計算： △実験グループAのユーザーの増分価値の増加率 = (b1*A1/a1-B1)/B1

3) 普及プロジェクトの普及率の上限を推定し、これを用いて普及率が高い場合のプロジェクトの理論的な増分値を推定する

プロジェクトの普及率の推定上限をXと仮定すると、1≥X≥a2/a1であることは明らかです。この普及率では、a2 および a3 グループの 1 人当たりの価値は変わらないと仮定すると (実際、普及率が徐々に上昇するにつれて、両方のタイプのユーザーの 1 人当たりの価値は低下する可能性があります)、このプロジェクトの普及率では、新しい状態ではより広範な市場の増分ユーザー価値が全体的に向上し、計算ロジックは現在の状態と一致します。

4. 例を挙げる

1) データテスト

あるAPPの有料会員プロジェクトを例に、有料会員プロジェクトに対して5:5の比率でABテストを実施しました。

2) データ復旧

a.大規模実験に参加したユーザー数と、グループ A と B の有料会員のクロスユーザー データをそれぞれ収集します。

相互定義: 特定のプラットフォーム上で 2 つ以上のビジネス取引を完了したユーザー。

b.実験グループ内で有料メンバーシップを購入したユーザーの数と、対応するクロスユーザー データを収集します。 「有料会員購入のクロスオーバー率は 24% = 240/1000 です」

3) データ分析

a.有料会員を購入したユーザーの増分価値の評価

実験グループ A で有料会員を購入しなかったユーザーの数と、それに対応するクロスユーザーの数:

• 実験グループAのうち有料会員を購入しなかったユーザー数 = 10,000 - 1,000 = 9,000。
• 実験グループ A で有料会員を購入しなかったクロスユーザーの数 = 1050-240 = 810。「無料会員のクロスオーバー率は 9% = 810/9000」

コントロール グループ B で有料メンバーシップを購入したユーザーと購入しなかったユーザーの理論的な数は、次のように計算されます。有料メンバーシップを購入したユーザーと有料メンバーシップを購入しなかったユーザーの理論的な数は、それぞれ 1,000 人と 9,000 人です。

• 理論的には、有料メンバーシップを購入しなかったコントロール グループ B のユーザーのクロスオーバー効率は、実験グループ A のユーザーのクロスオーバー効率と一致するはずです。したがって、有料メンバーシップを購入しなかったコントロール グループ B のクロスオーバー ユーザーの数は、9000 * (810/9000) = 810 です。
• 理論的には、コントロール グループ B で有料メンバーシップを購入するクロスユーザーの数は次のように計算されます。上記のデータに基づいて、コントロール グループ B で有料メンバーシップを購入するクロスユーザーの理論的な数は 1000-810=190 であると簡単に結論付けることができます。

実験グループ A で有料メンバーシップを購入したクロスユーザーの増加率:

△有料会員を購入した実験グループAのクロスユーザー増加率＝（240-190）/240＝20.83％。

b.グループAとグループBのユーザー価値データの比較

実験グループAのクロスユーザー増加率の計算： △有料会員を購入した実験グループAのクロスユーザー増加率＝（1050-1000）/1000＝5％。

紀元前普及プロジェクトの普及率の上限を推定し、これを使用して高普及率下でのプロジェクトの理論的な増分値を推定します。プロジェクトの普及率の推定上限が 50% であると仮定します。

この普及率では、有料会員権を購入するユーザーと有料会員権を購入しないユーザーの間のクロス効率は変わらないと仮定すると（実際、普及率が徐々に上昇するにつれて、両方のタイプのユーザーの一人当たりの価値は低下する可能性が高い）、普及率が50％の場合、市場の増分クロスユーザー比率の対応する増加は（2600-1000）/ 1000 = 130％になります。

結論

要約すると:

このソリューションの核心は、シミュレーション計算を通じて、侵入ノード ユーザーのコントロール グループ内の同じユーザーの値データを見つけ、比較的合理的な比較を得ることです。

この方法にはいくつかの利点があります:

プロジェクトの浸透率が低く、市場の増分価値の比較が明確でない場合、このソリューションは理論上の浸透ノードユーザーのコントロールグループを見つけることができ、それを運用に適用して、プロジェクトをさらに推進できるかどうかを迅速に判断できます。

しかし、それには限界もあります。

AB テストと同様に、すべての増分データは現在のデータ増分のみを反映でき、長期のデータ増分として直接見なすことはできません。普及率が上昇するにつれて、高い普及率の下でプロジェクトによって推定された理論上の増分値は実際には正確ではなく、盲目的に過大評価される可能性があります。

著者: Biluo、WeChat 公開アカウント: Operational Meditations