[ユーザー成長] チャネル成長SOP: 内部チャネルの効率性レビューと分析を簡単に実装

WeChatは重要な社内配信チャネルですが、成熟したゲームノードを通じて配信効率をどのように向上させることができるでしょうか?データ グループは、この目的のために一連の分析 SOP を開発しました。この記事の著者は、内部チャネルの効率改善と成長の SOP の構築で遭遇した問題と解決策を共有します。

WeChatは社内配信のための重要なチャネルです。成長センターはWeChatと緊密に協力し、成熟したゲームノード活動などのさまざまな手段を通じて、WeChatでのIEGゲームの配信効率を向上させています。 Growth Data Group は、配信中に発生した問題を迅速に特定できるように、内部チャネルの効率性向上に関する一連の分析 SOP を開発しました。次に、社内のチャネル効率向上 SOP の構築と分解方法において遭遇した問題についてお話しします。

1. 事業背景

まず、理解しやすくするために、WeChatの配信シナリオを簡単に紹介しましょう。

その製品形態を下図に示します。主な配信リソースには、公式アカウント、ミニプログラム、ビデオアカウントゲームセンターなどが含まれます。そのうち、「WeChatゲーム」公式アカウントとディスカバリーページゲームレッドドット+センター広告は、仮想ゴールド割り当てメカニズムを通じて配信される内部チャネル広告リソースです。

データ分析リンクはパッケージリリース→プッシュ→ゲームレッドドット/公開アカウントメッセージ公開→クリック→ダウンロード→登録です。

2. 全体分析フレームワークと重点指標

WeChat の配信プロセスは、アルゴリズムが A ゲーム ユーザー パッケージを生成した後、WeChat がユーザー アクティビティなどのデータに基づいてユーザーをフィルターし、他のゲーム ユーザー パッケージと入札するというものです。入札が成功すると、ゲームメッセージがWeChatパブリックアカウントと赤い点の場所にプッシュされ、ユーザーがクリックしてダウンロードするように促します。

キャンペーン全体の North Star 指標は、露出ダウンロード登録率 (EVR) です。 North Star メトリックに基づいて、キャンペーン ファネルをモデル効果とチャネル パフォーマンスの 2 つの部分に分けることができます。モデル効果は主にユーザー識別プロセスを指し、チャネルパフォーマンスは主にユーザー識別が完了した後のチャネル側の効果データを指します。プロセスを細分化することで、デリバリーファネルの各ステップに明確な検査目標と懸念される指標が設定され、North Star 指標の変化を正確に把握できるようになります。

1. まず、一連の戦略を使用して、ソートする候補セットを選別します。候補セットは大規模なユーザー パッケージです。その後の洗練されたソートアルゴリズムは、このユーザー範囲内でソートし、登録する可能性が高いユーザーを見つけます。したがって、ターゲット ユーザーの候補セット カバレッジが最初のコア指標となります。候補セット内の登録ユーザーの割合を同期間におけるWeChat関係チェーン登録数と比較して評価することで、候補セットが十分かどうかを知ることができます。たとえば、ある期間に登録されたユーザーが 100 人いるのに、候補セットに登録されたユーザーは 50 人だけであるとします。その後の選別方法にかかわらず、最終的にパッケージから除外される登録ユーザーの数は 50 を超えることはありません。
2. モデルのユーザー識別段階では、主にモデル効果、つまりモデルが潜在的可能性の高い登録ユーザーを選別できるかどうかに焦点を当てます。パケット数に制限があるため、エンドユーザー識別の精度、つまりモデルの上位 500 万人のユーザーのリコール率を最大化する必要があります。
3. WeChat でユーザー パッケージが設定されると、WeChat によるフィルタリングと入札を経て、元のモデル レイヤーの配分が変更されます。このステップは現在ブラックボックスであるため、パッケージ外の登録率と公開された登録率を比較することによってのみ、WeChatフィルタリングが登録に与える影響を評価できます。
4. WeChat がターゲット ユーザーに広告をプッシュした後、広告コピーと素材の品質が露出とクリック率に直接影響します。
5. ユーザーがゲームに興味を持ち、ダウンロードをクリックして続行すると、この手順により、一部のメーカーによる傍受により、チャネル パッケージが置き換えられます。このステップの損失は、チャネルシェアとリレーションシップチェーンシェアを通じて評価できます。
6. 最後に、登録段階になると、ユーザーのダウンロード状況を比較し、通常のファネルを経由してきたユーザーに加えて、登録したがダウンロードしなかったユーザー、ダウンロードをクリックしたが最終的にコンバージョンしなかったユーザーの状況を分析できます。これにより、ユーザー変換リンクの多様性を理解するのに役立ちます。

ユーザーセグメンテーションを通じて、モデルがトップユーザーを正確に識別するかどうかを確認できます。最終的なクリックスルー率の低下を引き起こした特定のユーザーセグメントの変更をさらに評価するにはどうすればよいでしょうか?階層化貢献指数を定義して、階層化の変化が全体の指数に与える影響を説明し、その特定に役立てます。

• ユーザー層によって登録コンバージョンの可能性は異なります。 2 つのキャンペーンを比較すると、WeChat のブラック ボックス フィルタリングにより、ユーザー層の実際の露出分布は、元のユーザーが丸で囲まれたときの均一分布から不均一な分布に変化しました。さらに、2 つのキャンペーンでは、異なる層の実際の露出の変化が異なり、異なる層の実際の露出とクリックスルー率も異なりました。レイヤー化された露出の変化はフィルタリングによって影響を受け、クリックスルー率は素材によって影響を受けます。これら2つは互いに独立しています。
• 階層化されたクリックスルー率貢献度指標は、素材の影響を説明できます。露出が変化しないと仮定すると、さまざまなレイヤーのクリックスルー率の変化による全体的な影響を評価できます。各レイヤーについて、現在のクリックスルー率と以前のクリックスルー率の差を計算します。露出量が変化しないと仮定して、レイヤーの現在の露出と現在のレイヤーの合計露出の比率を重みとして使用し、クリックスルー率の寄与を計算します。
• 階層化露出貢献指標は、主にブラック ボックス フィルタリングによって引き起こされる露出分布の変化が全体的なクリックスルー率に与える影響を説明するために使用されます。各レイヤーについて、現在の露出と前回の露出の差の合計露出に対する比率を計算し、この比率をレイヤー トラフィック変化率として使用します。クリックスルー率が変わらないと仮定して、現在のクリックスルー率とレイヤーの合計クリックスルー率の差を重みとして使用し、露出の寄与を計算します。
• 2 つの配信を組み合わせることで、クリックスルー率とトラフィックの変化によってもたらされたレイヤーの合計貢献を計算できます。クリック率が前回配信時よりも低い場合、レイヤー 1 と 17 のレイヤー寄与が大きく、これがクリック率低下の主な要因となっています。トラフィックの変化を観察すると、ヘッド レイヤー 1 (モデルがコンバージョン確率が高いと判断するクリック率の高いユーザー) の実際の露出が大幅に減少し、テール レイヤー 17 (モデルがコンバージョン確率が低いと判断するクリック率の低いユーザー) の実際の露出が増加していることがわかります。全体の露出があまり変わらない場合、レイヤーの露出の変化により全体のクリックスルー率は低下します。

3. 事例分析

次に、上記の SOP プロセスを使用して、実際の配送ケースを分析します。この事件の背景は、あるゲームの仮想ゴールド配信における指標の変動です。 3 月の出産の曝露登録率は急激に減少する傾向にあるのに対し、4 月の EVR は大幅に増加していることが観察されます。 EVR 変動の原因を分析する必要があります。

3月から4月までのゲームのEVR変化傾向と露出レベル（データセキュリティ上の理由から座標軸の値は非表示になっています）：

上記のファネルに従って、レイヤーごとに分析し、North Star インジケーターの変動の原因を特定します。

まず、パッケージをリリースする前に、登録された人口に対する候補セットのカバー率に大きな変化がないかどうかを最初に確認します。ここで主に考慮する指標は、登録ユーザーの候補セットの再現率です。このメトリックは、モデルが選択できる登録者の数の上限を表します。通常の状況では、候補者セットに大きな調整がなければ、候補者セットに含まれる登録者の割合は比較的安定しているはずです。

候補者セットのリコール率が大幅に低下した場合、パッケージ配信プロセス全体が開始する前に、到達できる登録者数の上限が低くなるため、この配信の有効性がある程度低下することが予想されます。

このとき、候補セットの変更の原因を特定する必要があります。たとえば、以前のユーザー アクティビティ フィルタリング戦略によって除外されたユーザーが多すぎたのか、シーン クリック フィルタリング戦略によって除外されたユーザーが多すぎたのか、あるいはその他の理由なのかを調べ、それに応じて調整する必要があります。

上の図は、ゲームの候補セットの再現率の変化傾向を示しています。候補セットの再現率と EVR は基本的に同じ変化傾向を示しており、変曲点も基本的に同じであることがわかります。 3.7 から 4.4 の間では、候補者セットに含まれる登録者の割合が大幅に増加します。露出とクリックのアクティブ候補セットの観点から見ると、3.7 の 24.7% から 4.4 の 45.8% に増加し、ほぼ 2 倍になっています。同じ期間のEVRも0.005%から0.191%に増加します。対照的に、4.25 期間の候補者セットのリコール率は大幅に低下し、それに応じて EVR は 4 月の他の期間よりも大幅に低くなります。

これは、モデルの候補セットに含まれる人数が3月上旬に急激に減少し、その結果、モデルが選択できる登録人数の上限が減少し、曝露登録率に影響を与えたことを示しています。その後、候補者セットがカバーするWeChat関係チェーンの登録者数は徐々に回復し、4月上旬には2月末の水準にほぼ戻りました。モデルが選択できる変換数の上限が増加しました。モデルの機能が安定していれば、より多くの潜在的コンバージョン ユーザーを選択して、全体的な EVR を向上させることができます。

候補セットが EVR に与える影響を判断した後、次のステップはモデルの機能が安定しているかどうかを評価します。ここで選択された指標は、候補セット精度と上位ユーザーの登録率であり、それぞれ候補セットでカバーされている登録者数と上位 500 万人のユーザーがカバーしている登録者数を表します。候補者セット内の総人数があまり変わらない場合、これら 2 つの指標の変化傾向を比較することで、モデルのパフォーマンスが期待どおりかどうかを判断できます。

モデルの機能が比較的安定している場合、候補セット内の登録人数とモデルによって選択される登録人数は比例して増加または減少するはずです。つまり、候補セットの登録率とモデルのトップユーザーの登録率は同じ上昇/下降傾向を示します。候補セットの登録率が上昇している一方で、モデルの上位ユーザーの登録率が大幅に低下している場合は、モデルのパフォーマンスが異常に低下しており、この問題でモデルの何が問題であったかを確認する必要があります。

以下では、ゲームの候補セットの精度と上位 500 万人のユーザーの登録率を比較しました。ほとんどの期間において、両者は基本的に同じ上昇傾向と下降傾向を示していることがわかります。上位500万人の登録率が低い場合、同時期の候補セットの精度も基本的に同じ割合で低下しており、3月の上位500万人の登録者数の減少は、候補セットの登録者総数の減少によるものであることがわかります。

さらに、3月11日から4月7日まで、上位500万人のユーザーの登録率が大幅に増加しており、この期間の候補者セットの増加をはるかに上回っていることがわかります。これは、候補セット内の登録ユーザー数はあまり増加していないものの、モデルが以前の期間よりも 2 倍以上の登録ユーザーを除外したことを示しています。これらの期間におけるモデル機能の向上も、EVR 増加の主な理由の 1 つであることがわかります。

候補セットの精度とトップユーザーの登録率を比較するだけでなく、トップユーザーのリコール率を通じてモデルのパフォーマンスも評価します。この指標は、モデルによって選択された上位ユーザーがカバーできる登録ユーザー総数の割合を表します。モデルの予測能力が強力であれば、選択された高品質ユーザーは潜在的価値の高い登録ユーザーを代表することができ、上位ユーザーは登録ユーザーのほとんどをカバーできるはずです。末尾のユーザーに上位のユーザーよりも多くの登録ユーザーが含まれている場合、モデルによって予測される確率に偏りがある可能性があることを意味します。

以下は、過去 2 か月間のゲーム上位 500 万人のユーザーの想起率です。 3月7日のリリースから4月4日まで、トップユーザーの想起率は13.3%から88.6%へと75.3%も増加していることがわかります。この増加は候補セットの変化よりもはるかに大きく、モデル機能の向上を裏付けるものであり、3月末以降にモデルによって選択された高品質ユーザーが登録ユーザーのより高い割合をカバーしていることを示しています。

候補セットとモデルの影響の最初の部分から、3 月から 4 月にかけての候補セットとモデルの変更が、ゲームの仮想ゴールド配信の EVR の大きな変動の 2 つの主な原因であると結論付けることができます。次に、実際の配信プロセス中に、ファネルの後続リンクのチャネルパフォーマンスに EVR の変化傾向をもたらす他の要因があるかどうかに注目します。

パッケージがリリースされた後、ユーザーに広告素材をプッシュする過程で、ユーザーの入札や事業者側のフィルタリングにより一定の割合の損失が発生し、そのすべてが露出されるわけではありません。あるキャンペーンにおいて、ほとんどのユーザー、特に上位の高品質ユーザーが十分に露出されず、末端のコンバージョン率の低いユーザーの露出率が高くなると、キャンペーンの効果は当然低下します。

ただし、この結果は絶対的なものではありません。少数のトップユーザーのみが露出している場合でも、この露出部分がほとんどのユーザーをカバーしていれば、コンバージョン効果も高くなる可能性があります。したがって、ユーザーのクリックしてダウンロードしたり登録したりする行動を見る前に、実際にアプリを他のユーザーにプッシュするユーザーの割合を監視する必要があります。

下の図は、バグリリースのレベルが同じで候補セットのリコールが比較的近い 2 つの期間 (3.31 と 4.4) を比較し、バグ露出率を比較しています。これら 2 つのキャンペーンにおける上位ユーザーの露出率は 10% から 30% の範囲で高くなかったことがわかります。逆に、3.31キャンペーンの露出率は高かった。したがって、上位の高品質ユーザーの露出が不十分だったことが、4.4 キャンペーンと比較して 3.31 キャンペーンの EVR が低くなった主な理由ではありません。

トップユーザー間の露出の違いによって生じる EVR の違いをよりわかりやすく説明するために、2 つのフェーズにおける別のゲームの露出率の比較を以下に示します。 3月3日にリリースされたゲームのEVRは4月8日のものよりはるかに高かった。下の図の露出率から、3月3日にリリースされたゲームのトップユーザーの露出率が4月8日よりも大幅に高く、露出ユーザーがトップに集中していることがはっきりとわかります。逆に、4月8日にリリースされたゲームの露出ユーザーはテールに集中しており、3月3日にリリースされたゲームのテール露出よりも大幅に高くなりました。この 2 回のゲームのリリースでは、露出率の違いがコンバージョン効果の良し悪しを左右する主な要因の 1 つでした。

コピーライティング資料をユーザーにプッシュした後は、ユーザーのチャンネルのパフォーマンスに注意を払う必要があります。プッシュ後の次のステップはクリックです。配信全体のクリックスルー率に大きな変化があるかどうかを監視する必要があります。もしそうなら、クリックスルー率が変動する原因は何でしょうか?コピーや素材の質が悪いために、ユーザーがクリックする意思がないのでしょうか?それとも配信されるユーザーの質が高くなく、ゲームの広告に興味がないからでしょうか？それとも、テールユーザーの露出レベルが高すぎるため、クリックする人の数が同程度であるにもかかわらず、総露出レベルが増加し、全体的なクリックスルー率が低下しているのでしょうか?後者の 2 つの点については、100 万人のユーザーごとの CTR と露出レベルが全体の CTR に与える影響を評価するために、階層化された CTR 貢献度指標を設計しました。

上の図はゲームのクリック率を示しています。 3 月のクリック リンクの損失は 4 月よりもはるかに大きいことがわかります。 4 月のクリック率は 3 月よりも大幅に高くなっています。クリックスルー率 4.4 は 3.31 のほぼ 3 倍です。

3 月 31 日を実験グループ、4 月 4 日をコントロール グループとして、クリックスルー率の寄与を計算しました。次の図は、クリックスルー率の違いが主に 2 つの理由によって生じていることを示しています。

まず、2 つのキャンペーンの上位 100 万人のユーザーの CTR はかなり異なります (左側の赤いボックスでわかるように、上位 100 万人のユーザーの CTR の差が、CTR 3.31 が 4.4 よりも低いという結果に 20% 寄与しています)。これは、2 つのキャンペーンのトップユーザーの質が異なるためです。 4.4の上位500万人の登録ユーザー数は3.31の2倍以上です。

2 番目に、3.31 期間の終わりに露出されたユーザー数は、4.4 期間のそれよりもはるかに多くなっています。これは上記の露出率チャートから確認できます。露出されたテール ユーザーの数が多すぎるため、全体的なクリックスルー率が低下しました (右側の赤いボックスからわかるように、テール露出レベルの寄与は比較的高く、3.31 リリース終了時に平均を下回るクリックスルー率のユーザーが多すぎるため、全体的なクリックスルー率が低下したことを示しています)。

ユーザーがクリックした後、リンクからダウンロードして登録することになります。ここには2つの側面があります。 1 つは、ユーザーがダウンロード後に登録するかどうかであり、もう 1 つは、登録されたユーザーが当社のチャネル/シナリオを通じてダウンロードするかどうかです。

第一の視点から見ると、ダウンロードしたユーザーのほとんどはゲームを好みはしているものの、ダウンロード後にゲームを登録しないと考えられるため、ユーザーがダウンロード後に登録しない理由を分析することは困難です。登録手続きが面倒だったり、メモリが足りなかったりするのかもしれません。しかし、これらの問題に私たちが介入することは困難です。したがって、このリンクでは、主に、登録ユーザーがチャネル シナリオでゲームをダウンロードしたかどうかを分析することに焦点を当てています。

これらのユーザーは、パッケージの配信を受けたユーザーの中から変換されますが、ダウンロード リンクでは当社のチャンネルに関連付けられません。登録ユーザーの多くが当チャンネルからダウンロードしない場合、その理由は何でしょうか?

ここで注目する指標は、登録したがダウンロードしなかったユーザーの割合です。下の図からわかるように、コンバージョン率がより高かった 4.4、4.7、4.14 の期間では、登録ユーザーのうち当社のチャンネルからダウンロードしなかった (EVR の向上に貢献できなかった) のは約 10% のみでした。コンバージョンが悪かった3月と4.25では、ダウンロードしなかった登録ユーザーの割合が約15％〜20％であり、ダウンロードリンクでより多くの潜在的有望な登録ユーザーが失われていることが示されており、これも3月のキャンペーンのコンバージョンが悪かった理由の1つでした。

上記のような状況が発生し、登録ユーザーの多くが当チャンネルからダウンロードしない場合は、この状況の原因を分析する必要があります。

現時点では2つの状況が考えられます。 1 つは、これらのユーザーが WeChat 以外のチャネルまたは外部チャネル (WeChat、QQ、App Store などではない) を通じてダウンロードしたことです。もう 1 つは、WeChat チャネル経由でダウンロードされたが、私たちのシナリオ (公式アカウント、赤い点) ではダウンロードされなかったことです。 SOP プロセスでは、これら 2 つの状況を個別に監視します。

最初の状況では、私たちが監視する指標は、アプリをダウンロードしていない登録ユーザーのうち WeChat チャネルの割合です。アプリをダウンロードしていない登録ユーザーのうち、WeChat チャネル経由でアプリをダウンロードした人数、他の社内チャネル経由でアプリをダウンロードした人数、外部チャネルに先取りされた人数を確認します。

2番目の状況では、WeChatチャンネルに登録したがダウンロードしていないユーザーの割合に注目します。このインジケーターは、WeChat チャネルに登録したユーザーの数のうち、このシナリオでダウンロードしたユーザー数と、WeChat チャネルの他のシナリオでダウンロードしたユーザー数を表示できます。

ダウンロードしていない登録ユーザーの割合が最も高い 3.11 期間と 4.25 期間を例にとると、上記の 2 つの状況の違いが明確にわかります。

• 下の図は、WeChat チャネルを通じて登録した、ダウンロードしていない登録ユーザーの割合を示しています。 3.11 にダウンロードしていない登録ユーザーの割合は 2 か月間で最低の約 43% であったことがわかります。これは、3.11 期間中にダウンロードしていない登録ユーザーの割合が高かったのは、ダウンロード リンクで外部チャネルに先取りされたユーザーが多かったためであることを示しています。ダウンロードのない登録ユーザーの割合も高かった4.25期間では、ダウンロードが当社のチャネルに帰属しない登録ユーザーの80％が依然としてWeChatチャネルを通じて登録されていました。これは、ダウンロードしていない登録ユーザーの割合が高いのは、外部チャネルによって先取りされたためではないことを示しています。

• 下の図は、WeChat チャンネルに登録しているユーザーのうち、アプリをダウンロードしていないユーザーの割合を示しています。期間4.25は、過去2か月間にアプリをダウンロードしていないWeChatチャンネルの登録ユーザーの割合が最も高いことがわかります。これは、ダウンロードが外部チャネルによって先取りされていないにもかかわらず、期間 4.25 の登録ユーザーの多くがパブリック アカウントと赤い点を好まず、WeChat チャネルの他のシナリオでダウンロードしていることを示しています。

SOP フレームワークを使用して、3 月から 4 月にかけてのゲームにおける EVR の変化を分析すると、いくつかの主要な結論を導き出すことができます。

3 月末に、アウトオブバンド テストの候補セットが調整され、モデルにも大きな変更が加えられ、次のような結果になりました。

1. 4月の候補者集合のリコール率は上昇し、カバーされた登録者数は3月より大幅に増加しました。
2. トップユーザーの精度率が大幅に向上し、モデル能力が強化され、選ばれたトップユーザーがより多くの登録をもたらしました。
3. 3 月のキャンペーンのクリック率は 4 月のキャンペーンよりも大幅に低下しました。まず、2 つのキャンペーンのトップユーザーの質が異なり、トップユーザーのクリック率に大きな差が生じました。第二に、3.31 キャンペーン終了時に感染したユーザー数は、4.4 キャンペーンのときよりも大幅に多かった。最終的に露出したユーザーの数が多くなったため、全体的なクリックスルー率が低下しました。
4. 3 月 25 日と 4 月 25 日には、ダウンロード リンクで失われた潜在的価値の高い登録ユーザーの割合が増加しました。 3 月 11 日の期間は、ダウンロード リンクで外部チャネルに先取りされたユーザーが増えたためであり、4 月 25 日の期間は、公式アカウントとレッド ドットのシナリオを好まない登録ユーザーの割合が高くなったためです。

4. 最後に

V1.0 成長 SOP は、パッケージ配信後に重点を置いており、単一の配信の影響を確認し、異常な問題を迅速に特定することを目的としています。問題のある特定の配送が発見された後に実行されるドリルダウン分析です。市場データの変動から問題のあるゲームとそれに対応するローンチをどのように見つけるかが、次に解決しなければならない重要な課題です。

次に、ゲーム配信リンクに注目します。アルゴリズムがパッケージをリリースした後、リリースされる前に、パッケージの健全性をチェックし、いくつかの一般的な問題を発見するためのメカニズムを挿入します。検査結果に応じて一部のテールユーザーを適時に交換し、パッケージの変換効率を向上させることは便利です。つまり、投資前分析SOPと投資後分析を組み合わせて、配送効率を継続的に向上させます。

著者: harrylhcao

出典：WeChat公式アカウント：テンセント講堂