活動効果評価システムを構築するには？

データのセグメンテーションを行う学生は、評価活動などの困難に遭遇することがよくあります。この記事では、評価活動でよくある間違い、重要な質問、その答え方などを詳しく紹介します。お役に立てれば幸いです。

「この出来事を評価するように求められたら、どのように分析しますか？」面接でも就職でも、データ分析を行う学生はこの質問によく遭遇します。今日は体系的に説明していきます。

シーンの復元:

音楽アプリは、新規ユーザーに登録時に 7 日間のメンバーシップを提供します。登録後、ユーザーはクリックしてメンバーシップを受け取るかどうかを決定できます。会員期間は1ヶ月間となります。質問: この活動をどのように評価しますか?

1. 活動評価におけるよくある間違い

まず、 evaluate/evaluate/judge を動詞として使用するすべての質問に対して、答えは「良いか悪いか」だけであることを覚えておいてください。

たとえば、この活動をどのように評価しますか?次のように答えることができます:

• この活動は非常に良いので継続されるべきです。
• この活動は良くないので実行できません
• この活動は良いことでも悪いことでもなく、無駄だ
• この活動は何も変えていないので、やっても無駄だ

これが評価分析の中心的な結論です。これら 4 つの文がなければ、他のすべては意味をなさない。例えば：

• イベント期間中に4万人の新規ユーザーが登録
• イベント期間中の登録者数はイベント前より1万人増加した。
• イベント期間中の新規ユーザーのクリック率は80%でした。
• イベント期間中、新規ユーザーは30％の金利を享受できます

これらは結論ではなく、単なる分析プロセスです。結論を出さずにこれらのプロセス指標をただ投げ出すと、ビジネス側から「だから何? だから何? 何を分析した? 結論はどこにある?」と簡単に質問されてしまいます。結局、恥ずかしい思いをすることになります。

II.活動評価における重要な問題

活動を評価するには、まず良い/悪い評価をしなければなりません。評価が良ければ、継続できるかどうか、何回できるかを確認します。評価が悪い場合は、どこに問題があるのか​​、絶望的に悪いのか、それとも保存して使い続けることができるのかを確認します。

データ + 注釈 = 判断。したがって、良い/悪い判断を下すには、次の 2 つが必要です。

• 明確な評価指標
• 目標値をクリア

基準を満たしていれば良いです。基準を満たさない場合は、良くありません。とても簡単です（下の図を参照）。

単純に思えますが、実際には、操作では次のようなことが頻繁に行われます。

• 困惑: 上司に言われたからやっているのに、なぜ?私も知りませんし、聞く勇気もありません。
• Dai Toudainao: とにかく新しい人を募集したいだけなんです、OMG!
• 近道をする: すでに実行されている/他の人が実行しているから、そのまま実行します。
• 困難な状況に挑む：これは、データでは測定できないユーザーの精神的リソースを変えることです。

つまり、10 人のオペレーターのうち、現在の状況と目標を正確に説明できるのは 2 人だけです。このとき、データアナリストには独立した判断能力が求められます。ビジネス ロジックを分析し、ビジネス プロセスを整理することによってのみ、客観的な結論を導き出すことができます。ここでは、完全に混乱したシナリオを例として取り上げ、操作の目的を明確にする方法を説明します。

3. 評価モデルをゼロから構築する方法

1. 活動プロセスを整理する

運用活動によってユーザーの行動が変化し、それがデータ指標の変化に反映されます。評価モデルをゼロから構築する場合、最初のステップは、アクティビティの具体的なプロセスと、アクティビティによって引き起こされる可能性のあるユーザー行動の変化を理解することです。たとえば、質問内の新規ユーザーのメリットは、次のように分類できます (下図を参照)。

行動の変化を理解した後、これらの行動を記録するためにどのようなデータを使用できるか、またどのような指標が変化を反映できるかをさらに検討できます。整理すると、活動の結果を測定するための指標が明確にわかります。これらのタスクは、計画段階で運用によって実行される必要があります。事前に十分に準備しておかなければ、後から補わなければなりません。

2. スクリーニングの主要指標

活動はさまざまな側面に影響を及ぼす可能性があります。例えば、上記の質問では、贈り物を贈るイベントがあります。あなたが言った：

1. 新規ユーザー登録を増やすことができます - 問題ありません。
2. 会員購入の可能性を高めることができる - チャンスがあるようだ
3. 顧客ロイヤルティを高め、顧客離れを減らすことができる - 理にかなっているように思える
4. DAUを増加できます！ ——そうですね、理論的には新規登録が増えればDAUも増えると思います。

データを見ずに人々の言うことだけを聞くと、もちろん上記は意味をなします。しかし、もし本当にすべてをぶち壊して、離脱していないユーザーが何パーセントで、そのうち無料会員が何パーセントで、商品自体が何パーセントで、曲数が何パーセントなのかを計算してほしいと頼んだら、それが明確にわかるとしたら奇跡でしょう。したがって、問題を明確にしやすくするために、評価指標に優先順位を付ける必要があります。

目標が事前に設定されている場合、活動の主な指標は目標と密接に関連している必要があり、直接影響を受ける指標が優先される必要があります。たとえば、新しいユーザーを引き付けるための活動であれば、主な指標は新規登録ユーザーの数になります。新規ユーザーの維持率を高めることが目的の場合、主な考慮事項は 1 ～ 7 日以内の維持率です。

これは単純なことのように思えますが、実際にはオペレーターが状況を利用するのは簡単です。オペレーション部門では、影響力のある指標について話すのが好きで、「私の活動によってユーザーの精神的認知が深いレベルで変化し、データでは測定できないほど広範囲にわたる影響がもたらされました」などと言うことさえあります。つまり、彼らはたくさんの指標を持ち込んで、良さそうなものについて話し、良くないものについては話さないのです。

データ評価を行う際に最もタブーなのは、何百もの指標を作成し、非常に複雑な評価式を作成することです。混ざり合うものが増えるほど、言葉遊びの余地が増え、状況をごまかしやすくなります。評価がシンプルで明確であればあるほど、問題を特定しやすくなります。

3. 判断基準を設定する

主要な指標が明確で、判断基準がわかります。標準を見つけるための基本的な考え方は 4 つあります。

1. 全体的な結果から始めて、合計金額を確認します。たとえば、今月 100,000 人の新規ユーザーが必要な場合は、100,000 人を達成する必要があります。
2. 何もしていないときと比較して、増加を確認します。例えば、活動がなければ月給は5万ですが、活動があれば5+5万、プラス5万を基準に給与を決めます。
3. 過去の活動と比較して効率を確認します。例えば、新規会員獲得活動には通常、新規会員1人当たり100元の費用がかかるため、今回はそれを超えることはできません。
4. 参加していないユーザーと比較して違いを確認します。例えば、グループを非参加グループ/参加グループに分け、参加グループの新規登録数/維持率を比較します。

企業の観点から見ると、最初の方法が間違いなく最も実用的です。しかし、活動を組織するという観点からは、誰もが自分の貢献を強調したいので、方法 2、3、または 4 を使用する傾向があります。運用では、自然成長率 (活動がない場合の自然成長は何か) について話したがります。そして、自然成長率を低く計算しすぎたり、マイナスの数値にしたりして、活動が非常に印象的であるように見える傾向が常にあります。

いわゆる自然成長率は、活動が頻繁でない場合にのみ計算できることに留意する必要があります。多くのビジネス（電子商取引や O2O など）では、継続的なアクティビティがあり、大きなアクティビティが区別できない小さなアクティビティに埋め込まれています。現時点では適用されません。

同様に、参照グループを設定する前提は、参照グループにはアクティビティリマインダーやアクティビティ参加機能がまったくなく、参照グループとアクティビティグループのユーザーの質が似ていることです。この制限が満たされない場合、その活動が効果的であると直接結論付けることは困難です。これらの方法は科学的に見えますが、実際にはトリックの余地がたくさんあります。問題を明確に議論したいのであれば、基準を単純かつ直接的に設定してください。

4. 結果に影響を与えるプロセスを見つける

上記のステップ 1、2、3 はすべて、判決に至る道を開くためのものです。 「良い/悪い」の判断があります。なぜそれが良いのか、なぜ悪いのかをさらに分析することができます。このとき、業務プロセスを洗練・整理し、成果に影響を与える重要なポイントを見つける必要があります。例えば、新規顧客獲得活動、広告チャネル、広告文言、登録プロセス、登録後の特典の促し方、会員特典獲得までのプロセスなどが影響します（下図参照）。

これらの指標を分析するときは、優先順位に注意してください。たとえば、新規ユーザー登録に関連する問題などです。まず、各ユーザー ソース チャネルの配信の強さ、アクティビティがタイムリーに開始されているかどうか、そしていつ配信と組み合わされているかを確認する必要があります。その後、コピー、イベントギフト、受取後の行動などについて詳細な分析を実施します。

IV.まとめ

面接でこの質問を使用すると、新人、初心者、ベテランの違いが一目でわかります。

Cainiao: ユーザーの増加、製品体験、ブランドの影響力、商業収益など、4 つの主要な側面を考慮すべきだと思います。その後、ブランドの影響とその測定方法について質問する機会をつかむことができ、基本的にこの質問で彼を困らせることができます。初心者と初級者の間の最大の違いは、データを収集する必要があることすら知らないことです。初心者は、収集するのが難しいが印象的に聞こえる指標を、何もないところから思いつくのが大好きです。

初心者：新規登録数、翌日、3日、7日間の新規ユーザーの維持率、新規ユーザーの会員獲得率、新規ユーザーの維持市場、新規ユーザーのクリック数、会員権を購入した新規ユーザーの数、新規ユーザーの権利や利益の利用頻度などを考慮する必要があると思います...（100を超えるさまざまな指標はここでは省略します）。ニューラルネットワークモデルを確立し、総合的な評価を実施します。

はい、新人はまず指標を積み上げるのが好きで、指標が多ければ多いほど良いようです。次に、私はモデルについて話すのが好きです。モデルが使えるかどうか、自分で使ったかどうかは関係なく、話せば素晴らしいと思います。彼らが無視しているのは、基準の問題だけです。新参者を批判したいなら、「なぜ5万人の成長は良いのに、49,127人は悪いのか」と聞いてみればいい。 「ニューラル ネットワーク評価モデルを構築するとき、良いアクティビティと悪いアクティビティにラベルを付ける人は誰ですか? アクティビティ全体にラベルを付けるべきですか、それとも特定の指標にラベルを付けるべきですか? 異なるタイプのアクティビティを一緒にラベル付けする必要があるのはなぜですか?」これらの質問は基本的に新参者を混乱させるでしょう。

結局のところ、活動評価は、高度な技術よりも明確な思考が重要であり、明確な思考よりも誠実さを維持することが重要なのです。新規顧客の誘致、活性化の促進、維持、転換、分裂など、一般的な運用活動の基礎を理解していれば、通常の運用データを理解し、過去の活動を理解していれば、基本的に正しい答えを出すことができます。恐れられるのは、ビジネス プロセスについての知識があまりにも少なく、他の人が何をしているのかさえ理解していないことです。

著者: 地味な陳先生、公式アカウントより: 「地味な陳先生」