データ分析の究極の質問：指標の変動がどの程度大きいとみなされるのか？

データ分析の世界では、指標の変動の重要性と影響を理解することは、すべてのアナリストが習得しなければならないスキルです。この記事では、ハード指標からソフト指標、限界指標に至るまで、指標の変動をどのように定義し、対応するかについて詳しく説明し、変動の背後にある意味とビジネス上の意思決定への影響を明らかにします。

「今日の変動を分析する」というのは、データアナリストが最もよく聞くタスクです。それはまた、最も面倒で、最も混乱を招き、最も理解するのが難しい、そして毎日実行しなければならないタスクでもあります。

1% の低下は大きな変動とはみなされません。

5% の低下は大きな変動とはみなされません。

10% の低下は大きな変動とみなされますか?

50% の低下は大きな変動とみなされますか?

なぜ、ボリュームが 50% 減少してもビジネス側から反応がないことがあるのに、ボリュームが 1% 減少するとビジネス側が非常に不安になるのでしょうか。 ！ ！今日はそのシステムについて見ていきます。

1. 指標変動の性質

簡単な例を挙げると、体温 37.4 度と 36 度では、わずか 3.9% の変動しかありません。ただし、実際に流行体温測定ポイントで体温が 37.4 度であることが確認された場合、警備員から直ちに退去を求められる可能性があります。なぜ？なぜなら、人々が恐れているのは 5.5% の変動ではなく、ウイルスだからです。体温が37.4度の場合、ウイルスが存在する可能性があります。人々が本当に恐れているのはこれです。

したがって、指標の変動は怖いものではなく、指標の変動が示すビジネスへの影響が怖いのです。ビジネス上の意味を考慮せずに指標の変動について語ることは、単なるフーリガン行為です。これを理解することによってのみ、議論を続けることができます。

2. 指数変動の意味

▌ カテゴリー 1: ハード指標の変動。

事業部門を評価するための厳格な指標がいくつかあります。例えば

販売評価: パフォーマンスと支払い回収

商品の評価：在庫、粗利益

顧客サービスの評価: 電話や苦情への対応

これらの指標はビジネスの厳格な評価結果であり、指定された数値を達成する必要があることを意味します。そうでない場合、1% の差でも問題になります。そのため、これらはしばしば「ハード インジケーター」と呼ばれます。これは販売において最も顕著です。一度パフォーマンス目標が設定されると、たとえ 0.5% 不足していたとしても、達成できなかった場合は未達成となり、ボーナスは支給されません。

厳格な指標に従う部門は、変動に対して最も敏感であり、最も細心の注意を払っている部門です。厳しい指標を満たせなかった場合、叱責を受けたり、給与を減額されたりする可能性もあります。したがって、ハード指標の変動は特に懸念されます。

▌ 2番目のカテゴリー: ソフトな指標変動。

登録ユーザー数、ユーザーのクリック率、コンバージョン率などの指標など。

これらの指標は、多くの場合、ビジネスの結果につながるプロセスです。たとえば、その後の閲覧、ショッピング カートに追加、消費が行われる前に登録ユーザーがいなければならないのと同じです。ソフト指標の上昇と下降は必ずしも問題ではありません。それは、新しいビジネス形態（下図参照）である場合もあれば、偶発的な変更である場合もあります。

したがって、ソフト指標の変化はビジネスアクションを直接引き起こすことはありません。人々は、この変化が良いことなのか悪いことなのか、そしてそれがハード指標に潜在的な影響を与えるかどうかについて、より懸念しています。このような複雑な感情は分析を特に困難にします。

注: ハード インジケーターとソフト インジケーターの区別は静的なものではありません。たとえば、多くのインターネット企業は「ユーザーの増加」を調査します。現時点では、登録ユーザー数はプロモーション部門に完了を強制するハード指標です。したがって、ハード指標とソフト指標の区別は、部門の特定の KPI 要件によって異なります。

▌ 3番目のカテゴリー: 限界指標の変動。

満足度や人気度などの指標。これらの指標には共通の特徴があります。

1. データは完全な統計ではなく、サンプル調査を通じて取得されます。つまり、サンプリング方法、アンケート方法、調査時間などの非業務的なアクションも結果に影響を及ぼす可能性があります。ビジネス上の問題を直接反映するものではありません。

2. ハード指標やプロセス指標との関連性が低い、または結果を直接検証することが難しい。たとえば満足度。満足度が高いということは、100% の購入を意味しますか?必ずしもそうではありません。満足度が低いということは購入しないということでしょうか?必ずしもそうではありません。

3. 人間の操作は大きな影響を与えます。たとえば、サンプリング方法を変更すると、結果もすぐに変わります。たとえば、広告や割引をどんどん投入すれば、価値はすぐに高まります。

この不正確で役に立たず、簡単に操作できる指標も変動し、人々の注目を集めることになります。しかし、これらの指標のロジックを理解すれば、ボラティリティを制御するのは非常に簡単であることがわかります。数字で遊ぶだけです。

3 つの主要なタイプを理解すると、指標の変動に対処する際の方向感覚が得られます。ハード指標 > ソフト指標 > 限界指標。この順序で重要なポイントに焦点を当てます。画面に高低の指標がいっぱい表示されたときに、不安になって頭を悩ませないでください。

一次と二次を区別することで、サイズを判断する基準をさらに検討することができます。

3. 変動の大きさを判断する基準

▌最初のステップ: 誤った変動を排除します。

多くの変動は自然な変動です。

たとえば、週末、休日、平日の取引量の違いなどです。

たとえば、商品が発売されたとき、売れ筋になったとき、またはリストから削除されたときのユーザー数の変化などです。

たとえば、公開アカウント記事の読者数は、公開後 7 日以内に減少します。これらの指標は、本質的に形式が可変です。

経験的指標パターンをより頻繁に要約すると、ルールを見つけることができます (以下を参照)。

パターンを発見した後は、そのパターンに一致する変動はすべて偽の変動になります。疑似変動が非常に大きい場合でも、よくあることなので慌てないでください。しかし、何かが規則に反する場合は、物事が異常なときは何かが間違っているに違いありません。変動の大きさに関わらず、大きな変化なので注意深く観察する必要があります。

▌ステップ 2: 積極的な行動を定量化します。

多くの変動はビジネスによって積極的に引き起こされます。

例えば、プロモーション、売上の向上、トレーニング、仕事の能力の向上など

たとえば、在庫を一掃し、できるだけ早く在庫を処分することは、ビジネス自体によって引き起こされるこれらの指標の変化です。

このような状況に直面しました。まず、ビジネスが何を行っているかについて明確な情報を収集する必要があります。そうでなければ、長い間分析した後で、人々はただ「ずっと前からわかっていた」とか「やった」と言うだけになり、それは笑いものになるでしょう。

第二に、「指標の変動がビジネスの期待に応えているかどうか」を評価しやすいように、各ビジネスアクションの目標と結果を明確に収集する必要があります。これは重要な評価基準ですので、必ず赤字で太字にして書き留めておいてください。積極的な行動が取られ、指標の変動が期待どおりであれば、ビジネスが混乱することはありません。期待が満たされない場合、顧客は「どこにギャップがあるか」を知りたいと思うでしょう。このとき、ビジネスの期待に基づいてギャップを見つけることが非常に重要です（以下に示すように）

ビジネスの期待が満たされる限り、どのような変動範囲も許容されます。成長/減少は能動的に引き起こされるため、指標の変化が大きいほど良いです。期待に応えられなかったものについては、期待とのギャップに注目する必要があり、そのギャップが分析する必要のある変動値です。

▌ステップ3: 外部への影響を定量化する。

収集可能な外部アクションによって引き起こされる変動はたくさんあります。たとえば、ポリシーの制限、天候、対戦相手など。注: データを収集してその影響を検証できない外部要因は多数あります。雨がパフォーマンスに影響するとは言いながら、線香を焚いて龍神に祈ることができないなど、影響がわかっていても何もできない人もたくさんいます。

したがって、外部の影響の変動を評価する際には、1 日の絶対数を見るのではなく、影響の予想される期間を計算し、この時間内の総影響値を見積もる必要があります。この値は変動を測定するための基準となります。

▌ステップ4: その他の予期しない変動。ルールに準拠しておらず、積極的な業務活動も行われておらず、外部要因もなく、データ自体に問題がないのに、変動が発生している状況はありますか?

持っている！このとき、まず変動が発生するポイントを特定する必要があります。

地球規模の変動か、それとも地域的な変動か

継続的または突然

変動値が大きいか小さいか

問題の大きさを判断する基準:

グローバル > ローカル問題

永続的 > 短期的な問題

数字が大きくなればなるほど、問題は大きくなる

問題点を特定したら、指標の属性に基づいて対策を検討できます (以下を参照)。

ハード指標の変動について：ハード指標が達成されない限り、それは大きな問題です。指数を維持するための対策を検討する

ソフト指標の変動については、関連するハード指標が崩壊しない限り、大きな問題にはなりません。一晩の変動を心配せず、根本的な理由を見つけることに集中してください。

限界指標の変動に関して：恐れることはありません！それを回すのに数分しかかかりません。

この区別をすると、処理の方向性が明確になります。雷撃手段を使用する必要があるときは、断固として行動してください。待って様子を見る必要がある場合は、時間をかけてください。そうしないと、優先順位を区別せずに、ただゆっくり「データを分解-データを分解-データを分解」していくだけでは、「大騒ぎしている」「とっくの昔にわかっていた」と批判されたり、業務部門ではすでに対応しているが、ここでのデータ分析レポートはまだできていない、ということになります。

4. なぜ人々は常に変動を心配するのでしょうか?

まとめると、指標の変動に冷静に対処するには、次の 2 つのポイントが必要です。

▌ビジネス部門は、何をすべきかを知っています。

1. ハード指標、ソフト指標、限界指標を知る

2. 自分の行動が指標にどの程度影響するかを知る

3. 短期、中期、長期的に何ができるかを知る

4. 短期的な行動が成果を上げたかどうかを明確にする

▌データ部門は何が起こったか把握してください:

1. ビジネスイニシアチブとは何ですか? また、どの程度達成したいと考えていますか?

2. 定期的な変更内容とその範囲はどの程度ですか?

3. どのような定量化可能な外部要因が変化をもたらす可能性がありますか?

4. 異常な変化とは何ですか? また、どこにありますか?

▌残念ながら、ビジネス部門はただ仕事をこなすだけというのが現実です。自分がどれだけやりたいか、どれだけできるか、どれだけやったかを数値化したことは一度もありません。インジケーターの小さな変動を見ると、怯えた鳥のように見えます（下図参照）

データ部門は、指標のビジネス上の意味を理解しておらず、ビジネスが何をしているのかを知らず、ルールを定量化する方法も知りません。指標を一つ取って、それを性別、年齢、地域、チャンネルなどと掛け合わせて、たくさんの柱を出すだけです。そのうちの 1 つが短い場合、彼らは叫びます。「変動はすべてこの短い 1 つのせいです!」彼らはまたそれを「多次元分解法」と呼んで、新参者を毒殺するためにインターネット上に記事を書いています...

おそらく、盲目の人が盲目の馬に乗ると、こんな感じになるのでしょう。 「テンセントやアリババから上級データサイエンティストを雇って人工知能のビッグデータモデルを構築させれば、すべてを語ってくれる」と期待するのは、命を救う妙薬を期待する必死の試みだ。

1. ビジネス目標とビジネス行動を定量化する

2. ビジネスロジックを整理し、レポートにまとめる

3. 過去の経験と開発動向をまとめる

4. 現状を評価し、ギャップを測定することは、「指標変動不安」に対処するための最良の方法である基本的かつ単純で詳細な作業です。