評価モデルの構築方法

この記事では、実際のシナリオから始めて、評価モデルをどこから始めるべきかという問題を紹介します。最終的に、私たちは客観的に合理的なステップを提示し、データ分析をビジネスと組み合わせるべきだという結論に達しました。ビジネスプロセスを理解するだけでなく、ビジネスに参加することも必要です。この記事は役に立つ情報でいっぱいで、よく整理されています。データモデルに興味のある学生は、ぜひ一緒に学んでください。

ビジネス活動の有効性を評価することは、非常に一般的なデータ分析の要件です。しかし、多くの場合、リーダーはデータアナリストによる評価結果を受け入れません。

「評価は不当である」 「評価は包括的ではありません」 「評価後に改善提案がない！」これら3つの質問は心を痛めるものです。評価モデルを構築するにはどうすればいいですか?今日は実際のシナリオを取り上げ、詳しく説明しましょう。

1. 問題のシナリオ

ある企業は、従業員研修の有効性を評価する準備をしており、特に従業員研修が業績に何らかの成果をもたらしたかどうかを知りたいと考えています。社員研修は数多くあり、各研修には多くの人が参加するため、どのように分析すればよいかわかりません。

あなたならどうしますか？

A. トレーニングセッションと販売実績を使用して相関係数を計算する

B. トレーニング入力と販売実績を使用して回帰モデルを作成する

C. トレーニングの前後で販売実績が向上したか低下したかを確認します。

D. 研修に参加した人と参加しなかった人のパフォーマンスを確認します。

E. 上記のいずれも正しくない

これについて少し考えてみましょう。

2. 問題分析

明らかに、上記の質問のオプション ABCD はすべて悪いアイデアです。彼らは皆、「数字を数字で表す」という間違いを犯し、実際のビジネスを考慮せずに、わずかな数字をつなぎ合わせてしまいました。

いくつか質問があります:

• すべてのトレーニングは効果的ですか?
• すべてのトレーニングはパフォーマンス向上のためですか?
• 皆さんは研修に参加されましたか？
• すべてのパフォーマンス向上はトレーニングとみなされますか?

いずれの質問に対しても、オプション ABCD では回答できません。わかりやすく説明したいのであれば、まずは業務を整理し、実態を深く掘り下げて答えを見つけ出さなければなりません。

3. 最初のステップ: ビジネスの分類

すべてのトレーニングは効果的ですか?もちろん違います！日々の新入社員研修、エチケット研修、企業文化研修、グループリーダーのスピーチの精神を実践するための会議...これらはすべてさまざまな形式の研修ですが、パフォーマンスのメリットとはまったく関係がありません。すべてが混ざり合っているので、区別するのは確かに困難です。そのため、事前に分類し、ビジネスに役立つ可能性のある研修を選別する必要があります（下図参照）。

ステップ2: 成果指標を特定する

すべてのトレーニングでパフォーマンスは向上しますか?もちろん違います！例えば：

• 新製品研修 → 新製品売上増加
• プロモーションイベント研修 → イベント参加率向上
• 苦情対応研修→顧客からの返品を減らす

研修によって効果は異なるため、研修の特性に応じた評価指標を設計する必要があります。

知らせ！トレーニングは時間に敏感です。たとえば、新製品トレーニングは、新製品が市場に投入されてから最初の 2 ～ 4 週間は効果的である可能性があります。プロモーション活動のトレーニングは、活動期間中のみ効果がある場合があります。そのうちのごく一部だけが長期的な影響を及ぼす可能性があります。しかし、人間の記憶には限界があることを考えると、検査期間を無制限に延長することは適切ではありません。トレーニング効果指標を計算するときは、有限の期間を選択する必要があります。

5. ステップ3: プロセス指標の整理

• 本当にみんな聞きに来てるんですか？
• みんな本当に聞いたの？
• みんな本当に理解できましたか？

もちろん必ずしもそうとは限りません!特に、製品知識、プロモーションルール、営業スキルなど、パフォーマンスに本当に影響する内容は、耳に入らずに無視されてしまう可能性が高くなります。したがって、データ記録は必要であり、一度にすべてを実行しようとすると、問題を見つけられない可能性があります。

知らせ！このステップでは、適切な作業を行うために現場でのトレーニングが必要です。

1. チェックイン → 誰が来るかを知る

2. 終了前に生徒にその場で評価させる → 誰が最後まで聞いていたかがわかる

3.終了後、評価アンケートを実施→理解できたか確認

特に、定型的な回答がある商品知識やプロモーションルールの研修では、テストが不可欠です。生徒の状況を理解するのに役立つだけでなく、後で漏れを補い、重要な内容を忘れないように再度思い出させることもできます。

知らせ！ここではデータが欠落している可能性が高いです。たとえば、ビジネス部門はサインインしただけで、事前評価や評価アンケートを実施しませんでした。予想していなかったからか、怠け者だからか、トラブルを恐れているからか。ここでは、データ アナリストが率先して、主要なトレーニング セッションのデータ収集を増やすことを提案する必要があります。これは事後分析にとって重要であるだけでなく、企業の無実を証明するためにも重要です。

なぜなら、パフォーマンスの結果が良くないと、人々は「トレーニングがうまく行われなかった」と言う可能性が高いからです。現時点でどのように証拠を提示できますか?以下のデータに頼るだけです:

1. ご存知のとおり、従業員は積極的に参加しておらず、他のことに忙しいのです。

2. あなたの製品は明確に説明されておらず、60% の人がそれを間違って覚えています。

3. あなたの活動ルールはあまりにも複雑なので、80% の人が理解していません。

データ自体が語る情報があれば、少なくともデータ自体を保護し、責任を逃れたためにゴミ捨て場として扱われることを避けることができます。

このステップを完了したら、今日はこれで終わりにできますか?もちろん、まだやるべき重要な仕事が残っています。

6. ステップ4: 混合要因を排除する

トレーニングですべての病気が治るのでしょうか？もちろん違います。生まれつき才能があり、訓練をしなくてもうまくできる人もいる可能性が高いです。特に業績に直結する営業部門では二極化が起こりやすいです。そのため、研修が効果的であるかどうかを明確に把握するためには、研修参加者の基本条件を階層化する必要があります。

理論的には、研修によって新入社員や低・中級社員のパフォーマンスを向上させることができれば、それは大きな成果です。レベルの高い社員に関しては、それが研修の成果なのか、本人の能力なのかはともかく、とにかくパフォーマンスの成果が非常に高いので、心配する必要はありません。

したがって、まず研修の参加者を分類する必要があります。例えば、最も簡単な方法は、まず新入社員と古参社員を区別し、その後、過去の業績（古参社員）／職務経験（新入社員）を利用して、誰が熟練者で誰が新人かを区別することです。こうすることで、実際の効果をはっきりと見ることができます（下図参照）

7. ステップ5: 分析から結論を導き出す

十分な準備をした後、分析的な結論を導き出すことができます。知らせ！ 2 番目のステップでは、トレーニングの種類によって評価結果と指標が異なるため、同じ基準セットを厳密に適用することはできません。評価がどのように行われるかによって異なります。

例えば、新製品を発売する場合、同種の新製品や昨年のモデルと比較して、以前の発売前トレーニングが新製品にプラスの影響を与えたかどうかを確認する必要があります。ここで「同型」を強調する理由は、新製品自体に品質の違いがあり、人気商品と一般商品を比較することができないからです。

例えば、クレーム対応研修の場合、ある一定期間、会社が受けるクレームの件数が高いまま推移し、返品件数も増加している可能性が高くなります。したがって、効果を調べる際には、トレーニング前とトレーニング後の時間の比較を行う必要があります。研修によって苦情や返品が効果的に減少するかどうかを観察する

このようにして、トレーニングの効果を確認できるだけでなく、次のようなトレーニングを最適化する方法も見つけることができます。

1. 参加者数が不足 → 研修体制の強化が必要

2. 参加者は十分だが、誰も覚えていない → トレーニング内容を最適化する必要がある

3. 研修に参加する人は経験者ばかりで初心者が少ない → 研修時間を最適化して参加を促す

一部の製品の説明や活動ルールを誰も理解していないことがわかった場合は、関連部門にフィードバックを提供し、マーケティング部門にさらなる説明と調整を促すこともできます。これにより、仕事の成果が達成されるだけでなく、部門間の争いや非難も回避されます。それは最高の状況です。

8. まとめ

私たちは常にこう言っています。「データ分析はビジネスと組み合わせるべきだ。」実際、ビジネス プロセスは非常に複雑であり、企業はデータ収集を無視することがよくあります。データをビジネスに統合するには、ビジネスプロセスを理解するだけでなく、ビジネスに参加し、積極的にデータ収集を最適化する必要があります。これにより、その後の分析の基盤が提供されるだけでなく、企業自体が無実を証明することも可能になり、双方にとってメリットのある状況が実現します。

著者: 地に足のついた教師チェン

出典：WeChat公開アカウント：「地に足のついた陳先生（ID：gh_abf29df6ada8）」