データ指標の不一致の問題を解決するにはどうすればよいでしょうか?

データ製品のインタビュープロセスでは、データの不一致や指標の不一致は、データ駆動型の運用プロセスでは避けられない障害となります。この問題は、応募者が実際に実務経験を持っているかどうかを簡単にテストできます。具体的にどのように解決すればよいのでしょうか?著者のシェアをご覧ください。

データ製品のインタビューでは、指標システムと指標の基準が非常に頻繁に尋ねられる質問です。これは主に、データ指標がデータ駆動型分析の中心的な適用シナリオであり、データの不一致や指標の不一致がデータ駆動型運用プロセスで避けられない障害であるためです。この質問は、応募者が実際に実務経験を持っているかどうかを簡単にテストできます。

1. まず、矛盾した指標の客観的な存在を認識する

データの分析と適用のプロセスでは、命名規則、データ処理ロジック、ビジネス定義、統計手法など、さまざまな理由により、データの不一致が頻繁に発生します。

• 同じ名前でも意味は異なります。同じ指標名でも統計的な基準が異なります。命名標準の制限がありません。さまざまなビジネスは、それぞれの部門からのみ始まり、グローバルな視点が欠けています。たとえば、財務力の収益は、実際に徴収および支払われたすべてのペニーを計算するために厳密なロジックに従って厳密に計算する必要がありますが、製品/操作側では変換効果をより考慮します。ただし、それぞれの KPI モニタリング レポートでは、指標は収益と呼ばれます。
• 意味は同じですが、名前が異なります。指標は統一されており、論理的に一貫していますが、異なる製品の名前は一貫していません。異なるステージや異なるビジネス パーティ/製品マネージャーではインジケーターに異なる名前を付けるため、異なるデータ製品ページで同じインジケーターに異なる名前が付けられることになります。
• 定義は明確ではなく、アクティブユーザー数、訪問ユーザー数などの同義語にすぎません。
• 名前がわかりにくかったり、意味が不明瞭で曖昧だったり、技術的すぎてインジケーターを作成した人しか理解できなかったりします。たとえば、コンバージョン率インジケーターには、注文作成コンバージョン率と注文完了コンバージョン率が含まれます。単にコンバージョン率と呼ぶだけでは、読みやすさが非常に悪くなります。
• ロジックが不正確であり、インジケーターの口径の説明が間違っています。たとえば、UV インジケーターは「デバイス ID によって重複排除」と説明されます。実際、異なるプラットフォームの重複排除ロジックは一貫していません。たとえば、WeChat ミニプログラムは UnionID に従って重複排除され、APP は DeviceID に従って重複排除され、PC と H5 は loginkey に従って重複排除されます。
• データの追跡は困難であり、データ製品インジケーターのデータ ソースには直感的なリンク追跡機能が欠けています。異常なインジケーター データの問題をトラブルシューティングするには、コードを調べてデータ ソースを確認する必要があり、これは長く時間のかかるプロセスです。午前中に指標の問題に関するビジネスフィードバックが発生すると、結論を出すのに丸一日かかることもあります。
• データ品質の低さと指標管理における一般的な問題が組み合わさると、データ指標に対する企業の信頼が大幅に低下することがよくあります。データの変動が発見された場合、業務の変化を考慮するのではなく、データに問題があるかどうかをデータ部門に確認することが最初の対応となります。

2. 問題の原因を分析する

データ指標の不一致の問題は、主に次の理由により発生します。

• 組織構造と機能の分割: 組織や部門によって機能やタスクが異なる場合があり、それによってデータに対するニーズや重点が異なります。たとえば、製品部門はアプリのダウンロード、アクティベーション、コンバージョンに重点を置いています。運用部門はユーザーのアクティビティとトランザクション量に重点を置いています。マーケティング部門は広告配信リンク追跡などに重点を置いています。そのため、パフォーマンスを測定するために異なる指標と定義が使用される場合があります。
• 統一された標準の欠如: 各部門には独自のデータ分析ニーズがあります。統一されたデータ収集部門がない場合、各部門が独立して行動することになり、統一された基準が欠如することになります。同じ名前でも意味が異なったり、あいまいなインジケーターが頻繁に出現し、ユーザーがインジケーターを誤って使用してしまう原因となります。
• 人為的エラー: データ処理および分析プロセス中に、人為的エラーによって指標に一貫性がなくなる可能性もあります。たとえば、データのクリーニングや変換中にエラーが発生したり、統計手法の選択に逸脱が生じたりする可能性があります。異なるデータ開発者によって開発された指標や、異なる段階で行われた論理的な変更により、データの不一致が発生する可能性があります。

3. 問題解決のためのアイデアと方法

指標システムの構築と管理：全体的な戦略目標と事業計画に基づいて、コア指標、指標統計ロジックなど、事業の健全性を完全に反映する指標システムを段階的に構築し、すべての事業ラインが同じ指標の定義と基準に従うようにし、指標作成のSOPプロセスを確立します。

データ標準の構築:ビジネスで認識されている指標を明確にし、属性層データの意味と企業が準拠する必要があるビジネス ルールを記述するデータ標準を策定し、人々が同じデータに対して共通の理解と準拠を持つことを保証します。

データソースと処理方法を確認する:データを処理して分析する前に、データソースと処理方法が一貫しているかどうかを確認する必要があります。矛盾がある場合は、それに応じた調整と修正を行う必要があります。

データ キャリバーの確認:データを処理および分析する場合、指標キャリバーの統一性を確保するために、異なるビジネス ラインで使用されるデータ キャリバーが一貫しているかどうかを確認する必要があります。

指標管理の体系化：指標管理の概念は長年にわたって存在してきました。さまざまなインターネット企業が独自の管理プラットフォームを構築しています。指標管理システムの構築に関する多くの記事を読むと、それらが行うことは基本的に同じであることがわかります。 Alibaba の OneData 理論を方法論として、主に指標管理の問題点に焦点を当てています。同じことを一度だけ実行すればよく、あとはインジケーターの構築とインジケーターの再利用をより標準化し、効率的にするための製品化されたソリューションを提供するだけです。主なものは次のとおりです:

• 指標作成調整メカニズムを確立する。指標の誕生には、需要申請、審査、データ開発、オンライン申請というプロセスを経る必要があります。インジケーター構築のランダム性によって引き起こされる「汚染」を避けるために、インジケーター作成プロセスは閉じられる必要があります。
• 指標の命名と口径の説明仕様を策定し、原子指標+ビジネス制限+統計ディメンションの形式でプラットフォームにルールを統合し、システムルールを通じて指標の出力を制御します。
• 指標辞書は、共有の難しさ、タイムリーな更新、権限管理の欠如など、オフラインドキュメント（Excel）管理指標の問題を解決するためにオンライン化されています。
• 指標データの論理的結合、つまり、指標のビジネスメタデータを維持することに加えて、指標の技術メタデータを確立し、指標データがどのモデル、どのフィールド、どのような計算ロジックから取得されるかを確立することも必要です。
• インジケーター出力: インジケーター管理の最大の価値は、データ製品のデータ出力を提供し、Hive レイヤー モデルを、クエリ パフォーマンスが向上し、数秒で応答できる MySQL、Greenplumn、Kylin、CK などのクエリ エンジンに同期し、インターフェイスを介して JDBC 接続メソッドを呼び出してデータを直接取得することです。

トレーニングとコミュニケーション: さまざまな事業ライン間のコミュニケーションとトレーニングを強化し、全員がデータ指標について共通の理解と認識を持つようにし、誤解や曖昧さを減らします。