データ系統の価値は何ですか?

データの生成と利用の過程ではさまざまな問題が発生するため、それに応じて管理していきます。例えば、データの正確性、データの変更、データが実際にどれだけの価値を生み出すか、データのセキュリティが保証されるかどうかなどについて、この記事では、データ系統分析がデータガバナンスプロセスにおけるこれらの問題をどのように解決するかについて説明します。

価値1: データに関する疑問を払拭する

日々の仕事の中で、誰もがこのようなシナリオに遭遇することはよくあると思います。業務担当者や上級管理職は、コンピュータ画面上のレポート内のデータや指標データに対して、「データの偏差が大きいが、何か問題があるのだろうか？」と大きな疑問を抱いています。 「なぜこのデータはオフラインデータと一致しないのですか？計算ロジックに問題があるのでしょうか？」 「今月の売上金額の欄に、システムAではこの数字が出ているのに、システムBではこの数字が出ているのはなぜか。その数字の基準は何なのだろうか？」……こうした一連の問題に直面し、データ部門はレポートデータに対するユーザーの疑問を解消し、調査に追われている。

報告されたデータの信頼性と真正性についてユーザーが疑問を抱く場合、次の問題によりデータが歪められる可能性があります。

• 適時性の問題: ビッグデータ クラスターのリソース不足やプラットフォーム システム障害により、タスクが遅延します。
• 開発コードの品質問題、データ収集能力の不明瞭さや不正確さにより、計算されたデータにエラーが発生します。
• ビジネスルールの計算ロジックが変更されましたが、システムが同期して更新されなかったため、オンラインデータとオフラインデータの間に不整合が発生しました。
• データ品質の問題。オンライン データまたはオフライン データが不正確、不完全、またはタイムリーでないため、データが歪むことがあります。

上記のデータの問題に直面した場合、従来のトラブルシューティング方法は非常に時間がかかり、非効率的です。

• ステップ 1: レポート インジケーター ソースの API インターフェイスを見つけて、ソース データ テーブルを決定します。
• ステップ 2: ソース データ テーブルに対応するデータ同期タスクと Hive テーブルの出力タスクを見つけて、タスクが正常に実行されているかどうかを確認します。
• ステップ 3: タイムリーさの問題は最も頻繁に発生し、一般的で、対処しやすい問題であるため、Hive テーブル処理タスクの上流を見つけてレイヤーごとにチェックし、リンク全体のタスクが正常に実行されていることを確認します。
• ステップ 4: データ処理フローが正常であることを確認した後、インジケーター出力テーブルの処理コードを調べて、最近人間による変更があったかどうかを確認します。次に、コードを反転して対応するロジックを確認し、インジケーター処理のコード レベルに従って、問題のあるデータ テーブルを段階的に特定します。
• ステップ 5: レイヤーごとにチェックした後、問題が特定されますが、問題を修正してデータを再実行するには時間がかかります。古い顧客を新しい顧客として誤ってカウントし、マーケティングコストの損失などにつながるなど、誤ったデータによって引き起こされる誤った決定やアプリケーションを回避するために、下流にすぐに通知する必要があります。

データの異常が検出されると、データの信憑性や信頼性に対するユーザーの懸念が確認され、ユーザーは徐々にデータへの信頼を失っていきます。これではデータの利用効率が上がらないだけでなく、データ管理担当者が疑問のあるデータを何度も確認する必要が出てきます。データは、生産からビジネス アプリケーションを有効にするまで多くの処理リンクを通過するため、ビジネス側のレポートやデータ アプリケーション サービスに異常がある場合は、できるだけ早く問題を特定し、トラブルシューティングして修復する必要があります。

レイヤーごとに手動でコード変換を行うと、効率が非常に低くなります。一方で、データ開発の人的資源はトラブルシューティングに費やされ、他方では、問題の特定に時間がかかるほど、ビジネスへの影響と損失が大きくなります。

データ系統分析技術を使用すると、トラブルシューティングの効率が大幅に向上します。特に、データ系統の可視化により、ユーザーはデータソースとリンクを個別に確認し、データ生成リンクと各リンクに異常があるかどうかを直感的に発見できます。

これにより、報告されたデータの信頼性に関するエンドユーザーの疑問をすぐに払拭できます。

価値2: データ変更の影響の迅速な評価

データ開発プロセスにおいて、データ系統は、問題解決の効率性の向上とデータの影響の効率的な評価という 2 つの価値ポイントを提供できます。

単純なデータの観点から見ると、データ系統の次元には、データベース、テーブル、フィールド、システム、アプリケーション、つまり、どのデータベースのどのテーブルにデータが格納されているか、対応するフィールドとフィールドの属性、データが属するシステム、データに関連するアプリケーションが含まれます。

ビジネスの観点から見ると、データ系統の次元は主に、データが属するビジネス ラインです。ビジネスにおいては、データ生成のロジック、データ利用のロジック、ビジネスライン間の関係性を整理する必要があります。

データ系統は、コンプライアンス、データ品質、データ プライバシー、セキュリティなどのデータ ガバナンスにとって重要です。データ分析やデータサイエンスにとっても重要です。データがどのようにアクセスされ、変更されるかをマッピングして検証する機能は、データの透明性にとって重要です。

特定のデータ ソースの詳細な記録を生成するのに役立ちます。また、データがどのように変更され、影響を受け、使用されるかを示します。データ系統により、コンプライアンス監査やレポートのクエリへの対応も容易になります。また、組織がデータフローの潜在的なリスクを追跡および特定できるようにすることで、セキュリティ体制の改善にも役立ちます。

データ リネージは、組織がビジネス アプリケーションに必要なデータ ギャップを特定して修正するための積極的なアプローチをとるのに役立ちます。これは、データ分析や顧客体験の取り組みに特に役立ちます。

機密データを収集すると、組織は規制当局の監視やビジネス上の不正使用にさらされることになります。データ系統は、機密データやその他のビジネスクリティカルなデータが組織全体でどのように流れるかを示します。これにより、ポリシーが既存のコントロールと一致していることを確認できます。

IT 運用の場合、データ リネージは、データ変更が下流の分析とアプリケーションに与える影響を視覚化するのに役立ちます。また、ビジネス プロセスの変更によるリスクを理解するのにも役立ちます。これにより、変更管理に対してより積極的なアプローチをとることができます。また、時間のかかる手動プロセスを削減することで運用効率を向上させ、重複データやデータ サイロを排除することでコストを削減します。

さらに、データ系統により、変革を推進するクラウド データの移行と近代化の取り組みを成功させることができます。データ系統は、さまざまなデータ オブジェクトとデータ フローがデータ グラフ内でどのように関連し、接続されているかを視覚化するのに役立ちます。この深い理解により、データ アーキテクトは、データの移動や変更がデータ自体にどのような影響を与えるかを予測しやすくなります。また、それに依存する下流のプロセスやアプリケーションへの影響を予測し、変更を検証することも容易になります。

価値3: データ資産価値評価測定ツール

デジタル時代において、データは重要なビジネス資産として広く認識されています。データ資産の一般的な定義は、個人または企業が所有または管理し、企業に将来的に経済的利益をもたらす可能性のある、物理的または電子的な形式で記録されたデータ リソースを指します。データ資産の主な特性は次のとおりです。

• データの権利（探索権、使用権、所有権）を所有する。
• 貴重な;
• 測定可能;
• 読み取り可能なデータセット。

つまり、ユーザー数（需要側）が多く、使用量が多く、更新頻度が高いデータの方が価値が高くなる傾向があります。たとえば、CRIC リサーチ センターは、E-House China の子会社である CRIC Information Group の専門的な研究開発部門です。過去 10 年間、当社は不動産業界と企業の問題を​​徹底的に調査することに注力してきました。

多くの企業は研究結果のデータを購入するためにお金を費やしています。こうしたデータの価値は明らかであり、企業資産とも言えるでしょう。貴陽ビッグデータ取引プラットフォームは、独自のデータをサービスや API にパッケージ化し、顧客が購入して使用できるようにすることができます。集約プラットフォームである Qichacha および Tianyancha は、企業情報のクエリを提供します。これらはすべて、明らかな価値と償還価値を持つデータ取引です。これらのデータはまさに企業間の共有データ、つまりデータ資産となります。

したがって、これらのアイデアに基づくと、データを価値ある資産にする方法は、そのデータが現在または将来的に潜在的な取引価値を持つかどうかによって決まる可能性があります。

上記の問題に基づいて、データ系統はデータ資産の価値を評価するための測定ツールとして使用できます。具体的な値は次のとおりです。

データ系統により、データの調達および生成コストを明確に記録できます。後続の処理でも、データサイクル全体を通じてデータのコストが明確に記録されます。データ資産の初期認識が不確実であるという問題を解決します。

例えば、データサプライヤーから購入したデータの記録値を記録できます。社内で手作業で形成されたデータ指標などの資産であれば、血統データのコスト価値を継続的に追跡し、最終的に要約を作成することができます。

データ系統はデータのマルチソースの性質を反映しているため、各データ項目の処理中に、形成されたデータ資産をさらに確認できます。たとえば、データの集約や処理など、特定の指標データのコストを共有できます。

データ系統は、データのライフ サイクルと、データの生成からデータの消滅までのプロセス全体を反映します。データが封印または破壊されると、それは実際に記録されたデータ資産の耐用年数を表します。これにより、資産の価値をさらに測定できます。特に、ビジネスが発展し、データが増え続けると、タスクとデータテーブルの数が増え続け、ビッグデータリソースのコストは拡大し続けるでしょう。

包括的かつ正確なフルリンクデータ系統を構築することで、下流のデータユーザーを特定し、通信と情報の同期を促進し、長期間呼び出されていないオフラインサービスを迅速に取得して、データコストを節約できます。

データ資産では、データが循環しているかどうか（つまり共有しているかどうか）を考慮する必要があります。当社のデータ プロジェクトのほとんどは、社内管理シナリオのニーズに応えています。

また、公式サイトで公開されている財務諸表や営業データ、テクニカル指標など、何らかの参考データが市場に流通し、流通データ資産（商品化）を形成しているかどうかも検討する必要があります。

データが社内で使用されるか、外部で共有されるかにかかわらず、その価値を測定する必要があります。これには、データ資産のオンライン登録を実行するために、データ系統に類似したテクノロジを使用する必要があります。

一方では、データ価値測定を資産化することで、データ共有取引の価格設定が容易になります。もう 1 つの非常に重要な側面は、データ資産の定量化可能な価値に基づいてデータ セキュリティ保護レベルを形成することです。

従来のデータ セキュリティ保護レベルの評価は、多くの場合、関連する規制要件とビジネス経験に完全に依存しており、特定のアプリケーション シナリオでの評価基準が欠如しており、アプリケーション シナリオやデータの真のビジネス価値とは切り離されています。

データ系統は、データの実際の適用に基づいた評価方法を提供します。つまり、ユーザー（需要側）が多いほど、使用量が多くなり、価値が高くなり、更新頻度が高くなるにつれて、データ セキュリティ保護レベルは高くなる必要があります。

つまり、データを資産に変えるには、その価値を定量化して測定できるように、「データバリューチェーン」を中心に一連のシステムと技術的手段を考案する必要があります。データ リネージは、生データ、データ リソースからデータ製品およびデータ資産までのプロセスを視覚化するための重要なテクノロジです。

価値4: データの不正使用に「道徳的」ロックを追加する

近年、ビッグデータは人々の生活をますます便利にしてきましたが、ビッグデータによる古い顧客の殺害、顔認識技術の悪用、過度な許可要求などの混乱が起こり、公衆の正当な利益が損なわれています。さまざまな混乱に直面して、大衆はしばしば惨めでありながら無力感に襲われます。

データ不正使用の主な原因の 1 つは、大量のデータがスーパープラットフォームによって所有されており、その生成、収集、流通、使用のプロセスにおけるデータの所有権が不明確であることです。

上記の課題に対応するため、アクセス制御と分離、マルチテナント アクセス分離対策の実装、データ セキュリティの分類と等級付け、タグ ベースの強制アクセス制御のサポート、ACL ベースのデータ アクセス承認モデルの提供、データ ビューのアクセス制御など、いくつかのセキュリティ対策を段階的に改善してきました。また、データの機密性低下や暗号化機能、統合キー管理およびアクセス認証サービス、データ アクセス監査ログなども提供します。

データ系統分析技術は、データの不正使用を解決するための重要な手段であることに注意することが重要です。データ系統を追跡することで、データのソース、所有者、フローを確認できます。

これにより、収集、保管、利用、送信、共有、公開、破棄といったデータのライフサイクルに応じた具体的な情報を提供し、的を絞った管理対策を講じることができます。特に、データの作成者、ユーザー、マイナー間の権利関係を解決することは、データの所有権が確認された後の不正使用を回避するのに役立ちます。

データ系統は、監査、リスク管理の改善、およびデータがデータ ガバナンス ポリシーと規制に従って保存および処理されることを保証するためのコンプライアンス メカニズムを間接的に提供します。たとえば、GDPR 法は、EU および EEA の人々の個人データを保護し、個人が自分のデータをより細かく制御できるようにするために 2016 年に制定されました。

米国では、カリフォルニア州などの各州がカリフォルニア州消費者プライバシー法 (CCPA) などのポリシーを制定しており、企業は消費者のデータ収集について消費者に通知することが義務付けられています。この種の法律では、このデータの保存とセキュリティが最優先事項とされており、データ系統分析テクノロジーや関連ツールがなければ、組織は非準拠の問題に時間と費用のかかる作業に直面することになります。

データ系統は、洗練されたデータ管理と制御の時代における強力なツールです。企業がこれをうまく活用できれば、データ資産の分野で大きな成功を収めることは間違いないでしょう。