データ操作 |データ活用の第一歩—データの検索

本記事では、データ活用のプロセスにおける「データの発見」の重要性に特に重点を置いて、データ運用について詳しく解説します。著者は、データマップ、データカタログ、データアセットプラットフォームなどのツールを詳しく紹介しています。これらのツールの目的は、データプラットフォームによって処理されたデータを表示し、データを必要とするユーザーがデータを簡単に見つけて使用できるようにすることです。

データを見つけることは、データを利用するための第一歩です。データが見つからないのにどうやって使えるのでしょうか?データマップ、データカタログ、さらにはデータアセットプラットフォームなど。実際のところ、目標はただ 1 つ、データプラットフォームによって処理されたデータを表示し、データを必要とする人々がデータの使用の最初のステップであるデータの検索を完了できるようにすることです。

ここでのデータマップは、メタデータについて説明したデータ管理の記事で紹介したメタデータと基本的に同じです。ただし、表示形式はより柔軟にすることができます。つまり、1 つは R&D 用、もう 1 つはビジネスアプリケーション用です。

メタデータセクションでは、通常、インターフェイスは、それが属するデータソースに応じてツリー構造で表示されます。

データマップには通常、検索ボックスのあるホームページがあります。検索リストの詳細ページにはさまざまなタブがあります。

表紙

ホームページの主な機能は検索機能です。ユーザーが検索したいコンテンツを入力し、あいまい一致検索を行った後、あいまい一致コンテンツのリストが表示されます。ここのリストはテーブルの内容です。

拡張バージョンの場合、この検索を使用して、データサービス API、レポート、大画面、さらにはデータ資産の記事を検索およびクエリできます。これについては、資産検索でさらに詳しく説明します。

詳細ページ

検索後、特定のフィールドをクリックすると検索の詳細が表示されます。

詳細ページは、実際にはテーブルの各ディメンションの説明であり、使用するにつれてディメンションの詳細度が増していきます。通常、追加できるディメンションには、基本情報、フィールド、データプレビュー、パーティション情報、データ監査、データリネージ、更新情報、処理タスク、評価などが含まれます。

基本情報

基本情報には、テーブルの英語名、中国語名、テーブルの説明、作成時間、担当者などの基本情報が含まれます。

そして、このメタデータはどのデータウェアハウスレイヤーとビジネス領域に属しているのでしょうか?この情報は、データ管理の第 2 章のテーブルレベルの計画で設定されます。

フィールド

テーブル内のフィールド、フィールドタイプ、フィールドの説明をリスト形式で表示します。フィールドの説明情報が豊富で包括的であるかどうかも、データが包括的であるかどうかの重要な側面です。

データプレビュー

データをクエリする必要はありません。データプレビュー機能を提供すると、テーブル内のデータがどのように見えるかがわかるため、データ利用者はより直感的なユーザーエクスペリエンスを得ることができます。

ここでの問題は、データを直接クエリする場合、データをクエリするときに使用するリソースを選択する必要があることです。事前にデータを保存する場合は、どれくらい保存するか、どのストレージを使用するか、更新するかどうかなどの計画が必要です。

パーティション情報

HIVE などのビッグデータストレージの場合、パーティションテーブルの場合は、パーティション情報、パーティションフィールド、最新のパーティションを一覧表示する必要があります。各パーティションはいつ更新され、データが書き込まれますか?

データ監査

この情報は、実際にはデータ探索プロセスに近いもので、ユーザーが要約用の SQL を手動で記述する必要なく、一部のフィールドの特性を事前に要約することと同等です。フィールドの最大値、最小値、または平均値の場合。列挙フィールドの場合は、列挙値がいくつあり、それぞれの値がいくつカウントされているか。数値型の場合、数値型フィールドの分布はどうなっているかなど。

この情報は、範囲の問題を含むテーブル内の計算の結果です。計算をいつ実行するかを指定します。計算を実行するために使用されるリソース。これらを熟考した後にのみ、この機能をより適切に実装することができます。

データ系統

データリネージは、タスクガバナンスの章にあるエンドツーエンドのタスクリネージリンクの簡略化されたバージョンとして理解できます。ここでは、テーブル間の上流と下流の関係のみが表示されます。影響分析、データトレーサビリティなどのユーザー。表示は依然として写真形式です。

更新情報

各テーブルを更新したり、フィールドを追加したり、フィールドの種類を変更したり、フィールドを削除したりする必要があります。テーブルの変更情報全体をここに記録できます。

処理タスク

対応する処理タスクがインターフェイスに表示され、どのタスクがこのテーブルを生成したかが直感的にわかります。

評価する

評価関数はより柔軟です。これは、データの人気度やデータの信頼性などの公式な評価である可能性があり、この信頼性は、OLAP のデータ指標の使用で言及できます。統一された指標であれば一貫性が保証され、それを示す公式ラベルが追加されます。

また、ユーザー指向で、追加するフィールドやデータの正確さなど、このテーブルに関する意見を提供することもできます。これにより、情報収集とフィードバックのためのチャネルが確立されます。

生成されたデータサービス

テーブルを元に生成されたデータサービスAPIの場合は、対応するAPIが直接表示されます。 SQL に基づいている場合は、このテーブルがどのデータサービス API ロジックに配置されているかも反映されます。