データ管理とは何ですか?

データ管理の実践は、データガバナンスに加えて、データへのアクセスを制御するために、高品質データの収集と配布にも及びます。

データ品質管理

データのユーザーは、各ユースケースにおいて、データが十分に信頼でき、一貫していることを期待しています。

データ品質管理者は、組織のデータ品質を測定し、改善します。既存のデータと新しいデータの両方をレビューし、基準を満たしているかを検証します。また、低品質のデータがシステムに含まれるのを阻止するデータ管理プロセスを設定する場合もあります。データ品質基準は、通常、次の事項を測定します。

• 重要な情報が欠落していないか? あるいは、データは完全か? (例: 顧客が主要な連絡先情報を省略していないか)
• データは基本的なデータチェックルールに適合しているか? (例: 電話番号は 10 桁でなければならない)
• どの程度頻繁に同じデータがシステムで表示されるか? (例: 同じ顧客の重複データ入力)
• データは正確か? (例: 顧客が間違ったメールアドレスを入力している)
• データ品質はシステム全体で一貫しているか? (例: あるデータセットでは生年月日が dd/mm/yyyy 形式だが、別のデータセットでは mm/dd/yyyy 形式となっている)

データ分散と整合性

データ分散のためのエンドポイント

ほとんどの組織では、データを必要とするさまざまなエンドポイントに (またはその近くに) そのデータを配布する必要があります。これらには、運用システム、データレイク、データウェアハウスが含まれます。ネットワークレイテンシーを低く保つため、データ分散が必要です。運用上の用途のためにデータが必要であるにもかかわらず、ネットワークレイテンシーが高いと、そのデータをタイムリーに配信できない場合があります。データのコピーをローカルデータベースに格納することで、ネットワークレイテンシーの問題を解決できます。

データ分散は、データ統合のためにも必要です。データウェアハウスとデータレイクは、さまざまなソースからのデータを統合して、情報の統合ビューを表示します。データウェアハウスは分析や意思決定のために使用されますが、データレイクはさまざまなユースケースのためにデータを抽出できる統合ハブです。

データレプリケーションメカニズムと整合性への影響

データ分散メカニズムはデータ整合性に影響を与える可能性があり、これはデータ管理において重要な考慮事項です。

強整合性は、データの同期レプリケーションによって実現されます。このアプローチでは、データ値が変更されると、すべてのアプリケーションとユーザーに、変更されたデータの値が表示されます。データの新しい値がまだレプリケートされていない場合、すべてのコピーが更新されるまで、データへのアクセスはブロックされます。同期レプリケーションは、パフォーマンスやデータへのアクセスよりも整合性を優先します。同期レプリケーションは、財務データのために最もよく使用されます。

結果整合性は、データの非同期レプリケーションによって実現されます。データが変更されると、コピーは最終的に更新されますが (通常は数秒以内)、古くなったコピーへのアクセスはブロックされません。多くのユースケースにおいて、これは問題にはなりません。例えば、ソーシャルメディアの投稿、「いいね」、コメントには強整合性は必要ありません。別の例として、顧客があるアプリケーションで電話番号を変更した場合、この変更は非同期でカスケードできます。

ストリーミングとバッチ更新の比較

データストリームは、データ変更を発生時にカスケードします。これは、ほぼリアルタイムのデータへのアクセスが必要な場合に推奨されるアプローチです。データは、変更されるとすぐに抽出および変換され、宛先に配信されます。

バッチ更新は、配信前にデータをバッチ処理する必要がある場合により適しています。この一例として、データを要約したり、統計分析を実行したりして、その結果のみを提供することが挙げられます。バッチ更新では、すべてのデータが特定の時点で抽出された場合に、データの特定の時点の内的整合性を維持することもできます。抽出、変換、ロード (ETL または ELT) プロセスを通じたバッチ更新は、通常、データレイク、データウェアハウジング、および分析に使用されます。

ビッグデータ管理

ビッグデータとは、組織が短期間で高速に収集する大量のデータです。ソーシャルメディア上の動画ニュースフィードやスマートセンサーからのデータストリームは、ビッグデータの例です。運用の規模と複雑さの両方が、ビッグデータ管理における課題となっています。例えば、ビッグデータシステムには次のようなデータが格納されます。

• 表示には表形式が適している構造化データ
• 文書、画像、動画などの非構造化データ
• 前述の 2 つのタイプを組み合わせた半構造化データ

ビッグデータ管理ツールは、分析のためにデータを処理し、準備する必要があります。ビッグデータに必要なツールと手法は、通常、データ統合、データストレージ、およびデータ分析の機能を実行します。

データアーキテクチャとデータモデリング

データアーキテクチャ

データアーキテクチャは、組織のデータアセットを記述し、データフローを作成および管理するためのブループリントを提供します。データ管理計画には、データ管理戦略の実装に最適な運用データベース、データレイク、データウェアハウス、サーバーなどの技術的な詳細が含まれます。

データモデリング

データモデリングは、異なるタイプのデータ間のワークフローと関係を視覚化する概念的かつ論理的なデータモデルを作成するプロセスです。データモデリングは通常、データを概念的に表現することから始まり、選択したテクノロジーのコンテキストで再び表現します。データ管理者は、データの設計段階でいくつかの異なる種類のデータモデルを作成します。

データガバナンス

データガバナンスには、データセキュリティ、完全性、および責任あるデータユーティリティを管理するために組織が実装するポリシーと手順が含まれます。データ管理戦略を定義し、誰がどのデータにアクセスできるかを決定します。データガバナンスポリシーは、チームや個人がデータにアクセスして使用する方法についての説明責任も確立します。データガバナンス機能には通常、次が含まれます。

規制コンプライアンス

データガバナンスポリシーは、規制上の罰金や措置のリスクを軽減します。これらのポリシーは、あらゆるレベルで法令が遵守されるように、従業員の研修に焦点を当てています。例えば、組織がデータシステムを改善するために、外部の開発チームと協力するとします。データガバナンスマネージャーは、テストの目的で使用するためにデータを外部チームに渡す前に、すべての個人データが削除されていることを検証します。

データセキュリティとアクセスコントロール

データガバナンスは、データへの不正アクセスを防ぎ、データを破損から保護します。これには、次のような保護のあらゆる側面が含まれます。

• データが偶発的に移動または削除されないようにする
• ネットワークアクセスを保護して、ネットワーク攻撃のリスクを軽減する
• データを格納する物理データセンターがセキュリティ要件を満たしていることを検証する
• 従業員が個人のデバイスからデータにアクセスする場合でもデータを安全に保つ
• ユーザー認証、承認、およびデータへのアクセス許可の設定と適用
• 保存されたデータが、データの保存場所である国の法令に準拠しているようにする
   

データ管理のベストプラクティスは、成功につながるデータ戦略の基礎を形成します。一般的なベストプラクティスを次に示します。

チームコラボレーション

ビジネスユーザーと技術チームは、組織のデータ要件を確実に満たすために協力する必要があります。すべてのデータ処理と分析では、ビジネスインテリジェンスの要件を優先する必要があります。そうしないと、収集されたデータは未使用のままになり、計画が不十分なデータ管理プロジェクトではリソースが浪費されます。

オートメーション

成功を収めるデータ管理戦略には、ほとんどのデータ処理と準備タスクにオートメーションが組み込まれています。データ変換タスクを手動で実行するのは煩雑です。また、システムでエラーを引き起こします。週次のバッチジョブを実行するなど、限られた数の手動タスクであっても、システムのボトルネックを引き起こす可能性があります。データ管理ソフトウェアは、より高速で効率的なスケーリングをサポートできます。

クラウドコンピューティング

企業は、幅広い機能を提供する最新のデータ管理ソリューションを必要としています。クラウドソリューションは、パフォーマンスを犠牲にすることなく、データ管理のあらゆる側面を大規模に管理できます。例えば、AWS は、データベース、データレイク、分析、データアクセシビリティ、データガバナンス、セキュリティなど、単一のアカウント内から利用できる幅広い機能を提供します。