AWS 上の Palantir Foundry によるオペレーショナルデータメッシュの実装で組織を変革

本記事は、Keith Kelly, Head of Solutions Architecture – Palantir、Francesca Ferretti, Forward Deployed Architect – Palantir、および Mehmet Bakkaloglu, Principal Solutions Architect – AWS による共著です。

Palantir

企業のデータアーキテクチャと戦略は、過去 30 年間でよりスケーラブルに、高性能に、そしてコスト効率に優れたものとなっています。一元化された配信パラダイムから、データの可視化と洞察を容易にする消費指向のデータモデリングの提供へと進化してきました。

現在、データアーキテクチャと戦略は、発見しやすくしたいというニーズと、開発者と直接つながりたいというユーザーの要望に応え続けています。

データメッシュはそのようなアプローチの 1 つであり、もともとは Zhamak Dehghani によって定義されました。これは、データを製品として提供することにより、組織がデータドメインを中心にどのように組織化できるかの方法論を示します。データメッシュには、ドメイン主導のデータ所有権、製品としてのデータ、セルフサービス型のインフラストラクチャ、そしてコンピュテーショナル連携型の統制という 4 つの原則があります。

この投稿では、既存の投資を活用して構築しながら、このようなアプローチを通じてお客様がデータアーキテクチャを実現および変革するのを支援するために、Palantir Foundry がどのようにアマゾン ウェブ サービス (AWS) 上で稼働するかを説明します。

Palantir は AWS パートナーおよび AWS Marketplace セラーであり、組織がデータ、意思決定、運用を統合できるようにするソフトウェアを構築しています。

データメッシュはどのように役立ちますか？

データメッシュは、新世代の高可用性データアーキテクチャを定義します。つまり、サービス面での可用性だけでなく、エンドユーザーに対する製品の可用性や、開発者に対するさまざまなセルフサービスツールの可用性にも影響します。

サービスの可用性

データメッシュは、データレイクなどの従来のアーキテクチャから優れた原則を継承し、それらを魅力的な新しい要件と結び付けています。たとえば、量、速度、多様性は依然として現代のデータ製品に重要な条件であり、柔軟で非常にスケーラブルなインフラストラクチャが必要ですが、データ製品戦略を成功させるには、潜在的に一定レベルの民主化が不可欠です。

この民主化とは、インフラストラクチャやセキュリティ管理など、歴史的に一元化されてきた特定の責任を分散化することにあたります。具体的には、データ製品チームは、インフラストラクチャのニーズを満たすために、自社製品に対する完全な所有権を必要とし、利用可能なサービスへのアクセスを許可または禁止する自律性を持たなければなりません。

このような民主化は「コンピュテーショナル連携型の統制 (Federated Computational Governance)」とも呼ばれ、技術スキルが最小限またはまったくなくても実装できるインフラストラクチャとセキュリティ管理機能をデータプラットフォームが提供している場合にのみ実現できます。

Palantir Foundry on AWS は、Kubernetes の最適化バージョンである Rubix を提供し、中央の IT 運用チームの関与を必要とせずに、基盤となる AWS インフラストラクチャをニーズに応じてスケールアップおよびスケールダウンできます。また、Foundry では、Foundry がホストする Spark プロファイルと環境設定を活用して、データ製品チームが特定のデータ製品ワークロードに計算リソースを設定する完全な自立性を可能にします。

さまざまなアクセス制御メカニズム (役割ベース、分類ベース、目的ベースなど) を組み合わせたマルチモーダルなプラットフォームセキュリティフレームワークにより、データ製品チームは誰が何にアクセスしているかを常に監視できます。

エンドユーザーへの可用性

データ製品は、ユーザーが常に利用できなければなりません。このシンプルなコンセプトは、データ製品がさまざまなポートを通じて簡単に利用でき (相互運用性とアドレス可能性)、ユーザーの言葉で話せること (見つけやすく、自分で説明できること)、そして信頼性と安全性を備えていることの必要性を強調しています。

Palantir Foundry は、あらゆるデータ製品 (データセットであれモデルであれ) を、製品利用の標準出力ポートとして機能する REST API として実装しています。デフォルトでは、データ製品は API やオントロジーなどの複数の相互運用可能なポートを介してレンダリングされます。

このオントロジーは、AWS インフラストラクチャを利用したオブジェクトストレージレイヤーを活用します。これにより、可視化やダッシュボードから時系列分析に至るまで、Foundry の膨大なエンドユーザーアプリケーションを通じてデータ製品が利用されるときに、簡単かつ迅速に操作できるようになります。

AWS のお客様向けには、Amazon S3 互換の API を介して Foundry データセットを S3 バケットであるかのように操作できる新機能が利用可能になりました。

一般に、これらのデータ製品とその出力ポートは、Foundry に存在または接続されているあらゆるデジタルリソースをスキャンするスマートソースから、データカタログ、オントロジーマネージャー、モデリングオブジェクティブなどのより精緻な形式まで、Foundry 内のさまざまな機能を通じて見つけることができます。

セルフサービスの可用性

データメッシュアーキテクチャの重要な原則の 1 つは、プラットフォームレベルのセルフサービス型のデータインフラストラクチャを提供することです。これにより、開発者とユーザーは最も使いやすいツールを選択できます。

理想的なデータプラットフォームとは、古いテクノロジーや新しいテクノロジーを含むすべてのデータ製品との完全な相互運用性を保証しながら、組織が既存のツールチェーンの内部だけでなく、その上に構築して過去の投資を最大限に活用できるプラットフォームでなければなりません。

このような理由から、Palantir Foundry on AWS には、相互運用可能な標準出力ポートに加えて、他のシステムから生成されたデータ製品を統合しながら、Foundry を独自のデータメッシュの管理プレーンとして活用するための多数の検出ポートと入力ポートが含まれています。

長年にわたって開発された 200 以上のネイティブコネクタ (Amazon S3 やその他の AWS サービスなど) と、ユーザーフレンドリーなデータ統合のための大規模な研究開発投資によって、Foundry は HyperAuto と呼ばれる標準的なエンタープライズリソースプランニング (ERP) や顧客関係管理 (CRM) 主導のデータ製品のための独自のデータ探索および統合ツールを提供しています。

データメッシュを超えて: Foundry のオペレーショナルデータメッシュ

Palantir Foundry on AWS は、データメッシュの原則をすべて満たすデータ戦略を成功させるために必要なあらゆる機能を提供します。本記事では特定の機能に焦点を当てていますが、その他の機能については別の場所で取り上げます。

図 1 – Palantir Foundry on AWS

データメッシュを完全に運用し、ビジネスにおける効果を確実にするには、原則だけでは不十分です。データメッシュが最終的に取り組む重要な課題は、組織全体にわたるデータ主導の意思決定において、より効果的な業務効率を大規模に提供することです。

データメッシュの 4 つの原則はすべてこれを裏付けていますが、他のパラダイムシフトと同様に、原則を適用したからといって実行や変革が成功する保証はありません。最も難しいのは、業務レベルで組織構造、マインドセット、プロセスを移行することです。

データメッシュの変革には適切な対応テクノロジーが必要ですが、テクノロジープロジェクトとして推進すべきではありません。小規模または独立した概念実証 (POC) の成功を誇張することには危険があります。従来のパラダイムよりも運用上のスケーラビリティが優れていないためです。これを中心に据えるために、Palantir はオペレーショナルデータメッシュに焦点を当てることを推奨しています。

オペレーショナルデータメッシュは、組織の個別部分や独立したシステムに焦点を当てた POC や独立したイニシアチブであってはなりません。これにより、組織全体のすべてのデータへのアクセスが民主化され、企業のバリューチェーン全体および企業管理のあらゆるレベルにおける意思決定とデジタル継続性が促進されます。対象範囲と効率性の基準を定め、測定するために、できるだけ早くメトリクスを導入する必要があります。

オペレーショナルデータメッシュプログラムでは、このようなメトリクスの迅速かつ持続可能な進捗状況を示すとともに、経営上のビジネス効果も増大していることを示せなければなりません。Palantir は、一般的に技術プロジェクトを意味するデータメッシュの「デプロイ」や「構築」よりも、成熟度がますます高まるオペレーショナルデータメッシュに向けて人、プロセス、ツールを「移行」することを推奨しています。

約 20 年前、AWS は、統合や管理のコストを爆発的に増加させることなく、システムハードウェアを持続的に拡張する方法は、可能な限り抽象化して標準化することだと認識していました。同様に、統合や管理のコストを爆発的に増加させることなく、持続的に拡張するには、オペレーショナルデータメッシュもデータ製品の提供と利用を抽象化して標準化する必要があります。これは必然的に、企業の予算とリソースが下位レベルの技術活動ではなく上位レベルの目的に使用されるため、ビジネス効果をもたらすイノベーションの加速に繋がります。

Foundry ではこのような上位レベルの抽象化が可能であり、データの生成や利用に技術スキルを必要としないため、開発者とユーザーが仲介者を介さずに直接連携することができます。

図 2 – Palantir Foundry の開発者とユーザー

また、オペレーショナルデータメッシュは、ビジネスのセマンティック、キネティック、ダイナミックな要素を統合し、洞察と意思決定の間のフィードバックループを円滑に進めるのに役立ちます。特に人工知能が急速に発達している現在の時代では、意思決定を記録し、意思決定を支援する洞察の生成にフィードバックできることが不可欠です。

オペレーショナルデータメッシュは、開発者とユーザーに自立性を与え、仲介チームなしでポリシーの範囲内で連携できるようにします。Foundry は、運用システムの開発者や高度な分析チームから事業運営、経営幹部まで、すべての開発者とユーザーの間の緊密なコラボレーションを可能にします。

Foundry を導入する利点には以下が含まれます。

• データを悪用から保護するために必要なガバナンス管理を犠牲にすることなく、データの発見と提供 (民主化) が容易になります。
• 各チームがそれぞれの事業領域における責任の副産物としてデータを生成し、制御と管理を可能にします (また、その内容と機密性を最もよく理解できます)。
• 各ビジネスチームが、それぞれ独自の環境で分析を行えると同時に、さまざまな分析/運用環境のチームと連携することもできます。
• 分析やモデルのアウトプットを、さまざまなチームや役割にまたがる最終的な意思決定者、または現場の運用担当者に結び付けるだけでなく、規律を持って学習するために調査結果、知識、活動のパフォーマンスを統合します。

Palantir Foundry と AWS

Palantir Foundry と AWS を組み合わせることで、オントロジーのハイドレーションの各ステップで柔軟性を提供します。データ、モデル、アプリケーションを両者間で同期して、運用上の接続性を実現できます。

たとえば、ユーザーは、お客様の AWS アカウントの Amazon SageMaker から Foundry Python SDK を介して オントロジーに接続し、機械学習 (ML) モデルの構築とトレーニングを行うことができます。その後、エンドポイントにデプロイされたモデルを Foundry Catalog に登録し、Foundry で開発された新しいデータ製品で呼び出したり、Foundry アプリケーションで利用したりできます。

Foundry Catalog は、Amazon SageMaker モデルレジストリに接続することで、モデルの詳細情報を充実させることができます。さらに、Foundry と AWS の相互運用性により、AWS の人工知能 (AI) サービスを Foundry で直接呼び出すことができ、既製のインテリジェンスを活用することができます。

図 3 – Palantir Foundry の Amazon SageMaker 統合 (例 1)

次に示す 2 つ目の例では、ユーザーは Amazon API Gateway、AWS Lambda、Amazon DynamoDB などのサービスを利用して、オントロジー上にクラウドネイティブアプリケーションを構築できます。オントロジー API (OPI) により、アプリケーションはオントロジーをファーストクラスの方法で利用することができます。OPI では、複雑なロジック、モデル、書き戻しなど、オブジェクトに定義されているアクションを使用できます。

図 4 – オントロジー上のクラウドネイティブアプリケーション (例 2)

これらは、AWS のサービスによってオントロジーをハイドレートして活用する方法の 2 つの例にすぎません。AWS のサービスはデータの準備、可視化、分析にも使用できることに注目してください。

結論

Palantir Foundry on AWS を利用すると、お客様はオペレーショナルデータメッシュのパラダイムに段階的かつ迅速に移行できます。これにより、企業は既存の投資を活用して迅速な価値を生み出すことができ、技術的な背景の合理化と最適化を柔軟に行うことができます。オペレーショナルデータメッシュのパラダイムを拡張し、完全に取り入れるために必要な組織やプロセスの変更と並行して実装できます。

金融、製造、公益事業、その他の業界にわたる Palantir の最大手のお客様の中には、継続して増加し続けるビジネス価値を提供しながら、すでにこのような取り組みを実現している企業もあります。

オペレーショナルデータメッシュへの移行方法の詳細については、Palantir にお問い合わせください。Palantir の詳細は、AWS Marketplace でも確認できます。

.

.

Palantir – AWS パートナースポットライト

Palantir は、組織がデータ、意思決定、運用を統合するためのソフトウェアを構築する AWS パートナーです。

Palantir に問い合わせ | パートナー概要 | AWS Marketplace

翻訳は、Partner SA 河原が担当しました。原文はこちらです。