Mastering data and AI governance with Databricks Unity Catalog (sponsored by Databricks)

セッション概要

• タイトル：Mastering data and AI governance with Databricks Unity Catalog (sponsored by Databricks)
• 日付：2024年12月2日(月)
• Venue：Wynn | Upper Convention Promenade | Bollinger
• スピーカー：
  • Peter Nolan（SVP R&D Engineering、Mastercard）
  • Zeashan Pappa (Staff Product Manager, Databricks)
  • Fabien Thiaucourt(SVP, Data Governance & Enablement, Mastercard)
• 概要：急速に変化するAI環境で細分化されたデータとAIガバナンスは、イノベーションと規制に準拠する上で障害になる可能性があります。このセッションでは、整形および非整形データ、ファイル、MLモデル、AIツール用のエンタープライズカタログを作成し、データとMLモデルを列レベルで追跡し、データとAIガバナンスをデータブリックスUnity Catalogに統合する方法をMastercardのケースについて説明します。

はじめに

急速に発展するAIの時代に適したデータとAIガバナンスは、企業が革新を追求し、規制を遵守する上で重要な課題となりました。今回のコラムでは、DatabricksのUnity Catalogを通じてデータとAIガバナンスを統合する方法と、Unity Catalogを使用してデータAIガバナンスを実現しているMastercardの事例を紹介します。

データガバナンスの重要性

AIが発展するにつれて、MLモデルなどを活用して爆発的な成長をしながら、データガバナンスの基本原則、責任、コンプライアンス、品質、透明性などの伝統的なものがより重要になっています。

しかし、既存のデータとAI資産の分散により、管理やコラボレーションが困難になり、運用が非効率的になる可能性があります。また、内部インサイト不足がデータを活用して意思決定するのに遅延を生み出すことができます。これらの課題は、ビジネスの価値に大きな影響を与える可能性があります。

DatabricksのUnity Catalog

Unity Catalog はデータと AI アセットを統合して管理でき、前述のコンプライアンスと系譜の追跡が可能です。単一のカタログで運用効率を向上させ、ファイル、表、MLモデル、AIツール、ビジネス指標など、組織内のすべてのデータとAI資産を管理します。たとえば、Delta Lake、Iceberg、Parquetは、データとAIのアクセスポリシーと監査を管理するためのシンプルなインターフェースでコンプライアンスを強化できます。また、データとAIへの詳細なアクセス制御および属性ベースのポリシーでセキュリティを強化し、セキュリティに関する要件も満たすことができます。 

このようにUnity Catalogを使用すると、運用のオーバーヘッドを減らし、データとAI資産の間のリアルタイムの系統を通じて、データフローと依存関係を一目で理解できます。

マスターカードの事例

Mastercard社は、数十億人の消費者、売り手、発行者、政府、企業を結ぶ企業で、数十年間積み重ねられたデータを保有しています。

Mastercardは、これらのデータを革新的に使用し、詐欺防止、取引分析、その他の金融サービスの品質を向上させるためにAIと機械学習を積極的に活用しています。膨大で複雑なデータを扱い、AIを通じて大規模な取引に関連するパターンを分析し、詐欺を防止するための技術を発展させています。

このようにAIを活用した技術の発展には、次のようなさらに向上したデータ管理が必要でした。

• データガバナンスと効率的なデータ使用

マスターカードはデータガバナンスを責任を持って運営し、AIとデータカタログを通じてデータを簡単に見つけて使用することができます。そして、データ品質とコンプライアンス、プライバシー保護を重視し、データ使用の透明性を高めようと努力します。 DatabricksのUnity Catalogを活用してメタデータを結合し、カタログを自動化することができました。

• 
  自動化されたデータコンプライアンス

データブリックスを通じて、データの使用と管理、アクセス制御を統合できたそうです。また、Databricksの透明性と追跡可能な機能でデータのトラブルシューティングに役立ちました。

• より高速なデータとAIの革新

AIモデルを使用するときにデータの系譜を確認できる場合は、データ管理がはるかに簡単になります。 500を超えるフィールドを持つテーブルにドキュメントを作成することもできますが、これをすべて作成するには時間がかかります。したがって、Unity Catalogによる自動化の導入は非常に便利です。また、ビジネス的価値と経営陣の基準で優先順位を決めれば、厳しい作業であるデータ管理やカタログ作業も簡単に終わることができます。

まとめ

今回のセッションでは、データブリックスのUnity Catalogとそれを使用してデータの使いやすさが向上したMastercard社の例を確認することができました。

Mastercardは、AIとデータ革新により金融サービスの品質を向上させ、詐欺防止システムを強化し、データガバナンスを通じて効率的なデータ管理を実現していました。 AIと機械学習を活用したデータ分析により、顧客体験を向上させ、データの品質とセキュリティを高めたことがわかりました。改めてAIを通じた急速な発展の背景には、データが本当に重要であり、そのようなデータをどのように管理して使用するかがAIを通じた発展の品質に左右されるようです。 Mastercard社がこの変化のための努力により、市場でこのように着実に競争力を維持していることが分かり、データ基盤の意思決定とガバナンスの重要性をもう一度確認することができました。

記事 │MEGAZONECLOUD　AI＆Data Analytics Center（ADC）、Data Application Support Team、オム・ユジンマネージャー