Automating scalable order processing using generative AI

セッション概要

• タイトル：Automating scalable order processing using generative AI
• 日付：2024年12月3日(火)
• Venue：Wynn | Level 1 | Content Hub |
• スピーカー：
  • david mctarnaghan(ceo, affinityX)
  • Mark Schreiber(General Manager, Cloudwick)
  • Matt Soroko (Account Manager, Amazon)
  • Priyanka Chaudhary（Senior Solutions Architect、Amazon Web Services）
• 業界：Advertising & Marketing
• 概要：AffinityXは年間300万件以上の注文を処理する大手広告代理店で、スケーラビリティの問題に直面しました。このセッションでは、AWSとCloudwickの専門知識を活用して、Amazon Bedrock、Anthropic Claude 3、AWS Lambdaなどのサーバーレスサービスに基づいたソリューションを開発した方法を紹介します。この革新的なアプローチで、注文の提出から移行までのワークフロー全体を自動化し、受動的な介入なしに高い注文量をシームレスに処理する方法を学びます。

はじめに

AffinityXは毎年300万件を超える購買発注を処理するグローバル広告代理店であり、急増する業務量の中でも拡張性と運用効率性を確保しなければならないチャレンジに直面しました。このセッションでは、彼らがどのようにそのチャレンジを達成したかを紹介しました。このセッションを選択した理由は、私が普段使っているAmazon Bedrock、AWS Lambda、そして生成的なAI技術であるAnthropic Claude3を活用してこれらの問題を解決したことでした。特に、このセッションは注文処理の自動化全体をカバーし、サーバーレスアーキテクチャと生成的なAIの組み合わせによってどのように運用効率を最大化したかを中心に進んだことに興味がありました。

そのセッションを通じて、既存のアーキテクチャとの差別化された点と、AffinityXが具体的にどのように生成的AIを活用して成功を遂げたかを知ることができる時間であり、注文提出から履行までのワークフローを自動化しながらもコスト効率と拡張姓を同時に達成した事例は、今後私のアーキテクチャ設計にも役立つヒントを与えました。そのような部分を一緒に感じてほしいとセッションの内容をお届けします。

Generative AI on AWS

最初の章では、AWSのGenerative AIをどのように顧客のニーズに合わせて提供するかについての3階層構造を紹介しました。顧客が「どのようにGenerative AIを始めなければならないのか？」という質問を頻繁に行うとし、これに対する答えとして3階層構造を言うとします。

• Infrastructure for FM Training and Inference

直接モデルをトレーニングできる部分で、AWSのTrainiumやInferentiaなどの高性能チップを活用して大規模モデルをトレーニングまたは実験するお客様に最適です。この層は、特に大量のデータとコンピューティングリソースを活用してカスタムモデルを作成する必要がある場合に便利です。

• Tools to Build with LLMs and other FMs

マネージドサービスとして提供されるこの層は、AIモデルを迅速に活用したいお客様に適しています。

Anthropic、Stability AIなど、さまざまな基礎モデルを提供し、サーバーレス環境なので、インフラストラクチャを管理することなく簡単に開始できます。点が特徴です。

• Applications that Leverage LLMs and FMs

すでに完成したAIアプリケーションをすぐに使用できる階層で、チャットボットなどのツールを簡単に接続して特定のビジネスニーズを解決することができます。知識ベースと組み合わせて迅速に適用できるため、特に時間とコストを節約したい企業に適しています。

このように3階層で構成されたGenAI Stackは、お客様の多様なニーズを満たすように設計されています。 Priyankaは、特にAmazon Bedrockが最も柔軟で強力なレイヤーと呼ばれています。

Features of Bedrock

Amazon Bedrock は、AWS の代表的な Gen AI マネージドサービスで、顧客が基盤モデルをすばやく活用できるようにするプラットフォームです。これにより、企業はインフラストラクチャの構築に負担をかけずにAIモデルを活用し、ビジネスニーズに合わせてカスタマイズできます。主な機能をまとめてみると、次のようになります。

[さまざまなAIモデルサポート]

Bedrockは複数のモデルをサポートし、ニーズに合ったモデルを選択して活用できます。

Claude 3.5などの最新の高性能モデルもすぐに利用でき、ビジネスニーズに合わせたソリューションをすばやく構築できます。

[RAGとFine-Tuningのサポート]

Amazon Bedrock は、お客様が提供するデータと知識ベースを活用して、モデルをさらに洗練するためのさまざまなツールを提供しています。

• RAG 

AIモデルはリアルタイムで外部データソースから情報を取得し、より正確な結果を生成します。
ドメインの知識が必要な場合は、リアルタイムのデータ検索で適切な回答が提供されます。

• Fine-Tuning 

AIモデルを自分のデータで再訓練することで、高度にカスタマイズされた結果を生成できます。
Fine-Tuningで作成されたモデルはユーザー専用で、VPC内で安全に管理されます。

[ Serverless Env ]
Bedrockはサーバーレスで動作し、シングルAPIで簡単に呼び出すことができます。
インフラ管理が不要なため、モデルの選択や学習、運営に集中できます。

[データセキュリティとコンプライアンス]
Amazon Bedrock は AWS のセキュリティおよびコンプライアンス基準に準拠し、顧客データの安全性を保証します。
データは常に暗号化された状態で保存され転送され、VPC内部で通信されます。
GDPR、ISO 27001、SOC2などのグローバル規格に準拠しています。

[エージェントサポート]
Amazon Bedrockは、ワークフロー自動化をサポートするためのエージェントを提供します。
EX）旅行予約プロセスで単に要件を入力すると、AIエージェントは最適な結果を提供し、予約を完了します。

Anthropic & Constitutional AI

AnthropicのConstitutional AI方式を導入した。 Constitutional AIは、人間のフィードバックなしにデータに基づいてAIモデルをより透明で洗練された学習を可能にするように設計された方法論です。

[ Constitutional AI ]
Anthropicによって開発されたConstitutional AIは、AIモデルが自分で安全で倫理的な結果を生成できるようにするための学習方法です。これにより、データの偏りや倫理的な問題を減らし、AI応答の信頼性と透明性を高めることができます。

[ Anthropic ]
Amazon Bedrockと協力して、Haiku 3、Claude 3、Opus 3、Claude 3.5などの進化したモデルを短期間にわたってリリースしました.します。

UseCase: Affinity X & Cloudwick

AWS と Cloudwick の連携により、Affinity X は Amorphic Data Cloud と GenAI モデルを活用して注文処理自動化を実装しました。

AffinityXは、AIベースのワークフローソリューションとオムニチャネルマーケティングを提供する新しいタイプの技術企業です。

Challenge :

Affinity Xは、何千もの製品と20,000以上のディストリビューターでさまざまな種類の注文を処理していましたが、このプロセスは非常に非効率的でした。注文データの抽出と統合の両方が手作業で行われ、時間と精度の問題が発生しました。

How to Solve:

1. 自動化されたデータ処理

注文書メールの本文と添付ファイルからデータを自動的に抽出します。 CloudwickのAmorphic Intelligent Document Processing（IDP）を使用してさまざまなドキュメント形式をサポートし、データのコンテキストを理解して精度を向上させます。

2. マルチAIモデルの活用

2つ以上のAIモデルを使用してデータ精度をクロス検証します。
Rosetta Stone System：ディストリビューターごとに異なる用語を標準化することで、エラーを減らすことができます。
EX）「Navy」と「Indigo」を同じ色にマッピング→「Blue」

3. ワークフローの改善と学習機能

AIが処理できなかった例外的な状況は、Human-in-the-Loopを通じて人がレビューしました。人が修正したデータはAIモデルへのフィードバックとして反映され、継続的に精度が向上しました。

4. リアルタイムデータ連動

注文データ処理後、在庫確認、価格検証、配送オプションの照会など、追加データが自動的に連動されます。

Cloudwickは、IT、ビジネスユーザー、およびデータサイエンティストのための、より迅速で安価で機敏なクラウド分析をサポートするネイティブデータレイクの構築に特化したAWS認定コンサルティングパートナーです。

Performance  :

1. 処理速度の向上
   • 注文データ処理時間：平均12分→10秒
   • フルオーダープロセス所要時間：約4時間→15分
     
2. 効率と精度の向上
   • データ入力エラーと重複操作のほとんどを削除します
   • 生産性約30％増加、継続的なAI学習を通じて65％以上の改善見通し
     
3. コスト削減と安定した人材運用
   • 注文量の変動に応じて人材を柔軟に管理する必要が減った
   • 残業や週末の作業削減
     
4. 顧客の信頼性を強化
   • 注文処理の品質とスピードが大幅に向上し、顧客満足度が上昇

まとめ

今回のセッションでは、AWS の Generative AI スタックと Amazon Bedrock を通じて GenAI を実質的に活用する事例が紹介されました。 Affinity Xのケースは、AWSとCloudwickのGenAIソリューションがどのように非効率的なプロセスを改善し、ビジネスパフォーマンスを最大化できるかをよく示しています。 

サーバーレスベースのAmazon Bedrockは、モデル運用に必要なインフラストラクチャ管理の負担を軽減し、セキュリティとコンプライアンスを確保しながらも高い柔軟性を提供するという点で、エンジニアリングの面でも非常に魅力的なツールだと感じました。将来的には、お客様のニーズに合わせたAIソリューションを設計し、データパイプラインを通じてこれをサポートできる構造をさらに悩み、設計するのに大いに役立ちます。

記事 │MEGAZONECLOUD　AI＆Data Analytics Center（ADC）、Data Architecture Team、チョ・ミンギョンマネージャー