Finding the right approach: Bridging traditional ML with generative AI [REPEAT]

セッション概要

• タイトル：Finding the right approach: Bridging traditional ML with generative AI [REPEAT]
• 日付：2024年12月2日(月)
• Venue：Mandalay Bay | Lower Level North | Islander C
• スピーカー：
  • Matthew Purcell (Senior Technical Trainer, Amazon Web Services)
  • Sheetal Jajoo (Sr. Technical Account Manager, Amazon Web Services)
• 業界：Cross-Industry Solutions
• 概要：従来のMLと生成型AIの相乗効果を探求し、適切なソリューションを選択するための基準を紹介します。 Amazon Bedrock、Amazon Qなどのローコード/ノーコードツールからSageMaker JumpStartなどのコードベースのソリューションまで、さまざまなAWSサービスを活用して、ジェネリックAIとMLを統合する方法を学びます。

はじめに

このセッションでは、機械学習（ML）と生成型AI（Generative AI）を組み合わせたハイブリッドアプローチについて説明します。 Traditional MLとGenAIの違い、活用の際に考慮すべき点、およびAWSでこれをサポートするサービスについてまとめます。

最近、企業はデータ駆動型の意思決定を加速し、Generative AIなどの革新的な技術を採用し、Traditional MLとの結合が重要なテーマとして浮上しました。 Generative AIが急速に発展するにつれて、従来のMLアプローチとGenerative AIをどのように効率的に統合できるかが重要な問題となっています。今回のセッションは、従来のMLとジェネラティブAIをハイブリッド方式で組み合わせることで、さまざまなビジネス問題を解決する方法を取り上げたワークショップの形で構成されています。

このセッションでは、Traditional MLモデルがGenerative AIと組み合わされたときに、より効率的で創造的なソリューションをどのように提供できるかを実際のケースで説明しました。 AWSサービスであるAmazon SageMaker、Amazon Bedrock、Amazon Textractなどを活用して、2つのテクノロジをどのように統合できるかについての経験を積むことができました。

Agenda

Traditional Machine Learning（ML）とGenerative AIの基本的な概念と違いを説明し、伝統的な機械学習が主にどのような問題を解決するために使用されているか、およびGenAIをどのように組み合わせることができるかについて説明します。さらに、各技術の利用可能性と適切な状況について議論します。

Generative AIはさまざまな分野で広く利用されており、特にテキスト生成、画像生成、コード完成、インタラクティブなインターフェースなどで優れた成果を見せています。

1. テキスト生成(Text Generation): テキスト生成は最も代表的な活用分野で、さまざまなコンテンツを自動的に生成するために使用されます。たとえば、顧客との会話で素早く適切な回答を作成することができ、さまざまなビジネス状況で役に立ちます。

2. イメージ生成(Image Creation): 生成型AIは、イメージ生成にも非常に強力な性能を発揮します。広告デザイン、製品プロトタイプ制作、そして芸術作品創作などで生成型AIが重要な役割を果たします。たとえば、デザイナーが具体的なアイデアやコンセプトを提供すると、AIはそれに基づいてさまざまなスタイルの画像を作成できます。

3. コード補完: 開発者ツールのコード補完機能は、生成型AIのもう1つの重要な活用事例です。 AIは、開発者が書いたコードのコンテキストを理解し、自動的にコードを表示したりエラーを修正したりする機能を提供できます。これは開発速度を大幅に向上させ、間違いを減らすのに役立ちます。

4. インタラクティブなインターフェース: Generative AI はカスタマーサポートのチャットボットやインタラクティブな AI システムに活用され、人との会話を自然に処理することができます。たとえば、顧客の質問をすばやく解決したり、人のように話したりしながら顧客サービスを改善したりできます。これは、ビジネスの効率性を高め、顧客満足度を向上させる上で重要な役割を果たします。

Similarities of Traditional ML / Generative AI

従来の機械学習（ML）と生成型AI（GenAI）はどちらもデータ駆動型のアプローチを使用し、パターン学習を通じて結果を導き出します。つまり、どちらの技術もデータを通じて学習し、学習したパターンに基づいて予測をしたり、新しいデータを生成するために使用されます。

モデルパフォーマンスの最適化：両方のテクノロジがモデルを学習した後、パフォーマンスを最適化し、精度を向上させるためにモデルのチューニングと検証が必要です。これにより、より良い予測パフォーマンスを引き出すことができます。

データ中心：両方のテクノロジは、データを介して学習、予測、または生成することを実行します。機械学習モデルは与えられたデータから予測モデルを構築し、生成型AIはデータに基づいて創造的なコンテンツを生成します。

ニューラルネットワークの使用：従来の機械学習もニューラルネットワークベースのモデルを活用することができ、生成されたAIは特に複雑なニューラルネットワークを使用して大規模なデータでパターンを学習します。

Differences of Traditional ML / Generative AI

Factors	Traditional ML	Generative AI
Purpose	データに基づいて予測を行う	新しいコンテンツの作成
Model Size	小規模	大規模
Interpretability	比較的簡単で解釈が簡単	複雑で解釈が難しい
UseCase	予測分析、分類、回帰など様々なデータ分析作業	テキスト生成、画像生成、コード補完、対話型インターフェース

Traditional 機械学習と Generative AI は、目的、モデルサイズ、解析可能性など、さまざまな点で違いが見られますが、各技術が持つ特性をよく理解し、状況に合わせて活用することが重要です。従来の機械学習は予測と分析に適しており、生成されたAIは創造的で革新的なコンテンツの作成に強みを持っているため、2つの技術は互いに補完的な役割を果たすことができます。

Criteria for Selecting the Appropriate Solution

前述のように、さまざまな特性と目的があるため、ユーザーがどのスキルを選択するかを決定するための選択基準が重要です。ここでは、適切な技術を選択する際に考慮すべき主な要因は次のとおりです。

要因	従来の機械学習 (ML)	生成AI
問題領域	予測や分類タスク、明確な問題がある場合、構造化されたデータ分析	自然言語処理タスク、新しい文書の生成、解決策や結果が明確に定義されていない、創造的で柔軟な思考が求められるタスク
データの特徴	小規模なデータ、構造化されたデータ	大規模なデータ、非構造化された多様なデータ
パフォーマンス要件	精度、速度、スケーラビリティ、明確な指標（NLPの場合はBLEU）	精度、創造性、柔軟性
解釈可能性 / 説明責任	法規制の遵守、信頼性、ユーザー受容性	モデルの透明性、説明責任、ユーザーが理解できる説明
コンピュータ / 時間の要件	推論速度、ハードウェア仕様、開発速度、デプロイメントの考慮	計算リソースの要件、開発速度、実行時間

Workshop

このワークショップでは、従来のMLと生成されたAIを組み合わせてカスタマーサポートシステムを構築する方法を学ぶ機会を提供し、AWSのさまざまなAIサービスを活用して実際の問題を解決することに焦点を当てています。各段階での練習を通じて、参加者は機械学習モデルのトレーニング、展開、および評価プロセスを経験します。

目標	Tradition MLとGenerative AIを組み合わせてHyBridカスタマーサポートシステムを構築
Key Config(Traditional)	クラス分類による分類モデル（Traditional ML） – 顧客サポートクエリを分類するためにLinear Learnerアルゴリズムを使用してトレーニングされた機械学習モデルを構築します。
Key Config(GenAI)	事前訓練された言語モデルによる応答の生成 – クエリに対する応答を生成するために事前訓練された言語モデルを使用する – 伝統的なMLモデルの分類結果に基づいて適切なシステムプロンプトを設定して、より自然な応答を生成します。
Key Config (AWS)	感情分析のためのAWS AIサービス（Amazon Comprehend） – 顧客のクエリの感情を分析して、肯定的、否定的、および中立的な感情を識別する – 感情分析の結果に従って、クエリを人間のエージェントにエスカレーションする必要性を判断します。
パイプライン	1.環境設定（Libインストール/ S3バケットの作成）2. データの準備（Train / Test用に分割）3。 Traditional ML CountVectorizerを使用してテキストデータを数値形式に変換するSageMakerのLinear Learnerアルゴリズムを使用したモデルトレーニング。モデルの展開と推論（エンドポイント/プロンプト）5。ハイブリッド：クエリ分類（Traditional ML）+クエリ応答生成（Gen AI）Amazon Comprehendを使用してクエリの感情を分析する6。検証（モデルの精度を評価し、分類レポートを生成）

まとめ

従来の機械学習と生成型AIはそれぞれ異なる強みと特性を持っているため、問題の性格、データの特性、モデル解析可能性、性能要件、応用分野などを考慮して適切な技術を選択することが重要です。選択基準を明確にし、各技術の特性に合わせて活用することが効率的な結果を導き出すことができることをもう一度感じ、新技術を無作為に適用するのではなく、基準を明確に立てて最適な選択をしなければならないと誓いました。

記事 │MEGAZONECLOUD　AI＆Data Analytics Center（ADC）　Data Architecture Team　チョ・ミンギョンマネージャー