How startups can create disruptive innovations with gen AI on AWS

セッション概要

• タイトル：How startups can create disruptive innovations with gen AI on AWS
• 日付：2024年12月2日(月)
• Venue：Mandalay Bay | Lower Level North | Islander F
• スピーカー：
  • Woo Hyung Choi (Solutions Architect, AWS)
  • Eunho Lee(head of a department, Woowa Brothers)
  • Hyangsun Jeong(Team Leader, GS Retail)
• 業界：Cross-Industry Solutions
• 概要：スタートアップには、独自のファンデーションモデルからエンドユーザー向けのコンテンツ制作まで、さまざまな生成型AIワークロードに対するさまざまな要件があります。ご覧ください。アップステージがSageMakerを使用して学習したSolarモデルに基づいて、AWSマーケットプレイスを使用してグローバル顧客が独自のファインチューニングモデルを簡単に構築できます。できるようにする方法を学びます。 プリンセスのプレキャンバスが Amazon Bedrock と LangGraph でプロンプトチェーンを使用して AI プレゼンテーションを作成し、Amazon OpenSearch Service を使用して 4,000 万以上のベクターデータから類似のデザインテンプレートを推奨するなど、AIベースのクリエイティブなデザイン機能を提供する方法を学びましょう

はじめに

このセッションでは、AWSが生成型AIサービスのために提供するさまざまなサービスについて紹介し、アップステージとミリディのケースを紹介します。アップステージは、BedrockとSageMakerを使用して、顧客にファインチューニングされたファンデーションモデルとサービスを提供し、MilidyはBedrockを通じてWebベースのデザインツールをサービスしています。このセッションでは、AWSがGenAIに関してどのようなサービスを提供しているか、アップステージとミリディがAIサービスを提供するためにAWSサービスをどのように使用しているかを紹介します。

生成型AIとAWS

生成型AIの重要な要素は、データ、ファンデーションモデル、クラウドコンピューティングの3つに挙げられます。データは差別化されたサービスを作成するために使用されるコアリソースであり、膨大なデータを処理して学習するために必要なコンピューティングリソースをクラウドコンピューティングから取得し、AIの脳と言えるファンデーションモデルを学習することができます。

過去には整形データ中心にデータが使用されたとすれば、最近では画像や文書、ビデオなどの非定型データも使用できるようになりました。

ワークロードが必要とする方法でデータを保存して使用できるように、AWSはさまざまな種類のデータストアを提供します。特に、ベクトル検索は、生成型AIアプリケーション開発の重要な要素と言えますが、OpenSearch、Aurora、PostgreSQLなどのさまざまなサービスでサポートしています。

AWSでは、2つの方法でさまざまなファンデーションモデルを使用できます。

• Bedrock: ANTHROPIC、Metaなどの業界最高のAI企業のAIをサーバーレス方式で使用
• JumpStart : upstage、LG、NCなどのさまざまなモデルプロバイダーの生成型AIモデルとデータ前処理モデルをサーバーベースで選択して活用可能

生成型AIサービスは、プロンプトエンジニアリング、RAG、エージェント方式でますます発展しています。このように生成されたAIサービスに適用できるさまざまなテクニックを、Amazon Bedrock Flowsを使用してコードを書くことなくドラッグアンドドロップ方式で設定することもできます。

このようなAIサービスの発展過程で、ファンデーションモデルをさらに学習させて使用するファインチューニングが注目されています。ファインチューニングを行うと学習コストが発生しますが、各ステップのモデル性能を改善しながら推論過程での長いテンプレートを減らして推論過程でのコストを減らすことができるという利点があります。

アップステージの事例

アップステージは企業がAIを使用しようとするとき、既存に持っている非定型データをAIに適切に入れる作業を支援できるDocument AIに集中しており、LLMを利用してこれらのデータを持って情報を分析してインサイトをお手伝いできるサービスを提供しています。

Document AIは、非定型データである文書画像を整形データに変換する機能を提供し、単にテキストだけを抽出するのではなく、文書の構造情報まで抽出して利用します。

保険業界で保険金請求に使用される文書を解析するサービスを提供したが、人より高い精度で文書を分析することができたそうです。商品を開発するのに使ったそうです。

アップステージではSolarという名前のLLMサービスを提供しており、Solarはファンデーションモデルをお客様のデータにファインチューニングして提供するLLMサービスです。

• Solar Mini：小型で汎用的に書くのは難しいですが、データを使って学習した特定のユースケースでは、低コストでも高速で優れた性能を発揮します。
• Solar Pro：22Bサイズのモデルで単一のGPUで推論作業を行ったとき、他のモデルに比べて最高の性能を示しています。単一のGPUで動作させるため、コスト効率が良いと言われています。
• Solar DocVision：画像とテキストを同時に扱いますが、文書画像に特化したマルチモーダルLLMと呼ばれます。

ファインチューニングを行うためのインフラ資源の管理は容易ではありません。アップステージでは、SageMakerを利用しながら、既存のインスタンスベースで作業を行う場合に比べて1/10レベルでコストが削減されたという。

非定型テキストデータをベクトルデータベースに移動する作業が必要です。 Solar Miniを利用してファインチューニングを行った埋め込みモデルを利用したところ、全体的に性能が向上することが確認できたそうです。他のパイプラインをすべて構成している状態でも、埋め込みモデルだけをアップステージの埋め込みモデルに変更することで、全体の性能を10％以上上げることができるという。

ミリディの事例

ミリディは、ウェブベースのデザインプラットフォームを提供する事前キャンバスをサービスしています。あらかじめキャンバスでもAIを利用した機能を多く提供しています。その中でAIプレゼンテーションサービスはテーマだけを入力すれば、そこに合った内容とイメージを利用してプレゼンテーションを作ってくれるそうです。

内部的に動作する方法は次のとおりです。

1. クライアントからサーバーに生成要求を送信する
2. その情報をデータベースに保存する（状態管理の目的）
3. Bedrockに作成リクエストを送信する
4. 一定時間間隔で要求に対する応答を polling
5. テキスト生成が完了すると、Bedrockはアプリケーションに応答を返します
6. アプリケーションが追加のイメージを必要とする場合、イメージサーバーにイメージを要求する
7. 生成されたすべての情報をデータベースに保存する
8. 生成されたすべての情報を組み合わせて結果を作成して表示する

プレキャンバスは、3つの段階でプロンプトエンジニアリングを実行し、パフォーマンスを向上させるためにPrompt Chaining技術を使用しています。具体的な方法を説明しますが、ここでは整理しません。

プレキャンバスは、プレゼンテーションを作成するときにユーザーにどのテンプレートを使用するかについて尋ねます。このとき、目的のテンプレートを見つけやすくするためのテンプレート推奨機能を提供するとします。テンプレート推奨機能は以下の手順で動作するそうです。

1. Bedrockを使用して画像テンプレートの特性を抽出してテキストに変換します。
2. 抽出したテキストを埋め込みモデルを使用してベクトルに変換し、ベクトルデータベースを保存します。
3. 顧客は、自分が望むテンプレートが何であるかをデータベースに保存し続けます。
4. 十分な情報が集まったら、ベクトルディビで類似度検索を行い、返された結果を返します

まとめ

このセッションでは、GenAIの説明とアップステージとミリディの事例を確認することができました。 GenAIが最近になって急浮上しましたが、具体的にGenAIを利用してどのように価値を創出するかはまだ悩みが必要な部分だと思います。今回のセッションを通じてGenAIをよく知らなかった方も、GenAIの基本原理とサービスの実装方法について理解し、ビジネスにどのように接ぎ合わせることができるかインサイトを得てほしいと思います。

記事 │MEGAZONECLOUD　Cloud Technology Center (CTC), Cloud SA 8 Team、イ・ムンジェマネージャー