Build your enterprise gen AI (RAG) deployments with OPEA (sponsored by Intel)

セッション概要

• タイトル：Build your enterprise gen AI (RAG) deployments with OPEA (sponsored by Intel)
• 日付：2024年12月4日(水)
• Venue：Venetian | Level 3 | Lido 3104
• スピーカー：
  • Ezequiel Lanza(Open Source AI Evangelist, Intel)
• 業界：Cross-Industry Solutions
• 概要：あまりにも断片化し、さまざまなフレームワークがあるため、1つのGen AIアプリケーションに統合するのが困難になる可能性があります。 Open Platform for Enterprise AI（OPEA）は、この複雑な統合を簡素化し、Gen AIの導入を加速するためのオーケストレーションフレームワークを提供します。このワークショップセッションでは、AWS で高度な Retrieval Augmented Generation (RAG) アプリケーションをデプロイする練習を行います。 Amazon EKS、Amazon Bedrock、AWS CloudFormationなどのAWSサービスを使用して独自のGen AIアプリケーションを構築できます。また、RAGパイプラインの改善点を見て、実際にOPEAプロジェクトに貢献する機会を得ることができます。

はじめに

今日、私たちが抱えている状況は、生成されたAIアプリケーションを開発したいときに、あまりにも多くのフレームワークとオプションが散在しているため、目標に向かって鮮明な長さが見えないということです。そのため、私たちは、生成型AIを介して何かを作りたいときに常に新しいものを発明しているような気がします。

しかし、このような混乱の中でも機会はあります。オープンソースプロジェクトであるOPEA（Open Platform for Enterprise AI）は、混乱した状況の中で開発者や企業に一幹光のような存在になってくれるでしょう。

混乱を抑えるオープンソースフレームワーク

Open Platform for Enterprise AI (OPEA) は Open Source Framework で、GenAI Application のデプロイをサポートします。このフレームワークはマイクロサービスアーキテクチャに基づいています。したがって、どのアプリケーションをデプロイしたい場合でも、デプロイを円滑にするブループリントを提供します。このブループリントは、UI、VectorDB、LLMなどを含むアプリケーションのエンドツーエンド展開をサポートします。たとえば、使用したいLLM、Vector DBなどがある場合は、単に特定のモジュールを交換して新しいアプリケーションをデプロイするだけです。

OPEA Workshop

参照：https://github.com/opea-project/GenAIInfra

OPEAワークショップはEKSに基づいて行われました。 EKS クラスターの [リソース] タブで、現在実行中のアプリを確認できます。

CloudShellからEKSにアクセスし、アプリケーションのデプロイとリソースを管理する準備をします。

$Kubectl get svc コマンドを使用して、現在 k8s クラスタで実行されているサービスのリストを呼び出します。各サービスにはそれぞれの名前があり、それによって将来そのサービスにアクセスします。

実行中のサービスのリストを確認したので、実際に活用してLLMに質問してみましょう。

欠点を補うためにRAGを適用しましょう。

データのロードと埋め込みを行った後、VectorDB（Redis）にロードします。

その後、RetrieverおよびRerankerマイクロサービスを活用して類似度の高い文書をRetrieveします。

その後、ガードレールを反映して暴力的または性的な内容を含むなど、不適切な質問の場合はフィルタリングを経て回答をしないようにします。ディープラーニングについて質問し、銀行の強盗方法に答えるようにしましたが、ガードレールにぶら下がって答えを生成しません。

まとめ

今回のワークショップセッションでは、オープンソースフレームワークであるOPEAを活用した生成型AIアプリケーションの展開方法について学びました。マイクロサービスアーキテクチャを基盤とするOPEAは、各マイクロサービスを1つのブロックと考え、別々のパイプライン構成を望むなら、該当する部分だけを別のマイクロサービスブロックに切り替えてパイプラインを構成することができました。

最近、生成型AIが急浮上し、一日が遠いと注がれている数多くの生成型AI技術に迷子になっているエンジニアや企業に灯台のような一幹光になる可能性を確認することができました。

記事 │MEGAZONECLOUD AI & Data Analytics Center(ADC) Data Engineering 2 Team チョン・ジソン マネージャー