Improve FMs with Amazon SageMaker human-in-the-loop capabilities

Pulisher : Mass Migration & DR Center イ・ミンギュ
Description : AWSで生成型AIアプリケーションのための高品質な学習データを生成する方法についての紹介セッション

はじめに

Amazon SageMakerに人間参加型機能でもう少し高Valueのデータセットをどのように生成し、どのように役立つかを知るためのセッションです。

モデルを評価するためには人間の判断が必要であり、データ収集、微調整のためのデータ生成、またはインストラクションチューニングと呼ばれる他の形態の微調整のために人間の介入が必要です。

画像、テキストなどの生データを使ってモデルを学習させてから配布します。

人がいくつかのラベルを調整、追加、編集するようにします。

モデルが目的の成果物に到達するまで繰り返し行います。

過去にもそうでしたが、現在も進行中で、時間とコストがかかります。

ファウンデーションモデルはいくつかのことを変えると思います。ファウンデーションモデルは、従来のディープラーニングモデルとは根本的に異なります。ディープラーニングモデルは、ラベル付きデータや注釈付きデータで学習し、モデルを学習させて特定のタスクに使用します。

基礎モデルはトランスフォーマーアーキテクチャに基づいており、通常は非常に大きなサイズです。ファウンデーションモデルを学習させた後は、多くのコンテキストを持ち、そのコンテキストから他の質問への答えを得ることができますが、まずそのモデルが正確に答えているかどうかを把握する必要があります。

したがって、次のようにモデルを評価することができます。

人間のフィードバックによる別の種類の強化学習です。

AWS SageMaker Ground Truthは、人間の介入を通じて基礎モデルの精度と品質を向上させます。すでに検証された経験と技術力で他の経験を提供します。

セッションを終えて

今のところ、人工知能というのは、蓄積されたデータを使って人間を真似る技術なのかなということを考えてみました。 最終的には人間の介入が必要で、これは私たちがやるべきことを機械の助けを借りて、繰り返しやるべきことをさせるプログラミングだと思いました。

人間の介入なしに自分で判断するAIは、今後、将来的にどのような意味を持つようになるのでしょうか。