Mountpoint for Amazon S3 Storageでスケール時のパフォーマンスを向上

Pulisher : AI & Data Analytics Center チョ・ミレ
Description：Mountpoint for Amazon S3機能による大規模なワークロードをルーティングする方法の紹介セッション

はじめに

非構造化データ管理やデータレイクの構築など、s3への活用とともに、より膨大な量のデータを管理する必要性が高まっています。大規模なワークロードに対応するためのソリューションの特徴を把握し、問題解決方法のためにセッションを申し込みました。IoTと組み合わせたS3の多様な活用を期待しています。

セッションの概要紹介

Mountpoint for Amazon S3は、コンピュータのインスタンスにS3バケットを簡単にマウントし、ローカルファイルシステムとしてアクセスできるオープンソースのファイルクライアントです。 この機能を使用して、Amazon S3の大規模スケールアウトのユースケースである自動運転開発におけるシミュレーションパフォーマンスを向上させる方法を確認できます。

S3とAPとのConnect : Mountpoint

・LinuxベースのアプリケーションがAmazon S3バケットに直接接続するように設計されたオープンソースのファイルクライアントです。

・コンピューティングインスタンスにAmazon S3バケットをマウントし、S3オブジェクトをファイルシステムにローカルファイルとして表示することができます。

・MountpointはローカルファイルシステムのAPI呼び出しをAmazon S3オブジェクトのREST API呼び出しに変換し、スムーズな相互作用を可能にします。

デモンストレーション-ADAS

ADAS(Advanced Driver-Assistance Systems – Advanced Driver-Assistance Systems – 高度な運転支援システム/自律車両)開発プロセスのシミュレーション機能のためのS3でmountpointに接続するデモです。

AWSでADAS機能のためのワークフロー

row data(s3), extract image(s3)->加工-> s3-> extract… ソース資源であるs3から抽出、加工、学習、保存の過程を経ます。

問題 : 大容量ファイルから数千個の画像をextractする必要があります

・シームレスなアクセス：Mountpointはファイルシステムインターフェースを提供し、S3オブジェクトへのアクセスを簡素化します。

・高スループット: 単一のインスタンスのスループットが高く、画像抽出作業を高速化します。

・柔軟性：さまざまなユースケースに対応するため、動的および静的なS3アクセス構成の両方をサポートします。

MountPointで画像を抽出する

・RTMapsは、先進運転支援システム(ADAS)および自動運転車の設計とテストのために、自動車業界で一般的に使用されている開発環境です。

・Mountpointを使用すると、RTMaps形式のファイルを含むS3バケットをコンピューティングインスタンスにマウントして、シームレスなファイルシステムインターフェースを作成することができます。

効率的な画像抽出を促進

・Mountpointを使用すると、RTMapsファイルを含むS3バケットをローカルファイルシステムにマウントして、あたかもローカルディレクトリであるかのようにS3コンテンツにアクセスすることができます。

・Mountpointは、Amazon S3に保存されたデータにシームレスにアクセスする方法を提供し、RTMaps形式のファイルとの統合を簡素化します。

セッションを終えて

実習をもとに、数千のインスタンスに対する安定的な拡張をサポートし、S3データレイクでの大規模データ処理を確認することができ、新しい分野での多様なS3活用事例を知ることができました。