AWS DataSyncでセキュアなデータ移行を大規模に高速化

Pulisher : Managed & Support Center ビンナリ
Description：AWS DataSyncを活用し、大規模なデータ移行をどのように加速し、安全に行うかについての紹介セッション

はじめに

AWS DataSyncの機能に対する理解を深めたいと思い、このセッションを申し込みました。
このセッションを通じて、クラウド環境での大規模データ移行に関する最新技術とセキュリティ関連事項を把握し、技術的な能力を向上させ、実務に適用したいと思います。

セッションの概要紹介

このセッションは、AWS DataSyncを活用し、大規模なデータ移行をどのように加速し、安全に行うかについて説明するセッションです。 このセッションでは、AWS DataSyncの必要性、メリット、さまざまな環境での動作方法、使用事例、最適化戦略などを知ることができます。

大量のデータ移動を行う場合、管理的な側面やセキュリティ、データの有効性など、多くの問題に直面することになります。AWS DataSyncは、このような問題を解決するために作られた簡単で迅速なデータ転送サービスです。

AWS DataSyncは、比較的高いコストがかかるオンプレミスストレージに保存されたコールドデータをAmazon S3 Glacierのような経済的なストレージに移動させ、ストレージコストを最適化し、オンプレミスストレージスペースを確保して効率的に管理できるように活用されます。

また、他の環境のデータを複製(バックアップ)する用途にも活用されます。スケジュールをかけてDytaSyncを通じて複製する方式で使用します。

AWS DataSyncは次のような特徴があります。
・高速データ転送
・安全性/信頼性
・完全管理型
・使いやすさ

AWS DataSyncは、オンプレミス環境(NFS、SMBベース)、Hadoop、データをクラウドに複製することもサポートし、Snowconeデバイスからのデータ複製もサポートします。 また、エンドポイント、他のクラウド、他地域バケット間のデータ複製もサポートします。

AWS DataSyncの動作方式は4つの段階に分かれています。
１．ソースデータに接続するためのエージェントをインストールします。
２．ソースとターゲットストレージのロケーションリソースを作成します。
３．AWS DataSyncサービスがAWSストレージに接続し、転送を調整します。
４．オンプレミスとAWS間の転送時、インターネット、AWS Direct Connect、およびAWS Virtual Private Network (VPN)がサポートされます。

AWS DataSyncは、DataSync Agentを使用して、オンプレミスと他のクラウド間でデータを転送します。

オンプレミス環境からデータをコピーする際、インターネット、AWS経由、またはサイト間VPNを介したレプリケーションをサポートします。すべてのデータは軽量のETLで暗号化されます。

他のクラウドでAWS DataSyncエージェントを使用する場合、エージェントを展開する方法は2つあります。

第一の方法は、エージェントをEC2インスタンスに直接デプロイする方法、
第二の方法は、そのエージェントをEC2インスタンスに変換して他のクラウドで実行できるようにする方法です。
簡単に言えば、エージェントを他のクラウドで活用するためには、EC2インスタンスにデプロイして実行可能な形に変換する作業が必要です。

AWS DataSyncは、データの移動を処理するタスク中心のサービスです。

各タスクは、SourceとDestinationの位置、そしてタスクの実行を制御する設定オプションで構成されています。
ユーザーは検証方法、データのコピー方法、メタデータのコピー有無などを制御することができます。DataSyncエージェントは一度に1つのタスクを実行することができ、エージェントが使用中であれば、複数のタスクをキューに入れることができます。タスクは一つのSourceから一つのDestinationに移動する設定で、現在、タスクごとに最大5千万個のファイルを処理することができます。
ユーザーはタスクをスケジュールに従ってスケジュールし、実行中のタスクの進行状況をモニタリングすることができます。

AWS DataSyncは、最適化のために次のような機能を提供します：

・インクリメンタル転送：変更されたデータだけを転送して効率的に作業を行います。

・フィルタリング機能：特定のデータの選択、条件に応じてデータをフィルタリングすることが可能です。

・様々なストレージクラスへの直接転送：別途ライフサイクルポリシーを設定する必要がなく、コスト削減が可能です。

セッションを終えて

今回のセッションを通じて、AWS DataSyncの様々な環境での動作原理に対する理解が深まりました。
全体的にDataSyncに関する知識が深まり、まだ実際の運用経験が不足しているため、直接使用したことはありませんが、機会があれば実際に活用してみたいと思います。
今回のセッションで得た知識は、今後の業務でより効果的に活用できるようになると期待しています。