MSKとAmazon Managed Service for Apache Flinkによるイベント検出

Pulisher : Mass Migration & DR Center イ・ミンギュ
Description：Amazon MSKを利用したイベントキャプチャ、Apache Flink用Amazon Managed Serviceを利用したイベント検出、そしてAmazon SNSとAWS Lambdaを利用したメール送信を実施したワークショップセッション

はじめに

ワークショップアドレス : https://catalog.workshops.aws/casino-analytics/en-US
イベントキューに関するインサイトを得たいと思って参加しました。

セッションの概要紹介

MSKサーバーレスは、クラスターの容量を管理し、規模を調整することなくApache Kafkaを実行できるようにするAmazon MSKのクラスタータイプです。データを安定的に分散保存し、配信する役割を果たします。

Apache Flinkは、複雑なデータストリームを処理し、データ処理タスクを実行することに重点を置いています。

Apache Flink studioのマネージドサービスを使用してイベントを生成します。

Apache Zeppelinに実習で準備したインポートファイルを入れると次のような画面が確認できます。

Amazon MSKクラスターを生成した後、Plaintextをコピーします。

Zeppelin に KAFKA BROKERS を貼り付けます。

実行に成功しました。

ランダムにイベントを生成してデータを送信します。

AWS Glueを使用してメタデータストレージとして使用します。

Amazon MSKから受信したデータを分析します。

ラムダトリガーを通じて通知を受け取ります。

セッションを終えて

Apache FlinkとMSK、そしてLambdaを通じたSNSは全て初めて試すものでした。

一般的なセッションよりワークショップセッションの方が私自身には残ってることが多いようです。 それぞれのスタックをもう一度深く理解した後、そのワークショップを復習してみるのがいいと思います。