今回は、AWS re:Invent 2023で発表されたZero ETLのアップデート内容についてご紹介したいと思います。

Amazon Aurora PostgreSQL、Amazon DynamoDB、Amazon RDS for MySQLでAmazon RedshiftとのZero ETL統合が追加

背景として、今までは、Amazon Aurora、Amazon RDS、DynamoDBなどの高性能なデータベースからのトランザクションデータを、Amazon Redshiftなどに移動させる際には、各データソースごとにETLパイプラインを作成する必要がありました。

しかし、今回のアップデートで、Aurora PostgreSQL、DynamoDB、および Amazon RDS for MySQL で Amazon Redshift とのZero ETL がプレビューで利用できるようになりました。

これにより、データパイプラインを構築および維持することなく、複数のソースからのデータを分析できるようになるようです。

Amazon OpenSearch Serviceを使用することで、DynamoDBデータに対してほぼリアルタイムで全文検索とベクトル検索を実行することが可能に

これにより、カスタムコードやインフラストラクチャを使用せずに、DynamoDB データを自動的に複製・変換することで、DynamoDB データの検索を実行ですることが可能になりました。

今後は、データの維持にかかる運用上の負担とコストが軽減されることが、期待されます。

Zero ETLとは？

Zero ETLは、ETL（Extract（データの抽出）, Transform（変換）, Load（読み込み））のプロセスを一切必要としない、新しいデータプロセスのアプローチです。

従来のETLプロセスに比べて、データの準備にかかる手間や時間を大幅に削減することができます。