Amazon Redshift 与 MSK (Kafka) 实时数据集成指南

概述

本文介绍如何使用 Amazon Redshift 的流式摄取功能，从 Amazon MSK (Managed Streaming for Apache Kafka) 实时读取数据并创建物化视图。

架构说明

Redshift 支持两种方式连接 MSK：

• 预置集群模式：直接连接到 Kafka broker 节点
• 无服务器模式：通过 MSK 集群 ARN 连接

前置条件

1. 已创建 MSK 集群（预置或无服务器）
2. 已配置 IAM 角色，具有访问 MSK 的权限
3. Redshift 集群与 MSK 在同一 VPC 或已配置网络连通性
4. 启用 IAM 身份验证

实现步骤

1. 创建 IAM 角色和权限策略

1.1 创建 IAM 策略

创建一个 IAM 策略，授予访问 MSK 的权限：

{"Version"