我对Kafka世界还很陌生。我们要求必须处理来自Amazon S3的一堆文件(protobuf格式)并将其转储到Oracle DB中。所以我们要使用Kafka / Confluent平台。以下是我一直在想的方法, 构建Java应用程序以使用Amazon SDK从S3中提取文件(由于S3 Source连接器已获得许可,因此出于POC的考虑,我们将使用Java应用程序 注意::在这里,我们可能会获得更多文件,因此最终可能会创建由Java应用触发的批处理应用 处理数据并生成kafka消息 有人可以分享您的意见和建议吗?
0 个答案:
没有答案