4Manuals

  • PDF Cloud HOME

kafka / confluent平台上的最佳方法:“流S3文件-> Java应用程序中的进程->存储在Oracle DB中” Download

    生成预签名URL以使用JavaScript访问S3存储桶,而无需使用凭据值 从Visual Studio将文件上传到Amazon AWS云时出错 如何使用活动存储导轨上传到AES256加密的AWS S3存储桶? 如何正确查询kafka流状态存储? AWS Signature版本4在2019年12月30日提供了无效的签名值 如何使用gRPC proto实现不同数据类型的动态自定义字段 kafka生产者,用于使用python从Mysql表读取数据 如果SQL文件位于S3存储桶中,则为“ flyway.locations:” 将数据从Kafka导出到Oracle 如何配置Spring Cloud Stream(Kafka)应用程序以在Confluent Cloud中自动创建主题?

我对Kafka世界还很陌生。我们要求必须处理来自Amazon S3的一堆文件(protobuf格式)并将其转储到Or​​acle DB中。所以我们要使用Kafka / Confluent平台。以下是我一直在想的方法,

  1. 构建Java应用程序以使用Amazon SDK从S3中提取文件(由于S3 Source连接器已获得许可,因此出于POC的考虑,我们将使用Java应用程序

    )

    注意::在这里,我们可能会获得更多文件,因此最终可能会创建由Java应用触发的批处理应用

  2. 处理数据并生成kafka消息

  3. 使用DB Sink连接器存储在数据库中

有人可以分享您的意见和建议吗?

0 个答案:

没有答案



Similar searches
    使用Helm访问Kubernetes集群中的Nexus失败 JS-在关闭先前打开的子导航的同时打开子导航 C ++中的一元运算符 一旦放入数据框,日期就会神秘地转换为数值数据 rdd.collect()。map出现在火花中,需要花费一些时间进行编译