4Manuals

  • PDF Cloud HOME

如何将作业参数传递给migration.yaml中定义的SparkApplication并使用Java的SparkLauncher动态调用它? Download

    如何熟悉awsglue和pyspark中的日志 窗口末端的PySpark结构化流触发输出 连接到托管在docker pyspark等效于将常量数组作为列添加到数据框 如何获取每个条目所有行条目中scala-spark中数组类型列的平均值? Scala:从大纪元开始的星期几 Spark结构化流查询中已处理的行的累计总数? 例外:Java网关进程在发送其端口号pyspark之前已退出 SPARK-在数组的值上连接2个数据框 pyspark将数据帧分为两列,而没有为第二个创建文件夹结构

我正在通过在migration.yaml中定义args使用spark-operator构建SparkApplication,并且必须在SparkLauncher的帮助下动态传递参数才能使用Java运行作业。

是否有可能为每个作业动态生成/修改yaml文件,并以编程方式使用Java,就像spark-submit一样?

0 个答案:

没有答案



Similar searches
    Samsung RS2666SL Refrigerator User Manual 重复数组值被推入新数组 如何在Linux开发笔记本电脑上修复“ java.lang.OutOfMemoryError:无法创建新的本机线程” 在mysql查询中添加距离时出现错误 使用Microsoft Graph从Office 365 / Exchange读取联系人列表