Kubernetes 中的批处理任务是什么？

发表于 作者 IT之美

在 Kubernetes 中可以通过 Job 和 CronJob 资源来管理批处理任务。其中:

  • Job:用于执行一次性的任务,即运行到完成为止。
  • CronJob:用于执行周期性任务,即基于时间调度运行 Job。

Job 的主要作用是:

  • 一次性任务:运行一次 Job,然后完成。
  • 如果失败会重试:根据 spec.backoffLimit 设置的重试次数进行重试。
  • 幂等性:重复创建同名 Job 不会运行多个实例。

Job 的定义包括以下几个部分:

  • metadata:名称、Label等。
  • spec:Job 的配置
  • template:Pod 模板,用于定义要运行的容器。
  • backoffLimit:失败重试次数,默认是6。
  • completions:完成次数,默认是1。
  • parallelism:并行运行的 Pod 数,默认是1。
  • status:Job 的运行状态。

例如,我们可以定义一个计算 π 至 2000 位小数的 Job:

yaml
apiVersion: batch/v1
kind: Job
metadata:
  name: pi
spec: 
  template:
    spec:
      containers:
      - name: pi
        image: perl
        command: ["perl",  "-Mbignum=bpi", "-wle", "print bpi(2000)"]
      restartPolicy: Never
  backoffLimit: 4

这个 Job 在 Pod 中运行一个计算 π 的 Perl 程序,失败重试 4 次,运行完成后就结束。

CronJob 则是基于时间调度运行 Job,其作用是:

  • 周期性任务:在给定的时间点反复运行任务。
  • 时间调度:使用 cron 表达式设置运行时间。

CronJob 的定义也包括:

  • metadata:名称等。
  • spec:CronJob 配置
  • schedule:cron 时间表达式,如 */1 * * * *。
  • jobTemplate:Job 模板,和 Job 一致。
  • concurrencyPolicy:并发运行策略,Allow、Forbid、Replace。
  • status:CronJob 的运行状态。

例如,我们可以定义一个每分钟运行一次的 CronJob:

yaml
apiVersion: batch/v1beta1
kind: CronJob
metadata: 
  name: hello
spec:
  schedule: "*/1 * * * *"
  jobTemplate: 
    spec:
      template:
        spec:
          containers:
          - name: hello
            image: busybox
            command: ["/bin/sh", "-c", "echo 'Hello from the Kubernetes cluster!']
       restartPolicy: OnFailure

所以总结来说:

  • Job 用于一次性任务,运行完成即结束。可以设置重试次数,具有幂等性。
  • CronJob 基于时间调度运行 Job,用于周期性任务。
  • 两者均通过 Pod 模板定义要运行的容器。
  • 理解批处理任务的概念和配置方法,可以让我们在 Kubernetes 中轻松运行定时任务和批处理工作负载。