Kubernetes 健康檢查:liveness、readiness 和 startup 探針
依用途設定 Kubernetes 探針的端點與判定時間,再對照 Pod 事件和容器結束狀態,找出重新啟動的原因。
結帳服務剛部署,新 Pod 的程序已經啟動,卻還在預熱快取。此時把請求送進去可能出錯,重新啟動則會中斷預熱,讓程序回到起點。Kubernetes 的健康檢查把這兩個決定交給不同的探針。
readiness 判斷容器能否接請求,liveness 偵測重新啟動可能修復的故障,startup 則替慢啟動預留獨立的時間。下列片段放在 spec.containers[] 的同一個容器項目中,應用程式要在 8080 埠提供 /healthz 和 /ready。
先想清楚檢查失敗時要做什麼
liveness 找出仍在執行、卻已無法繼續工作的程序。 連續失敗達到門檻後,kubelet 會終止容器,再依適用的重新啟動策略處理。讓 /healthz 檢查本機程序能否繼續處理工作。共享資料庫故障時,把所有應用程式副本重新啟動只會增加冷啟動與重連,資料庫還是沒有恢復。
livenessProbe:
httpGet:
path: /healthz
port: 8080
initialDelaySeconds: 10
periodSeconds: 10
failureThreshold: 3
readiness 決定容器是否能承接一般 Service 流量。 連續失敗達到門檻後,kubelet 會把容器標記為未就緒,Pod 的 Ready 條件反映容器狀態與已設定的 readiness gates。對使用 selector 的一般 Service 而言,端點可能留在 EndpointSlice 裡,並標記為 ready: false。路由更新可能稍有延遲。探針不會主動關閉已有連線,直連 Pod 的請求也可能繞過 Service。若 Service 設了 publishNotReadyAddresses,要另行確認端點如何發布。EndpointSlice 條件(英文)
readinessProbe:
httpGet:
path: /ready
port: 8080
periodSeconds: 5
failureThreshold: 2
就緒檢查要反映這個副本實際能提供的服務。某個依賴若是每個請求都需要的,依賴中斷時將該副本標為未就緒或許合理。若所有副本在同一次故障中仍能回傳快取結果,全部移出路由就會連可用的備援一起移除。端點本身也要夠輕量,才能頻繁檢查。
startup 探針成功之前,kubelet 暫緩同一容器的 liveness 和 readiness。 每次容器啟動時才執行這項檢查。連續失敗達到門檻時,kubelet 會終止容器,再依適用的策略處理。間隔 10 秒、失敗門檻 30 次,大約能規劃五分鐘的啟動預算。首輪檢查、排程和單次耗時都會影響實際時間。
startupProbe:
httpGet:
path: /healthz
port: 8080
periodSeconds: 10
failureThreshold: 30
選擇能回答問題的探測方式
| 方式 | 通過條件 | 要留意的地方 |
|---|---|---|
| HTTP GET | 回應狀態碼為 200–399 | kubelet 通常連到 Pod IP。讓檢查端點直接回應。HTTPS 探測會略過憑證驗證。 |
| TCP | 可建立連線 | 即使應用程式隨即關閉連線也可能通過。kubelet 從節點發起連線,和從客戶端 Pod 發出實際請求是兩回事。 |
| Exec | 命令結束碼為 0 | 命令應該短小。管線與重新導向要明確呼叫 shell。Pod 密度高時,頻繁建立程序會增加成本。 |
| gRPC | 健康服務回報 SERVING |
實作 gRPC Health Checking Protocol。內建探針使用數字連接埠,預設採明文連線。伺服器可用選填的 service 值區分檢查。 |
HTTP 與 TCP 可以使用有名稱的容器連接埠。內建 gRPC 探針自 Kubernetes v1.27 起為穩定功能。v1.37 新增 Alpha 階段的 TLS 支援,需要啟用預設關閉的 GRPCContainerProbeTLS。在該模式下,kubelet 會略過伺服器憑證驗證。gRPC 探針 TLS(英文)
HTTP 健康端點應回傳短小內容並避免重新導向。若導向另一個主機,kubelet 可能判定探測成功並留下警告,即使沒有在該主機執行檢查。Kubernetes 探針設定(英文)
在反應速度與誤判之間取捨
預設值是 initialDelaySeconds: 0、periodSeconds: 10、timeoutSeconds: 1、failureThreshold: 3、successThreshold: 1。liveness 和 startup 的 successThreshold 必須是 1。容器尚未就緒時,kubelet 可能在設定的間隔之外再執行 readiness。啟動探針和初始延遲都是條件。在 Kubernetes v1.36.0 的 worker 中,初始延遲依容器進入 Running 的時間計算,不能假定 startup 成功後會重新計時。探針預設值(英文) · Kubelet v1.36.0 原始碼
若尖峰時段的 /healthz 偶爾要超過一秒,先量測端點,再調門檻。這份替代設定把單次 liveness 超時設為三秒,要求連續失敗三次才採取動作。若符合你的復原時間要求,再用它替換前面的 liveness 片段。單次檢查耗時、排程和終止寬限期也會影響看到新容器的時間。
livenessProbe:
httpGet: {path: /healthz, port: 8080}
periodSeconds: 15
timeoutSeconds: 3
failureThreshold: 3
把重新啟動和路由問題分開查
CrashLoopBackOff 表示 kubelet 正延後再次嘗試,原因仍要另外查。把下列唯讀命令中的命名空間、Pod 和容器名稱換成現場的值,先對照目標容器的 Last State、結束原因、時間與上一個容器的日誌,再比對 Pod 事件。
NS=shop
POD=checkout-abc
CONTAINER=checkout
kubectl -n "$NS" describe pod "$POD"
kubectl -n "$NS" logs "$POD" -c "$CONTAINER" --previous
kubectl -n "$NS" get events --field-selector "involvedObject.kind=Pod,involvedObject.name=$POD" --sort-by=.metadata.creationTimestamp
startup 或 liveness 探測失敗後緊接容器被終止,是探針觸發的線索。上次終止原因若是 OOMKilled,就沿另一條路徑查記憶體。readiness 失敗也可能留下 Unhealthy,單看事件理由無法判定。若 Pod 一直執行,卻無法承接一般流量,應查看就緒狀態和 Service 的 EndpointSlice。
kubectl -n shop get endpointslice -l kubernetes.io/service-name=checkout -o yaml
API 伺服器的 --event-ttl 預設為一小時,實際設定依叢集而異。需要回溯較久的事件時,可以啟用觀測雲 DataKit Kubernetes 事件收集(簡體中文),確認有權讀取目標命名空間。比對 involved_namespace、involved_name、事件時間,以及受影響容器的日誌或狀態。這樣才不會把剛發生的就緒波動誤認為先前重新啟動的原因。Pod 生命週期(英文) · API 伺服器設定(英文)
