用 perf_hooks 和 Prometheus 做 Node.js 效能監控

量測 Node.js 程式區段耗時,區分事件迴圈延遲和利用率,再用 Prometheus 查詢各路由的 P95 回應時間。

最佳實務
Node.js 事件迴圈與非同步工作流程示意圖

訂單 API 變慢時,平均回應時間可能幾乎沒動。若特定路由的長尾延遲拉高,可以先分開看兩件事:請求在等哪個操作,以及等待期間事件迴圈能不能繼續運作。做 Node.js 效能監控時,程式區段計時、執行階段指標和請求延遲各有用途,放在一起才能縮小排查範圍。

量測請求實際等待的區段

在資料庫查詢或外部 API 呼叫的前後計時,可以量到包含等待在內的經過時間。資料轉換、樣板渲染和 JSON 序列化等使用 CPU 的工作,則適合個別量測。像是等候連線池釋出連線的時間,應用程式端可能會算進去,資料庫記錄的查詢執行時間就不會包含這段等待。

以下 CommonJS 範例先註冊 PerformanceObserver。每次呼叫使用不同的起始標記,即使多筆查詢同時執行,也不會蓋掉彼此的起始時間。量測名稱固定,使用完畢就清除時間軸上的項目。

const { performance, PerformanceObserver } = require('node:perf_hooks');

const observer = new PerformanceObserver((list) => {
  for (const entry of list.getEntriesByName('db-query')) {
    console.log('db-query', entry.duration);
  }
});
observer.observe({ entryTypes: ['measure'] });

let sequence = 0;
async function timeQuery(query) {
  const start = 'db-query:start:' + (++sequence);
  performance.mark(start);
  try {
    return await query();
  } finally {
    performance.measure('db-query', { start, end: performance.now() });
    performance.clearMarks(start);
    performance.clearMeasures('db-query');
  }
}

在非同步函式裡,用專案的資料庫用戶端呼叫 await timeQuery(() => db.query(sql))。查詢失敗時也會記錄時間,錯誤則照常傳給呼叫端。entry.duration 的單位是毫秒。若直方圖使用秒為單位,先除以 1,000。指標名稱應固定,標籤值可以用種類有限的操作名稱。逐筆印出量測結果適合除錯,停止量測時要解除觀察器。

把事件迴圈延遲和利用率放在一起看

事件迴圈延遲反映取樣計時器多久才有機會執行。事件迴圈利用率(ELU)則是觀測區間內,迴圈處於閒置等待以外狀態的時間比例。同步呼叫如果卡住主執行緒,即使 CPU 使用率偏低,ELU 也可能上升。下面的範例用兩個快照的差值計算這段時間的 ELU,把延遲直方圖的奈秒值換算成毫秒,每個區間結束後再重設直方圖。unref() 讓這個計時器在沒有其他工作時不會阻止程序結束。

const { performance, monitorEventLoopDelay } = require('node:perf_hooks');

const delay = monitorEventLoopDelay({ resolution: 20 });
delay.enable();
let previous = performance.eventLoopUtilization();

const timer = setInterval(() => {
  const current = performance.eventLoopUtilization();
  const delta = performance.eventLoopUtilization(current, previous);
  previous = current;
  const p99Ms = delay.count ? delay.percentile(99) / 1e6 : null;
  delay.reset();
  console.log({ utilization: delta.utilization, p99Ms });
}, 10_000);
timer.unref();

function stopSampling() {
  clearInterval(timer);
  delay.disable();
}

在服務內啟用取樣器,關閉服務時呼叫 stopSampling()。比較延遲時,要用相同取樣間隔量到的平常值。如果請求延遲和事件迴圈延遲同時上升,可以查 CPU 密集工作、同步呼叫和垃圾回收(GC)暫停時間。光看 GC 時間無法判斷記憶體是否持續累積,還要比對堆積記憶體的用量趨勢。如果只有請求變慢,可以先看連線池或外部依賴。每條工作執行緒都有自己的事件迴圈,只量主執行緒會漏掉工作執行緒內的延遲。把 CPU 密集的 JavaScript 移到工作執行緒時,也要算進排程與資料傳遞的成本。

用同一個端點提供請求和執行階段指標

這個 Express 範例使用舊套件名稱 prom-client@15.1.3。後續版本以 @prometheus-io/client 發布,升級前請先看變更記錄。計時從訂單路由的處理函式開始,Node.js 把回應交給作業系統傳送時觸發 finish。中途斷線和用戶端看到的延遲,可以視排查需求分開量測。

const express = require('express');
const client = require('prom-client');
const app = express();
const registry = new client.Registry();

client.collectDefaultMetrics({ register: registry });
const httpDuration = new client.Histogram({
  name: 'http_request_duration_seconds',
  help: 'Duration of completed HTTP responses in seconds',
  labelNames: ['method', 'route', 'status'],
  buckets: [0.01, 0.05, 0.1, 0.3, 0.5, 1, 2, 5],
  registers: [registry],
});

const orderRoute = '/api/orders/:id';
app.get(orderRoute, (req, res) => {
  const end = httpDuration.startTimer();
  res.once('finish', () => end({
    method: req.method,
    route: orderRoute,
    status: String(res.statusCode),
  }));
  res.json({ ok: true });
});

app.get('/metrics', async (_req, res, next) => {
  try {
    const body = await registry.metrics();
    res.set('Content-Type', registry.contentType).end(body);
  } catch (error) {
    next(error);
  }
});

app.listen(3000, '127.0.0.1');

安裝 Express 和範例指定的用戶端套件後執行檔案,先請求 http://127.0.0.1:3000/api/orders/42,再查看 http://127.0.0.1:3000/metrics。訂單 ID 改變時,路由標籤仍是 /api/orders/:id。程序與 Node.js 的預設指標和 HTTP 直方圖都登錄在同一個 Registry。範例只監聽本機回送位址。部署到正式環境時,端點應只允許授權的監控基礎設施存取。各副本可分別擷取,若用 Node.js 的 cluster 模組,需另外設定工作程序的指標聚合。

跨執行個體查路由的長尾延遲

直方圖記錄各個桶的累計次數。以下以 node-api 這個 Prometheus 擷取工作為例,估算過去五分鐘各路由跨執行個體的 P95。先對個別時間序列取 rate,才能處理計數器重設。聚合時保留 le,以便區分桶的上界。

histogram_quantile(
  0.95,
  sum by (route, le) (
    rate(http_request_duration_seconds_bucket{job="node-api"}[5m])
  )
)

看 P95 時也要對照 http_request_duration_seconds_count 算出的請求速率。樣本少時,即使整體分布沒有改變,估算值也可能跳動。傳統直方圖在桶內插值估算百分位數,因此桶邊界應配合重要的延遲門檻,並在所有副本間保持一致。要看 300 毫秒內的回應比例,就用 le="0.3" 這個桶的速率除以 _count 的速率,兩者採用相同範圍和時間窗。5xx 比率也是用錯誤速率除以總請求速率,但要區分錯誤時間序列尚未出現和沒有請求的區間。

從變慢的路由往下查依賴

如果訂單路由的 P95 升高,但事件迴圈延遲和 GC 都接近平常值,可以在追蹤資料裡找出慢請求把時間花在哪裡。若增加的是等待資料庫連線的時間,改寫查詢之前先查連線池是不是滿了。如果同一個執行個體上,多個路由的請求延遲和事件迴圈延遲一起上升,則可以先檢查該程序內部的工作。

在觀測雲,可以用 DataKit Prom 採集器(簡體中文)擷取指標,再另行設定 Node.js APM 插樁(簡體中文)送出追蹤。對齊服務、環境和執行個體識別資訊,才能在同一個時間範圍比較同一套部署的指標與追蹤。

參考資料與延伸閱讀

取得專屬方案

聯絡我們

加入社群

微信扫码
加入官方交流群

立即體驗

在线开通,按量计费,真正的云服务!

立即開始

选择观测云版本

代码托管平台