애플리케이션을 재시작하지 않고 로그 레벨 변경하기
관리 API, Unix 시그널, 설정 다시 읽기로 특정 워커의 로그 레벨을 한시적으로 바꾸고 조사 후 원래대로 되돌리는 방법을 설명합니다.
같은 워커에서 결제 요청 두 건의 응답 시간이 초과됐다고 가정해 보겠습니다. 평소의 INFO 로그로 해당 요청을 찾았지만, 조사에 필요한 업스트림 응답 시간은 기록돼 있지 않습니다. 그 워커의 결제 로거에만 잠시 DEBUG를 켜고, 문제가 재현되면 로그를 확보한 뒤 원래 레벨로 되돌립니다. 모든 인스턴스에서 로그를 늘리면 정작 필요한 요청을 찾기가 더 어려워질 수 있습니다.
애플리케이션을 재시작하지 않고 로그 레벨을 바꾸려면 인증된 관리 API, 시그널 또는 로깅 설정 다시 읽기를 사용할 수 있습니다. 적용 범위는 방식마다 다릅니다. 워커 메모리의 값을 바꾸는 API는 요청을 처리한 워커에만 영향을 줍니다. Unix 시그널은 지정한 프로세스에 도달합니다. 파일 변경은 해당 파일을 감시하고 정상적으로 다시 읽은 인스턴스에 반영됩니다.
관리 API에서 DEBUG를 열어 두는 시간을 제한하기
Django와 Loguru를 사용한다면 기존 애플리케이션 출력 대상을 INFO로 유지하고, 워커 시작 시 DEBUG 전용 출력 대상 하나를 추가할 수 있습니다. 결제 컴포넌트로 표시한 DEBUG 이벤트만 대상으로 삼습니다. 워커가 기억한 만료 시각을 넘기면 필터에서 이벤트를 차단하므로 기존 출력 대상이나 포맷을 바꿀 필요가 없습니다.
import json
import logging
import sys
import time
from threading import Lock
from django.contrib.auth.decorators import permission_required
from django.http import JsonResponse
from django.views.decorators.csrf import csrf_protect
from django.views.decorators.http import require_POST
from loguru import logger
audit = logging.getLogger("ops.log_level_audit")
lock = Lock()
debug_until = 0.0
payments_log = logger.bind(component="payments")
def debug_filter(record):
if (record["level"].name != "DEBUG"
or record["extra"].get("component") != "payments"):
return False
with lock:
return time.monotonic() < debug_until
logger.add(sys.stderr, level="DEBUG", filter=debug_filter)
@require_POST
@csrf_protect
@permission_required("ops.change_loglevel", raise_exception=True)
def change_log_level(request):
global debug_until
try:
payload = json.loads(request.body)
except (ValueError, UnicodeError):
return JsonResponse({"error": "Invalid JSON"}, status=400)
level = payload.get("log_level") if isinstance(payload, dict) else None
if level not in ("INFO", "DEBUG"):
return JsonResponse({"error": "Expected INFO or DEBUG"}, status=400)
with lock:
if level == "INFO":
debug_until = 0.0
elif time.monotonic() >= debug_until:
debug_until = time.monotonic() + 300
audit.warning("actor=%s component=payments requested=%s", request.user.pk, level)
return JsonResponse({"requested": level, "scope": "current worker"})
결제 모듈에서는 payments_log로 로그를 작성합니다. Django 프로젝트에 ops.change_loglevel 권한을 정의하고 운영 역할에 부여합니다. 세션 인증과 CSRF 검증이 적용되는 POST로 {"log_level":"DEBUG"}를 보내면 5분 동안 DEBUG 로그가 출력됩니다. 일찍 닫으려면 {"log_level":"INFO"}를 보냅니다. 활성화된 상태에서 DEBUG를 다시 요청해도 만료 시각은 그대로입니다. 감사 로그는 별도의 영속 저장소로 보내고 변경 기록이 실제로 저장되는지 확인합니다.
워커가 여러 개라면 로드 밸런서를 거친 요청이 매번 다른 워커에 도달할 수 있습니다. 대상을 지정할 수 있는 운영 경로를 쓰거나 만료 시각이 있는 설정을 배포하고, 각 인스턴스의 적용 결과를 확인합니다. Django 권한 · Django CSRF 보호 · Loguru 핸들러 설정
지정한 프로세스에 시그널 보내기
운영 접근 경로가 마련된 소규모 Unix 서비스라면 시그널로 전환할 수도 있습니다. Node.js는 SIGUSR1을 디버거 시작에 사용합니다. 이 Pino 예제에서는 SIGUSR2로 결제용 자식 로거만 DEBUG로 바꾸고, SIGHUP을 받거나 제한 시간이 지나면 이전 레벨로 되돌립니다.
const pino = require("pino");
const appLog = pino({ level: "info" });
const paymentsLog = appLog.child({ component: "payments" });
const baseline = paymentsLog.level;
let expiry;
function restoreLevel() {
if (!expiry) return;
clearTimeout(expiry);
expiry = undefined;
paymentsLog.level = baseline;
appLog.info({ levelRestored: baseline }, "payments debug disabled");
}
process.on("SIGUSR2", () => {
if (expiry) return;
paymentsLog.level = "debug";
expiry = setTimeout(restoreLevel, 300_000);
expiry.unref();
appLog.info("payments debug enabled for 5 minutes");
});
process.on("SIGHUP", restoreLevel);
핸들러가 등록된 뒤 대상 프로세스에 kill -s USR2 <pid>를 실행합니다. 일찍 되돌릴 때는 kill -s HUP <pid>를 실행합니다. 애플리케이션과 프로세스 관리 도구에서 두 시그널을 다른 용도로 사용하지 않는지 먼저 확인합니다. 명령이 성공해도 실제 레벨 변경은 대상 프로세스에서 확인해야 합니다. 작업 기록에는 누가 어떤 프로세스에 시그널을 보냈는지 남깁니다. 로거가 DEBUG 이벤트를 내보내도 후단 전송 필터가 버릴 수 있습니다. Node.js 시그널 · Pino 로그 레벨
프레임워크가 감시하는 파일 갱신하기
Logback에서는 scan="true"를 설정하고 scanPeriod="10 seconds"처럼 간격의 단위를 명시합니다. com.example.payments와 같은 이름 있는 로거를 바꾸면 적용 범위를 패키지 단위로 좁힐 수 있습니다. Logback 설정 스캔은 Spring Boot의 Logback 설정 확장과 함께 쓸 수 없습니다. Log4j 2에서 monitorInterval="10"은 10초마다 변경 여부를 확인하며, 0은 폴링을 끕니다. 인스턴스마다 바뀐 파일을 볼 수 있는지, 설정을 다시 읽는 데 성공했는지 확인합니다. 조사를 마치면 이전 설정으로 되돌립니다. Logback 설정 · Spring Boot Logback 확장 · Log4j 2 설정
필요한 로그가 저장소에 도착했는지 확인하기
DEBUG를 켠 뒤 대상 서비스와 인스턴스에서 새 레코드 하나를 찾습니다. DataKit으로 수집한다면 Pipeline이 원본 심각도를 status에 매핑하고 이벤트 시각을 보존하는지 확인합니다. 애플리케이션이 로그를 출력했더라도 수집 단계에서 빠지거나 심각도가 잘못 파싱될 수 있습니다. 데이터 양이 얼마나 늘었는지와 인증 정보나 요청 페이로드가 노출되는지도 살핍니다. 원래 레벨로 되돌린 뒤에는 대상에서 새로운 DEBUG 이벤트가 더 이상 출력되지 않는지 확인합니다. DataKit 로그 수집
조사 기록에는 변경 시각, 대상, 만료 시각을 함께 남깁니다. 디버그 이벤트의 필드를 정리할 때는 로그 포맷 모범 사례를 참고하세요.
