이찬양Backend Engineer

언어

← 설계 방식 목록으로 돌아가기

Process Evidence · 06

운영·복구 기준으로 실패 이후를 검증합니다

실패 지점은 운영자가 볼 수 있는 상태로 남기고, 중복 실행·부분 실패·재처리 기준을 구분했습니다.

멱등키, 행 잠금, Outbox, 배치 커서, FAILED/DEAD 상태, 운영 문서를 통해 재실행과 복구 기준을 설계했습니다.

How I worked

실제 작업 방식

  1. 입력

    구현 코드, DB 제약, 실패 로그, 배치 커서, 큐 상태, 운영 재처리 조건을 함께 확인했습니다.

  2. 확인 질문

    중복 실행, 부분 실패, 배포 중단, 외부 서비스 장애 이후에도 같은 결과로 복구되는지 확인했습니다.

  3. 산출

    멱등키, 행 잠금, Outbox, 커서, FAILED/DEAD 상태, 재처리 SQL, 큐 적체 진단, 오래 멈춘 상태 복구 기준을 남겼습니다.

수집 근거

운영 근거를 실패 상태·재처리 단위·직접 기여 범위로 분류

운영·복구 카드에는 정상 성공보다 멈춘 위치가 어떤 상태로 남는지, 어떤 단위로 재실행할 수 있는지, 그 구현이 내 직접 기여 범위 안에 있는지를 확인할 수 있는 자료를 모았습니다.

복구 회고
Outbox/NotificationDelivery 복구, Transactional Outbox 2단계 재시도, PG 승인 후 DB 확정 실패 복구, self-rescheduling 정산 배치, 온체인 커서 배치 회고를 연결했습니다.
런북
DEAD 레코드, 큐 적체, 오래 멈춘 ENQUEUED/SENDING, Notification DEAD, PENDING 전환 재시도 절차가 문서화된 운영 문서를 복구 기준으로 사용합니다.
코드 근거
Outbox 재시도·DEAD 리포지토리, BullMQ 발행·소비 처리, 정산 배치 실행·재예약·오래 멈춘 상태 복원, 구독 갱신 내부 확정 재시도 핸들러를 구현 근거로 대조했습니다.
제외 기준
Routine/Daily 기록은 작업 추적 근거로만 두고, 실제 운영 복구 주장은 운영 문서·코드·회고가 함께 있는 경우에만 사용합니다.
상세 작업 사례

멈춘 지점을 상태와 로그로 남겨 재실행 가능하게 검증

구현 이후에는 정상 성공만 보지 않고, 중복 실행·부분 실패·큐 적체·배치 중단 이후 운영자가 어떤 상태를 보고 무엇을 재실행할 수 있는지 확인했습니다.

구현 결과를 운영 가능한 상태로 검증한 흐름Mermaid

다이어그램을 렌더링하는 중입니다.

실제 구현으로 이어진 위치

  • 포인트 회계·보상 시스템

    Outbox · Queue 인시던트 운영 문서에서 DEAD 레코드, 큐 적체, 오래 멈춘 ENQUEUED/SENDING, Notification DEAD를 각각 증상·진단·복구 절차로 나눴습니다.

    Outbox · 알림 복구 경계 보기
  • 온체인 활동 보상·통계 데이터 파이프라인

    온체인 통계를 검색 창, 처리 청크, 통계 job 커서 갱신으로 나눠 중단 후 이어서 실행 가능한 배치 흐름으로 만들었습니다.

    커서 기반 배치 처리 보기
입력
구현 코드, DB 제약, 실패 로그, 배치 커서, 큐 상태, 운영 재처리 조건을 함께 확인했습니다.
실패 상황
중복 실행, 부분 실패, 배포 중단, 외부 서비스 장애, 큐 적체, 오래 멈춘 상태가 생겼을 때 어느 레코드가 복구 기준인지 확인했습니다.
복구
전체 일괄 재처리 대신 타입별 DEAD 복구, 내부 확정 재시도, 커서 기반 재시작처럼 실패 범위에 맞는 복구 경로를 나눴습니다.
산출
멱등키, 행 잠금, Outbox, 커서, FAILED/DEAD 상태, 재처리 SQL, 큐 적체 진단, 오래 멈춘 상태 복구 기준을 남겼습니다.
검증 기준

운영 복구와 직접 기여 범위를 함께 확인 가능

운영 가능성은 패턴 이름만으로 주장하지 않고, 어떤 상태를 보고 어떤 재처리를 할지와 해당 구현의 직접 기여 범위를 함께 남겼습니다.

실제 구현으로 이어진 위치

  • 포인트 회계·보상 시스템

    Outbox · Notification · 정산 재실행과 운영 복구 경계를 프로젝트 안에서 확인할 수 있습니다.

    정산·복구 설계 보기
  • 대규모 보상·통계 파이프라인

    핵심 도메인과 배치 처리 구현은 공개 가능한 직접 구현 범위 안에서 확인할 수 있습니다.

    직접 기여 근거 보기
복구 근거
Outbox DEAD, 오래 멈춘 ENQUEUED/SENDING, 큐 적체, 결제 내부 확정 재시도, 배치 커서 재개를 각각 다른 복구 경로로 정리했습니다.
직접 기여
최근 결제·포인트 프로젝트는 백엔드 전담 범위로, 온체인 사례는 공개 가능한 도메인 구현·배치 처리·관리자 워크플로우 범위만 표시합니다.
포폴 연결
각 기준의 관련 구현 사례는 일반 프로젝트 상단이 아니라 해당 복구·배치·인프라 섹션으로 연결합니다.