← 프로젝트 목록으로 돌아가기
데이터 파이프라인
온체인 활동 보상·통계 데이터 파이프라인
컨트랙트 승인, 온체인 이벤트 수집, 보상 통계, 재처리 가능한 배치를 하나의 데이터 흐름으로 연결했습니다.
- Company
- Algorith Capital
- Service
- PoET platform
- Period
- 2023.10–2024.03 · 약 9주
- Role
- Backend Engineer
- Responsibility
- User/Admin API · DB · Data Pipeline/Batch · Azure Ops
- Team
- BE 5 · FE 2
- NestJS
- TypeScript
- PostgreSQL
- MySQL
- TypeORM
- Redis
- Azure
- ethers.js
- ChatGPT
Project Overview
컨트랙트 승인과 온체인 이력 탐색을 분리해 보상 통계 흐름을 만들었습니다
핵심 과제는 dApp 팀의 신청 데이터를 곧바로 보상 원천으로 쓰지 않고, 심사·승인을 통과한 컨트랙트만 통계 배치와 사용자 조회 모델에 연결하는 것이었습니다.
백엔드와 데이터 파이프라인 범위를 맡아 신청·승인 데이터, 상태 변경 이력, 사용자 보상 통계, 마지막 처리 위치부터 재개하는 배치와 중복 실행 방어를 분리했습니다. 6.7억+은 원천 트랜잭션 테이블 규모로만 공개하고, 실제 처리량·P95는 보존 근거가 없어 성과 수치로 쓰지 않습니다.
- 승인 게이트를 통과한 컨트랙트만 보상 통계 배치 입력으로 편입되게 했습니다.
- 대용량 원천 이력은 전체 처리량으로 과장하지 않고, 커서와 제한된 검색 창으로 따라간 범위로 설명했습니다.
- 과거 구간 재탐색, 신규 대상 발견, 중단 후 재개를 배치의 정상 운영 시나리오로 다뤘습니다.
Ownership
직접 담당한 범위
- 공용 백엔드·Statistics Worker·프런트엔드 사이의 승인 컨트랙트와 보상·리더보드 읽기 모델 계약 정리
- dApp 컨트랙트 신청·심사·승인 상태와 변경 이력 모델 설계
- 승인된 컨트랙트·토큰을 자동 발견해 독립 통계 작업으로 편입하는 흐름 구현
- 6.7억+ 원천 테이블을 마지막 처리 위치와 제한 검색 범위로 탐색하고, 신규 대상의 과거 이력을 따라잡는 배치 구현
- Transfer 이력을 토큰별 게임 이력과 보상·트랜잭션·가격 환산 집계로 변환해 사용자 통계·리더보드에 반영
Constraints
먼저 해결해야 했던 제약
- 미검증 컨트랙트가 보상 시스템에 유입되지 않도록 신청·승인 데이터와 운영 대상을 분리하고 상태 변경 이력을 남겨야 했습니다.
- 원천 트랜잭션은 약 6.7억+ 건 규모로 누적되어 매번 전체를 읽지 않고 마지막 처리 위치부터 제한된 범위만 탐색해야 했습니다.
- 신규 데이터가 계속 쌓이는 동안 과거 적체 구간도 따라잡고, 장애 후에는 마지막 처리 위치부터 재개해야 했습니다.
- 게임별 컨트랙트와 토큰이 추가될 수 있어 배치 대상 발견이 수동 설정에 의존하면 누락 위험이 있었습니다.
- 각 처리 단계가 다시 실행돼도 이력과 집계가 중복되지 않고, 결과 저장과 커서 갱신이 함께 확정되어야 했습니다.
Implementation Timeline
컨트랙트 승인에서 대용량 배치 하드닝까지 확장된 순서입니다
코드와 배치 Git 이력을 기준으로 Phase를 나누고, 근거 수준에 따라 기간 정밀도를 구분했습니다. 필요한 Phase를 선택하면 해당 단계에서 어떤 문제를 보고 어떤 구조와 검증 기준으로 이어졌는지 확인할 수 있습니다.
Phase 01 · 컨트랙트 등록·심사·승인
컨트랙트 등록·심사·승인
Project Infrastructure
프로젝트 인프라는 API, 어드민, 통계 배치의 실행 경계로 나눴습니다
사용자 API·어드민·통계 배치의 실행 단위와 외부 의존성을 구분했습니다.
온체인 통계 인프라 아키텍처Mermaid
다이어그램을 렌더링하는 중입니다.
- 승인 상태는 PostgreSQL, 대용량 원천·집계 결과는 MySQL, 중복 실행 방지는 Redis 잠금으로 분리했습니다.
- 사용자 API는 집계 결과를 읽고, Statistics Worker만 원천 트랜잭션과 체인 receipt를 따라가도록 했습니다.
- 승인 로그, 커서, 잠금, 집계 누적값을 운영 확인 기준으로 삼았습니다.
01Application
User API신청 접수와 게임 보상 통계 조회
Admin UI / Server심사·승인 상태머신과 통지
02Batch
Statistics Worker온체인 트랜잭션 증분 인덱싱과 집계 결과 갱신
03State
PostgreSQL / MySQL승인·통계·원천 데이터 저장
Redis배치 중복 실행 방지 잠금
04External
Azure Blob / Mail심사 첨부와 승인 통지
Chain RPC온체인 receipt 입력
Outcome
확인 가능한 결과
- 컨트랙트 등록–심사–승인 워크플로우와 감사 로그 기반 상태 전이 구현
- 승인된 컨트랙트·토큰만 보상 통계 배치에 편입되는 데이터 게이트 구성
- 6.7억+ 원천 트랜잭션을 PK 커서·제한된 검색 범위로 탐색하는 증분 배치 운영
- 통계 작업 커서, Redis 잠금, self-rescheduling으로 중단 후 재개 가능한 배치 실행 경계 구성
- 온체인 Transfer 이벤트 파싱과 트랜잭션 이력, 게임 이력, 집계 결과 흐름 구현
Limitations
한계와 미구현 범위
- 원천 테이블 규모는 운영 중 직접 확인한 약 6.7억+ 대략치로 표기하며, 정확한 행 수와 처리 시간 로그는 보존 자료가 없어 정밀 수치로 사용하지 않습니다.
- 코드 구조만으로 TPS·일 처리량을 역산하지 않으며, 실제 처리량은 당시 DB 성능과 데이터 분포에 따라 달라집니다.
- 신청·승인 API와 어드민 영역의 원본 git history는 로컬에 없어 해당 Phase는 아카이브 코드와 ADR 기준으로만 검증합니다.
- 팀 레포 전체가 아니라 내가 생성했거나 작성 범위가 확인된 파일 중심의 증거만 사용합니다.
- 실제 토큰·거래 데이터와 시크릿은 공개하지 않습니다.