이찬양Backend Engineer

언어

← 프로젝트 목록으로 돌아가기

Personal Project · Vision Automation

In Progress

화면 인식 기반 자동화 엔진

API나 selector로 제어하기 어려운 화면 환경에서 객체·상태를 인식하고, 검증된 상태에서만 액션을 실행하는 자동화 런타임을 개인 프로젝트로 발전시키고 있습니다.

Role
Automation Systems Engineer
Responsibility
문제 정의·데이터셋 도구·탐지 런타임·안전 실행 루프 구현
Period
2026.05–현재 · 진행 중
Team
Solo
  • Python
  • OpenCV
  • YOLOv4-tiny
  • Tkinter
  • unittest
  • Windows API

Project Overview

목표는 “화면을 보고 판단한 뒤 안전하게 실행하는 자동화 엔진”입니다

이 프로젝트는 완성된 제품 소개가 아니라, 화면 기반 자동화에서 반복해서 발생하는 실패를 줄이기 위해 어떤 기술을 선택했고 어디까지 검증했는지 보여주는 진행형 개인 프로젝트입니다.

현실의 레거시 업무 화면, VDI, 네이티브 앱, 원격 환경에서는 DOM selector나 API가 없거나 불안정한 경우가 있습니다. 이때 자동화는 좌표를 누르는 문제가 아니라 “현재 화면이 어떤 상태인지 신뢰할 수 있게 판단하는 문제”가 됩니다.

그래서 프로젝트의 중심을 단순 입력 자동화가 아니라 Screen Perception, Dataset Flywheel, Guarded Action Runtime으로 나눴습니다. 화면에서 객체와 상태를 읽고, 그 판단이 충분할 때만 액션을 실행하는 구조를 목표로 합니다.

문제에서 제품화까지의 진행 흐름Mermaid

다이어그램을 렌더링하는 중입니다.

Ownership

직접 담당한 범위

  • 고정 좌표와 sleep 타이밍에 의존하는 화면 자동화가 왜 깨지는지 실패 유형을 분리
  • 화면 캡처, 수동 라벨링, YOLO 학습 패키징, 자동 라벨링, 리뷰를 하나의 Detector Studio 흐름으로 구성
  • 대상별 탐지 모델, 좌표 보정, 이동·실행 타이밍을 Profile과 Strategy로 분리해 코드 브랜치 없이 변형 관리
  • ROI 캡처, 템플릿 매칭, YOLO 탐지, HSV·connected component 기반 상태 판정을 조합해 화면 인식 경로 구현
  • 상태 기반 실행 루프, stop_event, 입력 해제, movement guard, 실행 예산 저장으로 좌표 액션의 안전장치 구현

Constraints

먼저 해결해야 했던 제약

  • 원본은 공개하기 어려운 개인 화면 자동화 실험에서 출발했으며, 공개 포트폴리오에서는 원본 사용 목적을 제품 사례로 포장하지 않고 화면 캡처·라벨링·탐지·상태 판정·안전 실행 루프처럼 재사용 가능한 기술 경계만 다룹니다.
  • 타사 서비스 조작, 접근 제한 우회, 자동 로그인·계정 운영, 배포 가능한 자동 실행 도구는 공개·데모·재사용 범위에서 제외합니다.
  • 원본 도메인명, 화면 이미지, 모델 가중치, 좌표·프로파일, 운영 데이터는 공개하지 않습니다.
  • 현재 구현은 개인 실험 환경에서 검증한 프로토타입이며, 범용 RPA·QA 제품이나 상용 컴퓨터 비전 플랫폼으로 완성된 상태는 아닙니다.
  • 일부 실시간 화면 테스트는 Windows GUI와 특정 화면 렌더링 조건에 의존해 CI에서 그대로 재현하기 어렵습니다.
  • 탐지 성능 수치는 데이터셋과 실행 환경에 민감해 대표 성과로 과장하지 않고 구조와 개선 과정 중심으로 설명합니다.

Implementation Timeline

문제 발견부터 데이터셋, 인식, 안전 실행, 검증, 제품화 후보까지 Phase를 나눴습니다

고정 좌표, 고정 대기 시간, 단일 이미지 매칭만으로는 창 위치·렌더링·프레임률·UI 전환이 조금만 달라져도 실패했습니다. 그래서 실행 전 화면 상태를 읽는 구조를 먼저 세우고, 이후 안전 실행과 제품화 후보를 단계별로 분리했습니다. 필요한 Phase를 선택하면 해당 단계에서 어떤 문제를 보고 어떤 구조와 검증 기준으로 이어졌는지 확인할 수 있습니다.

Phase 01 · 데이터셋 플라이휠

데이터셋 플라이휠

Phase 01

인식 성능을 개선하기 위해 수집·라벨링·자동 라벨 검수 루프를 먼저 만들었습니다

실시간 화면 자동화에서 가장 먼저 막힌 지점은 실행 로직이 아니라 “인식할 대상을 반복적으로 수집하고, 틀린 라벨을 다시 학습에 반영하는 루프”였습니다.

Detector Studio 데이터 플라이휠Mermaid

다이어그램을 렌더링하는 중입니다.

  1. 01

    요구 분석

    화면 객체는 정적인 UI 컴포넌트가 아니라 배경, 크기, 가림, 밝기 변화에 영향을 받았습니다. 그래서 수작업 좌표 보정만으로는 개선이 누적되지 않았습니다.

    • YOLO 라벨 포맷과 학습 패키징을 자동화해 샘플이 쌓일수록 모델 개선으로 연결되게 했습니다.
    • 자동 라벨링 후 사람이 오답만 검수하는 흐름으로 라벨링 반복 비용을 줄이는 방향을 잡았습니다.
  2. 02

    도메인 모델링

    캡처 이미지, 수동 라벨, 자동 라벨, 리뷰 결과, 학습 패키지를 분리한 workspace와 Detector Studio 흐름을 구현했습니다.

    • 수동 라벨링 결과를 YOLO 학습 입력으로 변환합니다.
    • 기존 모델로 미라벨 이미지를 추론해 자동 라벨 후보를 만들고, 리뷰 결과를 다시 학습 세트로 되돌립니다.
    • 대상별 detector 디렉터리를 분리해 여러 탐지 대상을 병렬로 실험할 수 있게 했습니다.
  3. 03

    구현·검증

    현재 경로는 특정 학습 방식과 Windows 실행 환경에 결합되어 있어 공개 가능한 도구로 쓰기엔 이식성과 검증성이 부족합니다.

    • Ultralytics YOLO 기반 학습 경로로 교체해 현재 생태계에 맞춥니다.
    • 실제 화면 대신 synthetic demo dataset을 만들어 공개 가능한 재현 예제를 준비합니다.
    • 라벨 round-trip, 학습 패키징, 중단 복구 테스트를 추가합니다.

Outcome

확인 가능한 결과

  • 화면 기반 자동화의 실패 원인을 고정 좌표, 고정 대기, 탐지 오탐, 캡처·렌더링 차이로 분리했습니다.
  • 화면 캡처→라벨링→학습 패키징→자동 라벨링→검수로 이어지는 Detector Studio 흐름을 구현했습니다.
  • 13개 대상별 detector 디렉터리와 17개 프로파일로 탐지 대상과 실행 변형을 코드 분기 없이 관리했습니다.
  • ROI 캡처, 템플릿 매칭, 객체 탐지, 색상·밝기 기반 상태 판정을 조합한 화면 인식 런타임을 구성했습니다.
  • 상태 기반 실행 루프, stop_event, movement guard, 원자적 예산 저장을 통해 좌표 액션의 안전장치를 추가했습니다.
  • 오프라인 워크플로 테스트 37개를 통과시켜 장시간 실행 루프의 기본 상태 전이를 검증했습니다.

Limitations

한계와 미구현 범위

  • 원본 저장소는 공개하지 않으며, 공개 가능한 중립 데모 저장소는 아직 분리하지 않았습니다.
  • Detector Studio는 구현 흐름은 있지만 전용 테스트와 현대적인 학습 경로 정리가 부족합니다.
  • 실시간 화면 탐지 일부는 Windows GUI, 렌더링 방식, 데이터셋에 의존해 현재 CI에서 안정적으로 재현되지 않습니다.
  • 상용 RPA·QA 제품처럼 권한, 감사 로그, 사용자 승인, 배포 패키징까지 갖춘 상태는 아닙니다.
  • 탐지 정확도 수치는 데이터셋 편향과 실행 환경 영향을 크게 받아 대표 성과로 사용하지 않았습니다.