Personal Project · Vision Automation
In Progress화면 인식 기반 자동화 엔진
API나 selector로 제어하기 어려운 화면 환경에서 객체·상태를 인식하고, 검증된 상태에서만 액션을 실행하는 자동화 런타임을 개인 프로젝트로 발전시키고 있습니다.
- Role
- Automation Systems Engineer
- Responsibility
- 문제 정의·데이터셋 도구·탐지 런타임·안전 실행 루프 구현
- Period
- 2026.05–현재 · 진행 중
- Team
- Solo
- Python
- OpenCV
- YOLOv4-tiny
- Tkinter
- unittest
- Windows API
Project Overview
목표는 “화면을 보고 판단한 뒤 안전하게 실행하는 자동화 엔진”입니다
이 프로젝트는 완성된 제품 소개가 아니라, 화면 기반 자동화에서 반복해서 발생하는 실패를 줄이기 위해 어떤 기술을 선택했고 어디까지 검증했는지 보여주는 진행형 개인 프로젝트입니다.
현실의 레거시 업무 화면, VDI, 네이티브 앱, 원격 환경에서는 DOM selector나 API가 없거나 불안정한 경우가 있습니다. 이때 자동화는 좌표를 누르는 문제가 아니라 “현재 화면이 어떤 상태인지 신뢰할 수 있게 판단하는 문제”가 됩니다.
그래서 프로젝트의 중심을 단순 입력 자동화가 아니라 Screen Perception, Dataset Flywheel, Guarded Action Runtime으로 나눴습니다. 화면에서 객체와 상태를 읽고, 그 판단이 충분할 때만 액션을 실행하는 구조를 목표로 합니다.
다이어그램을 렌더링하는 중입니다.
Ownership
직접 담당한 범위
- 고정 좌표와 sleep 타이밍에 의존하는 화면 자동화가 왜 깨지는지 실패 유형을 분리
- 화면 캡처, 수동 라벨링, YOLO 학습 패키징, 자동 라벨링, 리뷰를 하나의 Detector Studio 흐름으로 구성
- 대상별 탐지 모델, 좌표 보정, 이동·실행 타이밍을 Profile과 Strategy로 분리해 코드 브랜치 없이 변형 관리
- ROI 캡처, 템플릿 매칭, YOLO 탐지, HSV·connected component 기반 상태 판정을 조합해 화면 인식 경로 구현
- 상태 기반 실행 루프, stop_event, 입력 해제, movement guard, 실행 예산 저장으로 좌표 액션의 안전장치 구현
Constraints
먼저 해결해야 했던 제약
- 원본은 공개하기 어려운 개인 화면 자동화 실험에서 출발했으며, 공개 포트폴리오에서는 원본 사용 목적을 제품 사례로 포장하지 않고 화면 캡처·라벨링·탐지·상태 판정·안전 실행 루프처럼 재사용 가능한 기술 경계만 다룹니다.
- 타사 서비스 조작, 접근 제한 우회, 자동 로그인·계정 운영, 배포 가능한 자동 실행 도구는 공개·데모·재사용 범위에서 제외합니다.
- 원본 도메인명, 화면 이미지, 모델 가중치, 좌표·프로파일, 운영 데이터는 공개하지 않습니다.
- 현재 구현은 개인 실험 환경에서 검증한 프로토타입이며, 범용 RPA·QA 제품이나 상용 컴퓨터 비전 플랫폼으로 완성된 상태는 아닙니다.
- 일부 실시간 화면 테스트는 Windows GUI와 특정 화면 렌더링 조건에 의존해 CI에서 그대로 재현하기 어렵습니다.
- 탐지 성능 수치는 데이터셋과 실행 환경에 민감해 대표 성과로 과장하지 않고 구조와 개선 과정 중심으로 설명합니다.
Implementation Timeline
문제 발견부터 데이터셋, 인식, 안전 실행, 검증, 제품화 후보까지 Phase를 나눴습니다
고정 좌표, 고정 대기 시간, 단일 이미지 매칭만으로는 창 위치·렌더링·프레임률·UI 전환이 조금만 달라져도 실패했습니다. 그래서 실행 전 화면 상태를 읽는 구조를 먼저 세우고, 이후 안전 실행과 제품화 후보를 단계별로 분리했습니다. 필요한 Phase를 선택하면 해당 단계에서 어떤 문제를 보고 어떤 구조와 검증 기준으로 이어졌는지 확인할 수 있습니다.
데이터셋 플라이휠
Outcome
확인 가능한 결과
- 화면 기반 자동화의 실패 원인을 고정 좌표, 고정 대기, 탐지 오탐, 캡처·렌더링 차이로 분리했습니다.
- 화면 캡처→라벨링→학습 패키징→자동 라벨링→검수로 이어지는 Detector Studio 흐름을 구현했습니다.
- 13개 대상별 detector 디렉터리와 17개 프로파일로 탐지 대상과 실행 변형을 코드 분기 없이 관리했습니다.
- ROI 캡처, 템플릿 매칭, 객체 탐지, 색상·밝기 기반 상태 판정을 조합한 화면 인식 런타임을 구성했습니다.
- 상태 기반 실행 루프, stop_event, movement guard, 원자적 예산 저장을 통해 좌표 액션의 안전장치를 추가했습니다.
- 오프라인 워크플로 테스트 37개를 통과시켜 장시간 실행 루프의 기본 상태 전이를 검증했습니다.
Limitations
한계와 미구현 범위
- 원본 저장소는 공개하지 않으며, 공개 가능한 중립 데모 저장소는 아직 분리하지 않았습니다.
- Detector Studio는 구현 흐름은 있지만 전용 테스트와 현대적인 학습 경로 정리가 부족합니다.
- 실시간 화면 탐지 일부는 Windows GUI, 렌더링 방식, 데이터셋에 의존해 현재 CI에서 안정적으로 재현되지 않습니다.
- 상용 RPA·QA 제품처럼 권한, 감사 로그, 사용자 승인, 배포 패키징까지 갖춘 상태는 아닙니다.
- 탐지 정확도 수치는 데이터셋 편향과 실행 환경 영향을 크게 받아 대표 성과로 사용하지 않았습니다.