RPA
[RPA] 컴퓨터 화면 위에서 시작하는 자동화 – 'Computer Use'란?
하루코딩연구소
2025. 5. 24. 09:00
반응형
안녕하세요, 하루 코딩입니다.
자동화를 시작할 때 많은 분들이 “우리 시스템은 API도 없고, 연동도 안 돼요”라고 말합니다.
그럴 때 등장하는 방식이 바로 'Computer Use', 즉 화면 기반 자동화입니다.
오늘은 자동화의 가장 현실적인 첫걸음,
**'사람이 하는 일을 그대로 따라 하는 RPA 방식'**에 대해 이야기해보겠습니다.
🖥️ Computer Use란?
RPA 도구가 사용자의 컴퓨터 사용 패턴을 캡처하고
‘사람처럼’ 마우스를 클릭하고 키보드를 입력하는 기능을 말합니다.
즉, 사람 대신 프로그램이 UI를 조작하는 방식입니다.
이 방식은 다음을 자동화합니다:
- 클릭 (예: 버튼 누르기)
- 텍스트 입력 (예: 로그인, 양식 작성)
- 드래그 & 드롭
- 스크린 캡처 + OCR 인식
- 키보드 단축키 입력
💡 이 모든 걸 ‘녹화’해서 따라 하도록 설정할 수 있습니다.
🤖 어떤 상황에서 유용할까?
조건Computer Use 적합 여부
| 시스템 API 없음 | ✅ 적합 |
| 화면 클릭/입력 반복 많음 | ✅ 적합 |
| 사용자만 접근 가능한 업무 | ✅ 적합 |
| 자주 UI가 바뀜 | ❌ 부적합 |
| 복잡한 판단이 필요 | ❌ 부적합 |
즉, **'보이는 것을 반복적으로 처리하는 일'**에 가장 효과적입니다.
🔧 대표 도구
도구명특징
| Power Automate Desktop | 무료로 사용 가능, Windows 기반에 최적화 |
| UiPath | 기업형 자동화에서 많이 사용됨, 고급 기능 다양 |
| Automation Anywhere | 대규모 조직에서 사용 |
| Python + pyautogui | 개발자에게 유리한 코드형 방식 |
이 도구들은 모두 화면 위의 동작을 감지하고 재현합니다.
🧩 실무 예시
업무자동화 흐름 예
| ERP 로그인 → PDF 다운로드 | 로그인 → 클릭 이동 → 파일 저장 |
| SAP 데이터 복사 | 필터 적용 → 복사 → 엑셀 붙여넣기 |
| 내부 시스템에서 특정 버튼 클릭 | 자동 클릭 → 상태 저장 → 다음 작업 진행 |
| 스캔 문서 → 정보 추출 | OCR 텍스트 인식 → 엑셀 기록 |
💡 마우스를 ‘정해진 위치’에만 두는 것이 아니라,
화면 요소를 기준으로 클릭하도록 설정하면 더 견고한 자동화가 됩니다.
🎯 사용 시 유의점
- 화면 요소가 변하면 자동화가 실패할 수 있음
- 팝업창, 경고창 등 예외 처리를 사전에 설계해야 함
- OCR 정확도는 환경에 따라 달라질 수 있음
- 최대한 ‘정적인 UI’를 대상으로 해야 안정적임
🎨 네컷만화 요약
- 실무자: “우리 시스템은 연동이 안 돼서 자동화 못 해요…”
- 동료: “그럼 화면 그대로 따라하게 하면 되잖아!”
- RPA가 화면 클릭 → 입력 → 파일 저장 수행
- 실무자: “이제 내 마우스를 대신 써주는 기분이야!”
마무리하며
자동화의 첫걸음은 복잡한 API 연동이 아니라,
‘내가 매일 하는 일’을 그대로 따라 하게 하는 것입니다.
‘Computer Use’는 가장 빠르고 쉽게 자동화를 시작할 수 있는 방법입니다.
내일은, 이렇게 분석한 흐름을 자동화 설계로 바꾸는 방법을 알아보겠습니다.
🏷️ 태그
#하루코딩 #UI자동화 #ComputerUse #PowerAutomateDesktop #화면기반자동화 #RPA입문
반응형