커넥터가 없는 맥 앱도 봇이 직접 다룰 수 있을지 궁금했습니다. 제 맥북에서 Grok Bot으로 agent-desktop 스킬을 테스트하며, 입력이 된 장면과 막힌 장면을 함께 확인했습니다. Vercel Labs가 만든 agent-desktop은 Rust로 구현된 도구입니다. 화면의 픽셀을 짐작하는 대신 접근성 트리로 앱의 실제 구조를 읽고, JSON에 담긴 요소의 ref를 이용해 클릭하거나 입력합니다. 앱과 창을 확인하고 스냅샷을 읽어 동작한 뒤 다시 확인하며, 화면이 바뀌면 ref도 다시 찾아야 합니다. 맥북은 깨어 있고 잠금이 풀려 있어야 합니다. 실행 없이 코드를 읽은 정적 보안 점검 결과는 위험 낮음이었습니다. 백도어나 몰래 정보를 빼내는 코드는 발견되지 않았습니다. 맥용 실행 코드에서 확인된 네트워크 호출은 127.0.0.1 한 곳뿐이었습니다. 번들 실행 파일 10개의 SHA-256 해시도 모두 일치했습니다. 실행 중 자동 업데이트 기능은 없다는 점도 코드 점검에서 확인했습니다. 다만 해시 일치는 일관성 확인이며 무해함을 증명하지는 않습니다. 실제 테스트에서는 Finder 조작과 텍스트 편집기 문장 입력에 성공했습니다. Chrome의 RHWP 확장에서는 첫 헤드리스 입력이 문서에 보이지 않았습니다. 헤드 모드로 창에 포커스를 주고 입력칸을 클릭한 다음, 클립보드의 문장을 Cmd+V로 붙여넣어 해결했습니다. 입력 결과는 접근성으로 다시 읽을 수 없어 사람이 화면으로 확인했습니다. 이런 경우에는 사람의 확인이나 화면 캡처로 결과를 봐야 합니다. rhwp-studio 웹 버전에서는 ego lite CLI로 직접 타이핑한 문장이 나타났습니다. 워드는 라이선스 만료로 편집이 막혀 테스트하지 못했습니다. 커넥터를 먼저 쓰고, 웹은 브라우저 도구로 처리하며, 네이티브 앱에 agent-desktop을 쓰는 순서를 기준으로 삼았습니다. 버전은 1.0.2로 고정하고 화면 설명을 외부로 보내는 도우미와 그 키는 사용하지 않습니다. macOS 권한 창은 사용자...
한 줄 요약: 웹 업무는 Ego Lite가 맡고, Excel 화면 조작은 Hermes Computer Use가 처리하며, Hermes Agent가 전체 순서와 검증 조건을 통제하는 자동화 사례를 구현했다. 웹과 엑셀을 함께 다뤄야 하는 업무 기업의 반복 업무는 한 시스템 안에서 끝나지 않는다. ERP에서 자료를 내려받고, Excel 양식에서 계산한 뒤, 다시 다른 ERP 화면에 입력하는 식이다. 이번 실증에서는 다음과 같은 가상의 업무 흐름을 만들었다. ERP-i에서 주문 CSV를 내려받는다. Excel 업무양식에 주문자료를 반영한다. 기존 수식으로 생산수량과 BOM을 계산한다. 오류가 없는지 확인한다. 검증을 통과한 결과만 ECOUNT 입력 화면에 붙여넣는다. 실제 등록 전 미리보기에서 최종 결과를 다시 검사한다. 단순히 브라우저만 자동화해서는 부족하고, Excel 매크로만으로도 전체 흐름을 끝낼 수 없다. 브라우저, 데스크톱 애플리케이션, 판단 로직을 하나의 에이전트가 연결해야 한다. 구성 1: Ego Lite 브라우저 자동화 Ego Lite는 사용자가 로그인한 웹 환경을 AI 에이전트와 함께 사용할 수 있는 브라우저다. 이번 예시에서는 모의 ERP-i와 모의 ECOUNT 화면을 조작했다. Ego Lite가 담당한 작업은 다음과 같다. ERP-i 주문 화면 열기 정상·예외 데이터 선택 CSV 다운로드 이벤트 확인 다운로드 파일 저장 ECOUNT 입력 화면 이동 Excel에서 복사한 TSV 데이터 붙여넣기 검증 버튼 실행 화면에 표시된 품목 수와 생산수량 확인 실제 등록 버튼 비활성화 여부 확인 버튼의 화면 좌표를 고정하지 않고 역할, 이름, DOM 요소를 기준으로 조작했다. 화면 배율이 달라져도 같은 버튼을 찾을 가능성이 높아진다. 구성 2: Hermes Computer Use로 Excel 수정 브라우저에서 받은 CSV는 실제 Microsoft Excel로 열었다. Hermes의 Computer Use는 화면을 보고 Excel 워...