헤르메스 Computer Use: 브라우저 반복 업무를 AI 직원에게 맡기는 방법

AI 에이전트가 단순히 답변만 하는 시대를 지나, 이제는 실제 컴퓨터 화면을 보고 클릭하고 입력하고 정리하는 단계로 넘어가고 있습니다. 헤르메스(Hermes Agent)의 Computer Use와 Browser Automation 기능은 바로 이 지점에서 매우 실용적입니다.

특히 온라인 서점 검색, 유튜브 댓글 관리, 이메일 정리처럼 사람이 브라우저에서 반복하던 일을 AI가 대신 처리하도록 만들 수 있습니다.

한 줄 요약

헤르메스의 Computer Use는 AI가 화면을 읽고 클릭·입력·스크롤을 수행하게 해주는 기능이며, 웹사이트에서 반복되는 업무는 Browser Automation과 함께 사용할 때 가장 큰 효과를 냅니다.

Computer Use란 무엇인가?

헤르메스 최신 문서 기준으로 Computer Use는 AI 에이전트가 사용자의 컴퓨터 화면을 읽고, 필요한 곳을 클릭하고, 글자를 입력하고, 스크롤하고, 드래그하는 기능입니다. macOS, Windows, Linux에서 동작하도록 설계되어 있으며, Claude, GPT, Gemini 같은 도구 호출이 가능한 모델과 함께 사용할 수 있습니다.

중요한 특징은 백그라운드 동작입니다. 사용자의 실제 마우스 커서가 움직이지 않고, 키보드 포커스를 빼앗지 않으며, 가상 데스크톱이나 작업 공간을 마음대로 바꾸지 않는 구조를 지향합니다. 즉, 사람이 다른 일을 하는 동안 AI가 별도의 작업을 수행할 수 있습니다.

브라우저 작업에는 Browser Automation도 함께 이해해야 한다

웹사이트 안에서 검색하고, 버튼을 누르고, 폼을 작성하고, 목록을 읽어오는 작업은 헤르메스의 Browser Automation 도구가 더 직접적인 역할을 합니다. Computer Use가 전체 데스크톱을 다루는 기능이라면, Browser Automation은 웹 브라우저 안의 페이지 구조를 읽고 조작하는 기능입니다.

따라서 예스24, 유튜브 스튜디오, Gmail, 블로그 관리자 화면처럼 브라우저 안에서 반복되는 업무는 두 기능을 함께 이해하면 좋습니다.

실무 관점: 단순 정보 검색은 일반 웹 검색 도구가 빠릅니다. 하지만 로그인된 사이트, 동적 페이지, 버튼 클릭, 필터 선택, 댓글 삭제, 이메일 이동처럼 사람이 직접 브라우저에서 하던 절차가 있으면 Computer Use/Browser Automation이 유용해집니다.

나의 활용 사례 1: 예스24 베스트셀러 책 목록 만들기

예를 들어 “시니어 AI”, “챗GPT 업무자동화”, “생성형 AI 교육” 같은 키워드를 주면, AI가 예스24 온라인 서점에 접속해 검색하고, 현재 어떤 책들이 상위에 노출되는지 확인할 수 있습니다.

사람이 직접 한다면 검색어를 바꾸고, 결과를 훑고, 제목·저자·출판사·가격·리뷰 수를 복사해 표로 정리해야 합니다. 헤르메스는 이런 반복 작업을 다음과 같이 처리할 수 있습니다.

예스24 접속
키워드 입력
베스트셀러 또는 판매량 기준 정렬 확인
도서명, 저자, 출판사, 가격, 리뷰 수 추출
엑셀이나 블로그 글 초안으로 정리

이 기능은 강의 주제 조사, 출판 트렌드 분석, 콘텐츠 기획에 특히 유용합니다.

나의 활용 사례 2: 유튜브 스팸 댓글 자동 정리

유튜브 채널을 운영하다 보면 영상 하나에 스팸 댓글이 수십 개씩 달릴 때가 있습니다. 광고성 링크, 의미 없는 반복 문구, 외부 사이트 유도 댓글을 하나씩 찾아 삭제하는 일은 시간이 많이 걸립니다.

헤르메스는 브라우저를 통해 유튜브 스튜디오에 접속한 뒤, 댓글 목록을 확인하고, 의심 댓글을 분류하고, 삭제 후보 목록을 만들 수 있습니다. 안전하게 운영하려면 처음부터 완전 자동 삭제로 가기보다 다음 방식이 좋습니다.

AI가 스팸 의심 댓글을 먼저 찾는다.
삭제 후보 목록과 판단 이유를 보여준다.
사람이 승인한다.
승인된 댓글만 삭제한다.

이 방식은 채널 운영자의 시간을 줄이면서도, 정상 댓글을 실수로 삭제할 위험을 낮춥니다.

나의 활용 사례 3: 이메일 자동 정리

이메일도 대표적인 반복 업무입니다. 광고 메일, 견적 요청, 교육 문의, 회의 일정, 결제 알림, 뉴스레터가 한꺼번에 쌓이면 중요한 메일을 놓치기 쉽습니다.

헤르메스에게 “최근 7일 메일을 분류해줘”라고 요청하면 다음과 같은 방식으로 도와줄 수 있습니다.

중요 메일과 광고성 메일 구분
답장이 필요한 메일 목록 작성
회의·마감·결제 관련 메일 별도 표시
답장 초안 작성
메일함 라벨링 또는 보관 처리

이메일은 개인정보와 업무 책임이 걸려 있으므로, 삭제나 발송은 사람이 승인하는 구조로 시작하는 것이 좋습니다.

어떤 업무에 특히 잘 맞을까?

브라우저에서 같은 절차를 반복하는 업무
로그인 후 확인해야 하는 관리자 페이지 업무
여러 페이지를 넘기며 목록을 수집하는 업무
검색 결과를 표로 정리하는 업무
댓글, 문의, 이메일처럼 분류 기준이 있는 업무
사람의 최종 승인 전까지 AI가 초안을 준비하는 업무

주의할 점: AI에게 모든 권한을 넘기지 않는다

Computer Use가 강력하다고 해서 모든 작업을 무조건 자동화하면 안 됩니다. 결제, 삭제, 발송, 개인정보 처리, 계정 설정 변경처럼 되돌리기 어려운 작업은 반드시 사람의 확인 절차를 두어야 합니다.

제가 권하는 방식은 AI가 반복 작업을 준비하고, 사람은 최종 판단과 승인을 맡는 구조입니다. 이것이 작은 조직이나 개인 크리에이터에게 가장 현실적인 AI 업무자동화 방식입니다.

마무리

헤르메스의 Computer Use와 Browser Automation은 “AI가 말만 잘하는 도구”에서 “AI가 실제 업무 화면을 다룰 수 있는 동료”로 넘어가는 중요한 기능입니다.

예스24 도서 조사, 유튜브 스팸 댓글 정리, 이메일 자동 분류처럼 브라우저에서 반복되는 업무가 있다면, 이 기능은 매우 실용적인 AI 직원이 될 수 있습니다. 핵심은 완전 자동화가 아니라 반복은 AI에게, 판단은 사람에게 맡기는 것입니다.

찰리초이 스토리 블로그

이 블로그 검색

Grok Bot 토큰 효율 손본다: 머스크·@mattyp 발언, 확정과 질문을 구분해 읽어야 한다