커넥터가 없는 맥 앱도 봇이 직접 다룰 수 있을지 궁금했습니다. 제 맥북에서 Grok Bot으로 agent-desktop 스킬을 테스트하며, 입력이 된 장면과 막힌 장면을 함께 확인했습니다. Vercel Labs가 만든 agent-desktop은 Rust로 구현된 도구입니다. 화면의 픽셀을 짐작하는 대신 접근성 트리로 앱의 실제 구조를 읽고, JSON에 담긴 요소의 ref를 이용해 클릭하거나 입력합니다. 앱과 창을 확인하고 스냅샷을 읽어 동작한 뒤 다시 확인하며, 화면이 바뀌면 ref도 다시 찾아야 합니다. 맥북은 깨어 있고 잠금이 풀려 있어야 합니다. 실행 없이 코드를 읽은 정적 보안 점검 결과는 위험 낮음이었습니다. 백도어나 몰래 정보를 빼내는 코드는 발견되지 않았습니다. 맥용 실행 코드에서 확인된 네트워크 호출은 127.0.0.1 한 곳뿐이었습니다. 번들 실행 파일 10개의 SHA-256 해시도 모두 일치했습니다. 실행 중 자동 업데이트 기능은 없다는 점도 코드 점검에서 확인했습니다. 다만 해시 일치는 일관성 확인이며 무해함을 증명하지는 않습니다. 실제 테스트에서는 Finder 조작과 텍스트 편집기 문장 입력에 성공했습니다. Chrome의 RHWP 확장에서는 첫 헤드리스 입력이 문서에 보이지 않았습니다. 헤드 모드로 창에 포커스를 주고 입력칸을 클릭한 다음, 클립보드의 문장을 Cmd+V로 붙여넣어 해결했습니다. 입력 결과는 접근성으로 다시 읽을 수 없어 사람이 화면으로 확인했습니다. 이런 경우에는 사람의 확인이나 화면 캡처로 결과를 봐야 합니다. rhwp-studio 웹 버전에서는 ego lite CLI로 직접 타이핑한 문장이 나타났습니다. 워드는 라이선스 만료로 편집이 막혀 테스트하지 못했습니다. 커넥터를 먼저 쓰고, 웹은 브라우저 도구로 처리하며, 네이티브 앱에 agent-desktop을 쓰는 순서를 기준으로 삼았습니다. 버전은 1.0.2로 고정하고 화면 설명을 외부로 보내는 도우미와 그 키는 사용하지 않습니다. macOS 권한 창은 사용자...
지난 Google I/O 2016 에서 공식 발표된 "Bring Your Android Apps to Chromebook' 크롬북에서도 Google Play Store에 있는 모든 안드로이드 앱을 설치 실행가능하도록 하는 크롬 버전을 발표(이에대한 자세한 설명은 이 블로그 참고 ) 발표 당시 Google은 우선 3개의 크롬북 모델 ( Asus Chromebook Flip , Acer Chromebook R11, Google Chromebook Pixel (2015)) 에 대해서만 6월초에 출시 예정인 크롬 개발자 버전 53에서 안드로이드 앱 설치 가능하도록 하겠다고 발표 하였다. (이 3 모델은 모두 터치스크린 모드 지원 크롬북) 나머지 모델들은 9월 이후에나 가능할 예정. 그래서, 이를 확인하기위해서 이 3모델중에 하나인 ASUS Chromebook Flip 10.1-Inch Convertible 2 in 1 Touchscreen (4G Ram) 을 eBay 를 통해서 직구하였다. 아직 크롬 개발자 53 버전이 릴리스 된 상태는 아님으로, 1차로 단순 크롬북 unboxing 정도의 사용기를 올려봄. 그동안 크롬북 1세대 (삼성 크롬북)에서부터, Acer 크롬북 720P, Asus 크롬박스, Asus Chromebit, 국산 Poin2 를 모두 사용해 본 경험을 바탕으로 간단 사용기 1차. 이 모델의 가장 큰 특징은, 터치스크린을 지원하고, 타블렛 모드 (3가지 모드), 노트북 모드 등 총 4가지 조합으로 사용이 가능하다는 사실. 1. 일단 노트북 모드 2. 타블렛 모드 1 - 키보드를 바닥에 받침대로 활용. 이 모드에서는 키보드는 자동으로 화면에 가상 키보드로 전환됨 3. 타블렛 모드 2 - 45도 정도로 펼쳐서 책상이나 무릅위에 올려 놓고 작업하기 4. 타블렛...