커넥터가 없는 맥 앱도 봇이 직접 다룰 수 있을지 궁금했습니다. 제 맥북에서 Grok Bot으로 agent-desktop 스킬을 테스트하며, 입력이 된 장면과 막힌 장면을 함께 확인했습니다. Vercel Labs가 만든 agent-desktop은 Rust로 구현된 도구입니다. 화면의 픽셀을 짐작하는 대신 접근성 트리로 앱의 실제 구조를 읽고, JSON에 담긴 요소의 ref를 이용해 클릭하거나 입력합니다. 앱과 창을 확인하고 스냅샷을 읽어 동작한 뒤 다시 확인하며, 화면이 바뀌면 ref도 다시 찾아야 합니다. 맥북은 깨어 있고 잠금이 풀려 있어야 합니다. 실행 없이 코드를 읽은 정적 보안 점검 결과는 위험 낮음이었습니다. 백도어나 몰래 정보를 빼내는 코드는 발견되지 않았습니다. 맥용 실행 코드에서 확인된 네트워크 호출은 127.0.0.1 한 곳뿐이었습니다. 번들 실행 파일 10개의 SHA-256 해시도 모두 일치했습니다. 실행 중 자동 업데이트 기능은 없다는 점도 코드 점검에서 확인했습니다. 다만 해시 일치는 일관성 확인이며 무해함을 증명하지는 않습니다. 실제 테스트에서는 Finder 조작과 텍스트 편집기 문장 입력에 성공했습니다. Chrome의 RHWP 확장에서는 첫 헤드리스 입력이 문서에 보이지 않았습니다. 헤드 모드로 창에 포커스를 주고 입력칸을 클릭한 다음, 클립보드의 문장을 Cmd+V로 붙여넣어 해결했습니다. 입력 결과는 접근성으로 다시 읽을 수 없어 사람이 화면으로 확인했습니다. 이런 경우에는 사람의 확인이나 화면 캡처로 결과를 봐야 합니다. rhwp-studio 웹 버전에서는 ego lite CLI로 직접 타이핑한 문장이 나타났습니다. 워드는 라이선스 만료로 편집이 막혀 테스트하지 못했습니다. 커넥터를 먼저 쓰고, 웹은 브라우저 도구로 처리하며, 네이티브 앱에 agent-desktop을 쓰는 순서를 기준으로 삼았습니다. 버전은 1.0.2로 고정하고 화면 설명을 외부로 보내는 도우미와 그 키는 사용하지 않습니다. macOS 권한 창은 사용자...
예전에 올린 아래 블로그에서 '지메일' 을 이용하여 보낸 메일의 수신 확인 하는 도구를 소개한 적이 있습니다.
- http://charlychoi.blogspot.kr/2014/12/blog-post.html
이 블로그에서도 설명되어 있기도 하지만, 모든 이메일 시스템(Gmail 포함, 타 이메일 시스템들 네이버, 다음 메일 등등 모두) 본래 표준 기능에서는 제공하지 않는 기능. 즉, 메일 보낸 내용에 대하여 상대방이 수신 하였는지 여부를 알려주는 기능은 제공하지 않습니다.
그러나 대부분의 이메일 서비스를 제공하고 있는 곳에서 메일 수신 확인 기능을 제공하는 것은 편법 (위 블로그에서 소개된 Chrome 브라우저 확장 프로그램인 'Streak' 도구 포함) 적인 방법을 통해서 메일 수신 확인 기능을 제공하고 있습니다.
그 편법적인 방법의 원리는 간단합니다. 메일을 보낼때 본문 내용에 잘 보이지 않는 이미지를 삽입하여 (이미지 픽셀 정도의 정보 만 삽입하여 수신자가 구별 할 수 없도록 하는 방식) 메일을 수신한 상대방이 메일 내용을 열어 보았을떄 해당 이미지도 자동으로 열리게 하여 그 이미지를 열어보았는지 여부를 tracking 하여 메일 송신자에게 그 정보를 전달하는 방식입니다.
예를 들면, 아래 지메일로 수신된 메일 메시지를 확인 해 보면, 분명 본문 내용에는 이미지가 없는 것으로 나옵니다만, 그러나 지메일에서는 '이미지가 표시되지 않았습니다' 라는 표시가 나타납니다. (Gmail에서는 이 메시지가 나오는 것은 본문 내용에 이미지가 있다는 사실을 알려주는 것입니다)
즉, 지메일에선는 눈에 보이지 않는 이미지가 본문 내용에 있다는 사실을 알려주는 것이지요. 십중팔구 이러한 메일로 수신되는 것들은 대부분 상대방이 '메일 수신 확인' 을 요청하도록 한 것입니다. (본인의 의지와는 상관없이, '메일에 포함된 이미지 표시'를 클릭하는 순간 상대방에게 수신확인 알림이 전달이 되는 것이지요)
Gmail 시스템에서는 이메일 본문 내용에 이미지를 삽입하여 스파이웨어나 스펨메시지를 보내는 것을 방지 하기 위한 아주 좋은 방지 기능을 제공합니다. 이 방지 기능을 이용하면 상대방이 몰래 수신확인 요청한 것을 거부 할 수 있습니다.
방법은 간단합니다. 지메일 환경설정->기본설정->이미지 에서 '외부 이미지를 표시하기 전에 확인' 을 체크 해 놓으면 됩니다.
이렇게 설정된 상태에서 메일이 수신이 되면, 메일 내용에 보이지 않는 이미지도 지메일이 존재 여부를 확인하여 사용자에게 선택을 하도록 알려줍니다. 위 첫번째 이미지 참조.
- http://charlychoi.blogspot.kr/2014/12/blog-post.html
이 블로그에서도 설명되어 있기도 하지만, 모든 이메일 시스템(Gmail 포함, 타 이메일 시스템들 네이버, 다음 메일 등등 모두) 본래 표준 기능에서는 제공하지 않는 기능. 즉, 메일 보낸 내용에 대하여 상대방이 수신 하였는지 여부를 알려주는 기능은 제공하지 않습니다.
그러나 대부분의 이메일 서비스를 제공하고 있는 곳에서 메일 수신 확인 기능을 제공하는 것은 편법 (위 블로그에서 소개된 Chrome 브라우저 확장 프로그램인 'Streak' 도구 포함) 적인 방법을 통해서 메일 수신 확인 기능을 제공하고 있습니다.
그 편법적인 방법의 원리는 간단합니다. 메일을 보낼때 본문 내용에 잘 보이지 않는 이미지를 삽입하여 (이미지 픽셀 정도의 정보 만 삽입하여 수신자가 구별 할 수 없도록 하는 방식) 메일을 수신한 상대방이 메일 내용을 열어 보았을떄 해당 이미지도 자동으로 열리게 하여 그 이미지를 열어보았는지 여부를 tracking 하여 메일 송신자에게 그 정보를 전달하는 방식입니다.
예를 들면, 아래 지메일로 수신된 메일 메시지를 확인 해 보면, 분명 본문 내용에는 이미지가 없는 것으로 나옵니다만, 그러나 지메일에서는 '이미지가 표시되지 않았습니다' 라는 표시가 나타납니다. (Gmail에서는 이 메시지가 나오는 것은 본문 내용에 이미지가 있다는 사실을 알려주는 것입니다)
Gmail 시스템에서는 이메일 본문 내용에 이미지를 삽입하여 스파이웨어나 스펨메시지를 보내는 것을 방지 하기 위한 아주 좋은 방지 기능을 제공합니다. 이 방지 기능을 이용하면 상대방이 몰래 수신확인 요청한 것을 거부 할 수 있습니다.
방법은 간단합니다. 지메일 환경설정->기본설정->이미지 에서 '외부 이미지를 표시하기 전에 확인' 을 체크 해 놓으면 됩니다.
이렇게 설정된 상태에서 메일이 수신이 되면, 메일 내용에 보이지 않는 이미지도 지메일이 존재 여부를 확인하여 사용자에게 선택을 하도록 알려줍니다. 위 첫번째 이미지 참조.
댓글
댓글 쓰기