Quick Reference

화면을 보기만 한다        -> Appshots 또는 Browser
웹 페이지에서 상태를 확인한다 -> Browser를 먼저 검토
데스크톱 앱을 클릭·입력한다  -> Computer Use
로그인된 Chrome 탭을 쓴다   -> Chrome extension

Computer Use 요청에는 시작 상태, 허용한 화면, 완료 조건, 금지 동작을 적는다.

Computer Use는 화면을 보고 클릭·입력하는 시각적 제어 수단이다. 반복 가능한 데이터 작업이나 API 호출은 먼저 전용 plugin, MCP, 구조화된 도구가 있는지 확인한다. 화면 조작은 결과를 눈으로 확인해야 할 때에만 맡기는 편이 권한과 재현 범위를 줄인다.

권한은 세 층으로 나뉜다

Computer Use를 사용하려면 ChatGPT desktop app에서 Computer Use plugin을 설치하고, plugin과 skill을 활성화해야 한다. 지원 여부는 운영체제, 지역, 플랜, workspace 정책에 따라 달라질 수 있다. 사용 가능한 환경에서도 아래 권한은 서로 대신하지 않는다.

macOS에서는 Screen Recording과 Accessibility를 허용해야 화면을 읽고 조작할 수 있다. Windows에서는 대상 데스크톱이 활성 상태여야 하며, 포인터와 키 입력이 전경으로 이동할 수 있다. 반대로 macOS는 작업을 백그라운드 범위에서 진행할 수 있지만, 잠금 상태를 포함한 실제 화면 제어에는 별도 제약이 남는다.

Computer Use를 허용해도 터미널 앱과 ChatGPT 자체, 관리자 인증, 보안·개인정보 권한 요청 창은 자동 조작 대상이 아니다. 이런 지점에서 멈추는 것은 권한 실패가 아니라 의도된 안전 경계일 수 있다.

재현 가능한 화면 작업

넓은 요청보다 화면 범위를 끊어 지시한다. 결제나 발송 같은 되돌리기 어려운 동작은 확인만 맡기고, 최종 실행은 사용자가 하도록 남긴다.

시작: 이미 로그인된 상태의 데스크톱 앱
허용: Settings > Billing 화면까지만 이동
금지: 결제 정보 입력, 저장, 제출
완료: 막힌 지점이 있으면 화면 이름, 누른 버튼, 실제 결과를 보고

화면 상태만 설명하면 되는 경우에는 Appshots가 더 작고 명확하다. 로컬 개발 서버의 화면 검수와 주석 작업은 built-in Browser가 먼저 맞는지 본다. Computer Use는 앱 간 전환이나 네이티브 UI처럼 다른 도구로 대체할 수 없는 동작에 제한한다.