빠른 흐름
Computer Use 작업 흐름
1. Computer Use plugin을 설치한다
2. macOS Screen Recording과 Accessibility 권한을 승인한다
3. Codex가 사용할 앱을 작업 단위로 승인한다
4. 클릭, 입력, 탐색이 필요한 흐름을 좁게 지시한다
5. 파일 읽기, 파일 수정, shell 명령은 thread의 sandbox와 approval 기준으로 따로 본다권한 구조
macOS 권한과 Codex 앱 승인은 다른 층위다
Computer Use는 Codex가 데스크톱 앱을 보고 조작해야 할 때 쓰는 표면입니다. 여기서 먼저 구분할 것은 macOS 시스템 권한과 Codex app 내부 승인입니다. macOS의 Screen Recording과 Accessibility 권한은 Codex가 앱을 보고 조작할 수 있게 해 주는 권한이고, Codex app의 앱 승인은 어떤 앱을 작업에 사용할지 정하는 권한입니다.
두 권한을 같은 것으로 보면 문제를 찾기 어렵습니다. 화면이 보이지 않거나 클릭이 되지 않으면 macOS 권한을 먼저 보고, 특정 앱만 사용할 수 없으면 Codex app의 앱 승인 상태를 봅니다. 파일 읽기, 파일 편집, shell command 실행은 Computer Use 권한과 별개로 thread의 sandbox와 approval 정책을 따릅니다.
QA 흐름은 작게 쪼개야 재현성이 남는다
Computer Use는 실제 앱을 클릭하고 입력하는 작업에 강하지만, 넓은 제품 흐름을 한 번에 맡기면 재현 로그가 흐려질 수 있습니다. "온보딩 전체를 QA해라"보다 "첫 로그인 후 프로젝트 생성 버튼까지 클릭하고 막히는 지점을 기록해라"처럼 시작 상태와 종료 조건을 정하는 편이 좋습니다.
좋은 QA 지시
- 앱은 이미 로그인된 상태에서 시작한다
- Settings > Billing 화면까지만 이동한다
- 결제 정보는 입력하지 않는다
- 막히는 지점은 화면 이름, 클릭한 버튼, 실제 결과로 보고한다조작이 필요한가, 맥락만 필요한가를 먼저 나눈다
화면 맥락만 전달하면 되는 경우에는 Appshots가 더 가볍습니다. Codex가 실제로 클릭, 입력, 앱 간 이동을 해야 한다면 Computer Use가 맞습니다. 이 구분을 먼저 해야 권한을 과하게 열지 않고도 필요한 작업을 끝낼 수 있습니다.
어디에 쓸까
| 상황 | 적합한 선택 |
|---|---|
| 데스크톱 앱에서 클릭과 입력이 필요할 때 | Computer Use |
| 화면 상태만 전달하면 될 때 | Appshots |
| 웹 앱을 preview하고 주석을 달 때 | in-app browser |
| 로그인된 Chrome profile이 필요할 때 | Chrome extension |
| 파일 수정이나 shell 실행이 필요한 때 | thread sandbox와 approval 확인 |
주의할 점
Computer Use 권한은 데스크톱 앱을 보고 조작하는 권한입니다. 파일 편집, 파일 읽기, shell 명령은 여전히 thread의 sandbox와 approval 설정을 따르므로 권한 문제를 한 층위로 묶어 해석하면 안 됩니다.
실패 예시
- 화면 조작 권한을 승인했으니 파일 수정도 자동으로 가능하다고 가정함
- 결과: 앱 조작은 되지만 파일 작업에서 sandbox approval이 따로 필요함
- 대응: 화면 조작 권한, 앱 승인, 파일/명령 approval을 별도로 확인한다참고 링크
1 sources