컴퓨터 사용 (Computer Use)

공식 문서: https://code.claude.com/docs/ko/computer-use

컴퓨터 사용이란?

컴퓨터 사용(Computer Use)은 Claude가 화면을 보고, 마우스를 클릭하고, 키보드를 입력하여 네이티브 앱과 GUI를 직접 조작하는 기능입니다.

일반적인 Claude Code는 터미널 명령어와 파일 편집으로 작업하지만, 컴퓨터 사용을 활성화하면 실제 화면의 앱을 사람처럼 조작할 수 있습니다.

연구 프리뷰

이 기능은 현재 연구 프리뷰(Research Preview) 단계입니다. 향후 동작이 변경될 수 있습니다.

Computer Use 3단계 권한

Computer Use 3단계 앱 권한 체계

Full 전체 제어

모든 마우스/키보드 동작 허용

Notes, Finder, System Settings, Figma, Xcode, Numbers 등 일반 앱

클릭, 타이핑, 스크롤, 드래그, 우클릭, 수정키 조합 모두 허용

Click Only 클릭 전용

좌클릭 · 스크롤만 허용 / 타이핑 차단

Terminal, iTerm, VS Code, JetBrains, Xcode IDE 등 터미널·IDE

실행 버튼 클릭, 출력 스크롤 가능 | 명령어 입력은 Bash 도구 사용

View Only 보기 전용

스크린샷 읽기만 허용 / 상호작용 차단

Safari, Chrome, Firefox, Edge, Arc 등 모든 브라우저

웹 조작 필요 시 Chrome MCP 사용 | 프롬프트 인젝션 방지 목적

🛑 Esc 키로 언제든 즉시 중단 가능🔒 한 번에 하나의 세션만 화면 제어📸 스크린샷 → 분석 → 동작 반복

동작 방식

1. Claude가 스크린샷을 찍어 현재 화면 상태를 파악
2. 화면의 요소(버튼, 입력 필드 등)의 위치를 식별
3. 클릭, 타이핑, 스크롤 등의 동작을 수행
4. 다시 스크린샷을 찍어 결과를 확인
5. 목표가 달성될 때까지 이 과정을 반복

모든 작업은 내 컴퓨터에서 로컬로 실행됩니다.

무엇을 할 수 있나?

활용 사례	설명
네이티브 앱 빌드/검증	Swift, C++ 등으로 만든 앱을 빌드하고 실행하여 테스트
GUI 테스트	Playwright 설정 없이 실제 화면에서 E2E 테스트 수행
시각적 버그 디버깅	레이아웃, 스타일 문제를 화면에서 직접 확인하고 수정
GUI 전용 도구 제어	디자인 도구, 시뮬레이터, 하드웨어 패널 등 조작
iOS 시뮬레이터 테스트	Xcode의 iOS 시뮬레이터에서 앱 플로우 테스트
설정 앱 자동화	시스템 설정, 앱 환경설정 자동 변경
디자인 QA	Figma 디자인과 실제 구현을 시각적으로 비교

사용 환경

컴퓨터 사용은 두 가지 환경에서 사용할 수 있습니다:

항목	Claude Code (CLI)	Claude Desktop
운영체제	macOS만	macOS, Windows
플랜	Pro 또는 Max	Pro 또는 Max
최소 버전	v2.1.85 이상	최신 버전
실행 모드	인터랙티브 세션만	모든 세션
서드파티 제공자	지원 안 함	지원 안 함

제한사항

Bedrock, Vertex AI, Foundry 등 서드파티 API 제공자를 통한 사용은 지원되지 않습니다.

Windows 지원 현황

환경	상태	비고
macOS + Claude Code CLI	✅ 지원	v2.1.85 이상
macOS + Claude Desktop	✅ 지원	최신 버전
Windows + Claude Desktop	✅ 지원	최신 버전, x64만
Windows + Claude Code CLI	❌ 미지원	Desktop 앱 사용 필요
Linux	❌ 미지원	향후 지원 미정

설정 방법

CLI에서 활성화

# Claude Code 세션에서
/mcp

# computer-use 서버를 찾아서 활성화
# macOS 권한 요청이 나오면 허용

Desktop 앱에서 활성화

1. 설정(Settings) > 일반(General) > 데스크탑 앱(Desktop app) 열기
2. Computer use 토글 활성화
3. macOS/Windows 권한 요청 허용

Desktop 앱에서는 사이드바의 Code 세션에서 컴퓨터 사용 기능이 자동으로 제공됩니다. 별도의 MCP 서버 설정 없이 토글 하나로 활성화됩니다.

macOS 권한 설정 상세

macOS에서 컴퓨터 사용을 위해 두 가지 시스템 권한이 필수입니다:

1. 손쉬운 사용 (Accessibility)

마우스 클릭, 키보드 입력 등 시스템 이벤트를 제어하는 데 필요합니다.

시스템 설정 → 개인 정보 보호 및 보안 → 손쉬운 사용
→ "Claude" (또는 "Claude Code") 토글 켜기

2. 화면 기록 (Screen Recording)

스크린샷을 찍어 화면 상태를 파악하는 데 필요합니다.

시스템 설정 → 개인 정보 보호 및 보안 → 화면 기록 및 시스템 오디오 기록
→ "Claude" (또는 "Claude Code") 토글 켜기

권한 변경 후 재시작 필수

권한을 변경한 후에는 반드시 Claude Desktop 앱(또는 터미널)을 완전히 종료 후 재시작해야 합니다. 단순히 창을 닫는 것만으로는 부족합니다.

# CLI 사용 시: 터미널을 닫았다 다시 열기
# Desktop 사용 시: Cmd+Q로 완전 종료 후 재실행

앱별 권한 체계 (3단계)

Claude가 앱을 처음 사용할 때 앱별 승인을 요청합니다. 앱 유형에 따라 세 가지 권한 수준이 자동으로 결정됩니다:

등급	앱 유형	허용 동작	차단 동작
View only (보기 전용)	브라우저 (Safari, Chrome, Firefox, Edge, Arc 등)	스크린샷 읽기, 앱 활성화	클릭, 타이핑, 스크롤
Click only (클릭 전용)	터미널, IDE (Terminal, iTerm, VS Code, JetBrains 등)	스크린샷, 좌클릭, 스크롤	타이핑, 키 입력, 우클릭, 드래그, 수정키+클릭
Full (전체 제어)	기타 모든 앱 (Notes, Finder, System Settings 등)	모든 동작	없음

각 등급의 상세 동작

View only (브라우저)

• 브라우저 화면을 스크린샷으로 읽을 수 있지만, 어떤 상호작용도 불가합니다
• 웹 작업이 필요하면 Chrome MCP (mcp__claude-in-chrome__*) 사용을 권장합니다
• 프롬프트 인젝션(Prompt Injection) 방지를 위한 제한입니다

Click only (터미널, IDE)

• 좌클릭과 스크롤은 가능하지만 타이핑/키 입력은 차단됩니다
• 실행 버튼 클릭, 테스트 출력 스크롤 등은 가능합니다
• 터미널 명령어 입력이 필요하면 Bash 도구를 사용하세요
• 우클릭은 차단됩니다 (붙여넣기 메뉴 접근 방지)

Full (일반 앱)

• 모든 마우스/키보드 동작이 허용됩니다
• 시스템 설정, 메모, Finder, 일반 앱 등이 해당합니다

고권한 앱 경고

터미널, Finder, 시스템 설정 등 높은 권한의 앱을 사용하려 할 때는 별도 경고가 표시됩니다. 프롬프트 인젝션(Prompt Injection) 방지를 위해 터미널 화면은 스크린샷에서 제외됩니다.

안전 장치

장치	설명
앱별 승인	새 앱 사용 시마다 사용자 허가 필요
Esc 키 즉시 중단	언제든 Esc 키로 컴퓨터 사용 즉시 중단
단일 세션 잠금	한 번에 하나의 세션만 화면을 제어 (잠금 파일 사용)
터미널 제외	스크린샷에서 터미널 내용 제외 (프롬프트 인젝션 방지)
앱 자동 숨김	Claude 작업 중 방해가 되는 앱을 자동으로 숨김
등급별 제한	브라우저/터미널은 자동으로 제한된 권한 부여
링크 안전	이메일/메시지의 링크 클릭 차단 (피싱 방지)

디스패치와 함께 사용

디스패치로 생성된 세션에서도 컴퓨터 사용이 가능합니다. 단, 디스패치 세션의 앱 승인은 30분 후 만료됩니다.

실전 예시

iOS 앱 테스트

Xcode에서 프로젝트를 빌드하고 iOS 시뮬레이터에서 실행해줘.
로그인 화면이 나오면 test@example.com으로 로그인하고
모든 탭을 눌러서 크래시가 발생하는지 확인해줘.

디자인 검증

Figma에서 디자인을 열고 실제 구현된 웹페이지와 비교해줘.
간격, 색상, 폰트 크기가 다른 부분을 찾아서 알려줘.

스프레드시트 자동화

Numbers에서 매출 데이터 파일을 열고,
3월 데이터를 기준으로 차트를 만들어줘.

실전 예시: 네이티브 앱 자동화 워크플로우

macOS 시스템 설정을 자동으로 변경하는 워크플로우 예시입니다.

시나리오: 프레젠테이션 모드 — 발표 전 디스플레이 설정과 알림을 조정

발표 준비를 해줘:
1. 시스템 설정에서 디스플레이 해상도를 1920x1080으로 변경
2. 집중 모드에서 "방해 금지"를 활성화
3. Dock을 자동으로 숨기기 설정
4. 바탕화면에 있는 파일들을 임시로 숨겨줘

Claude가 수행하는 동작:

1. 시스템 설정 앱 열기 (Full 권한)
2. 디스플레이 섹션 클릭 → 해상도 변경
3. 집중 모드 섹션 → 방해 금지 활성화
4. Dock & 메뉴 막대 → 자동 숨기기 토글
5. Finder에서 바탕화면 파일 정리

자동화 성공률을 높이는 팁

• 대상 앱을 미리 실행해 두세요. Claude가 앱을 찾지 못하는 경우를 방지합니다
• **디스플레이 스케일링을 100%**로 설정하면 클릭 위치가 더 정확합니다
• 한 번에 하나의 앱에서 작업하도록 단계별로 지시하세요
• 복잡한 워크플로우는 중간 확인 단계를 포함하세요

실전 예시: 디자인 QA 자동화

Figma 디자인과 실제 구현된 앱을 비교하여 차이점을 자동으로 찾는 워크플로우입니다.

디자인 QA를 해줘:

1. Figma에서 "로그인 페이지" 프레임을 열어서 스크린샷을 찍어줘
2. 브라우저에서 localhost:3000/login을 열어서 스크린샷을 찍어줘
3. 두 화면을 비교해서 다음 항목의 차이점을 정리해줘:
   - 간격 (padding, margin)
   - 색상 (hex 코드로)
   - 폰트 크기와 두께
   - 버튼 크기와 라운딩
   - 그림자와 테두리

비교 결과를 표로 만들어서 design-qa-report.md에 저장해줘.

결과 예시:

요소	Figma 디자인	실제 구현	차이
로그인 버튼 높이	48px	44px	-4px
입력 필드 테두리	#E5E7EB	#D1D5DB	색상 불일치
버튼 라운딩	12px	8px	-4px

Computer Use vs 다른 접근 방법 비교

같은 목적을 달성할 수 있는 방법이 여러 가지 있습니다. 무엇을 선택할지 헷갈릴 때 이 표를 참고하세요.

방법	작동 방식	속도	정확도	사용 사례
Computer Use	화면 보고 클릭/타이핑	느림	보통	GUI 앱 조작 (캘린더, 프레젠테이션)
MCP 서버	API로 직접 연결	빠름	높음	구조화된 데이터 (GitHub, Slack, DB)
Bash 명령어	터미널 명령 실행	빠름	높음	파일 관리, 빌드, 서버 조작
Chat 복사/붙여넣기	사용자가 수동 전달	수동	높음	한 번만 하는 간단한 작업

어떤 방법을 선택할까?

MCP 서버가 있으면 MCP를 먼저 사용하세요. MCP는 API를 통해 직접 연결하므로 빠르고 정확합니다. GUI로만 접근할 수 있는 앱(Figma 디자인 확인, 시뮬레이터 테스트, 시스템 설정 변경 등)에서만 Computer Use를 사용하세요. 터미널이나 파일 작업이라면 Bash 명령어가 훨씬 빠릅니다.

연계 기능

🔗 컴퓨터 사용과 함께 사용하면 강력한 기능들

📤 디스패치(Dispatch)

디스패치로 생성된 세션에서 컴퓨터 사용을 활성화하면, 외출 중 모바일에서 지시한 작업이 데스크탑 GUI 앱까지 자동 조작합니다. 단, 디스패치 세션의 앱 승인은 30분 후 만료되므로 장시간 작업은 Desktop에서 직접 진행하세요.

디스패치 문서 보기 →

🤝 Cowork 개요

컴퓨터 사용은 Claude Code(CLI)와 Claude Desktop 모두에서 작동합니다. Cowork 세션에서 컴퓨터 사용을 활용하면 리서치, 문서 작업에서도 GUI 앱을 조작할 수 있습니다.

Cowork 개요 보기 →

⏰ 스케줄(Schedule)

스케줄로 주기적으로 실행되는 작업에서 컴퓨터 사용을 활용하면, 정기 디자인 QA 검증이나 주기적 GUI 앱 상태 확인을 완전 자동화할 수 있습니다. 단, 무인 운영 시 권한 프롬프트에서 멈출 수 있으므로 설정에 주의하세요.

스케줄 문서 보기 →

장점, 단점과 한계점

장점

• GUI 앱 직접 조작: 터미널 명령어로는 불가능한 네이티브 앱(Figma, Xcode, System Settings 등)을 사람처럼 클릭하고 타이핑하여 제어할 수 있습니다
• 스크린샷 기반 시각적 확인: 작업 결과를 스크린샷으로 촬영하여 실제 화면 상태를 확인하므로, 시각적 버그나 레이아웃 문제를 정확히 감지합니다
• 네이티브 앱 자동화: Swift, C++ 등으로 빌드한 앱을 직접 실행하고 테스트하는 E2E 워크플로우를 Playwright 설정 없이 수행할 수 있습니다
• 디자인 QA 가능: Figma 디자인과 실제 구현을 나란히 비교하여 간격, 색상, 폰트 등의 차이를 자동으로 검출합니다

단점과 한계점

• macOS/Windows만 지원: Linux는 지원하지 않으며, Windows CLI에서도 사용 불가하여 Desktop 앱이 필요합니다
• 3단계 권한 제한: 브라우저는 보기 전용(View only), 터미널은 클릭 전용(Click only)으로 제한되어 모든 앱을 자유롭게 제어할 수 없습니다
• 느린 실행 속도: 스크린샷 촬영 → 분석 → 동작 → 확인의 반복 사이클로 인해 사람이 직접 조작하는 것보다 상당히 느립니다
• 화면 해상도 의존: Retina 디스플레이에서 작은 요소 클릭이 부정확하고, 다중 모니터 환경에서 불안정할 수 있습니다
• 연구 프리뷰 단계: 아직 정식 기능이 아니므로 동작 방식이 변경될 수 있고, 서드파티 API 제공자를 통한 사용은 지원하지 않습니다

활용 팁

느린 속도를 보완하려면 대상 앱을 미리 열어두고, 디스플레이 스케일링을 100%로 설정하세요. 브라우저 조작이 필요하면 Chrome MCP를, 터미널 명령 실행이 필요하면 Bash 도구를 병행하면 권한 제한을 우회할 수 있습니다.

제한사항

컴퓨터 사용이 잘 안 되는 작업을 미리 파악해두면 시간을 절약할 수 있습니다:

제한 사항	설명	대안
빠른 애니메이션	스크린샷 기반이라 빠르게 변하는 UI를 따라가기 어려움	애니메이션 완료 후 작업 요청
드래그 앤 드롭	정밀한 드래그 동작이 불안정할 수 있음	키보드 단축키 또는 메뉴 사용
고해상도 작은 요소	Retina 디스플레이에서 작은 아이콘/버튼 클릭 부정확	디스플레이 스케일링 100% 설정
다중 모니터	여러 디스플레이 간 이동이 불안정	단일 디스플레이에서 작업
실시간 입력	게임, 실시간 편집기 등 지속적 입력이 필요한 앱	수동 조작
보안 대화상자	macOS Gatekeeper, 관리자 암호 입력 등	사전에 수동 승인
전체 화면 앱	전체 화면 모드의 앱 전환이 불안정할 수 있음	창 모드로 전환 후 작업
피싱 링크	이메일/메시지의 URL 클릭이 차단됨	수동으로 URL 확인 후 이동

안정적인 컴퓨터 사용을 위한 팁

1. 단계를 세분화: "A한 다음 B하고 C해줘" 대신 단계별로 확인하며 진행
2. 앱을 미리 열어놓기: Claude가 앱을 찾는 시간 절약
3. 100% 스케일링: System Settings → Displays → 기본 해상도 사용
4. 방해 금지 모드: 알림 팝업이 클릭을 방해하지 않도록 설정
5. 마우스/키보드 간섭 방지: Claude가 작업 중일 때 마우스/키보드를 건드리지 않기
6. Esc로 즉시 중단: 예상과 다르게 동작하면 Esc 키로 즉시 중단

문제 해결

문제	원인	해결
Computer Use 토글이 보이지 않음	OS 또는 플랜 미충족	macOS/Windows + Pro/Max 플랜 확인, 앱 업데이트
macOS 권한이 작동하지 않음	시스템 설정 미허용	시스템 설정 > 개인 정보 보호 > 손쉬운 사용/화면 기록에서 Claude 앱 허용
Claude가 앱을 찾지 못함	앱이 실행되지 않음	대상 앱을 먼저 실행한 후 Claude에게 요청
클릭 위치가 정확하지 않음	해상도/스케일링 차이	디스플레이 설정 확인, 100% 스케일링 권장
"Another session is using computer use"	단일 세션 잠금	다른 세션의 Computer Use 작업 완료 대기 또는 해당 세션 종료
터미널에서 Computer Use가 안 됨	CLI에서는 macOS만 지원	Desktop 앱 사용 (Windows 포함) 또는 macOS CLI
권한 허용 후에도 동작 안 함	재시작 필요	Claude 앱/터미널 완전 종료 후 재시작
브라우저에서 클릭이 안 됨	View only 등급	Chrome MCP 또는 수동 조작 사용
터미널에서 타이핑이 안 됨	Click only 등급	Bash 도구로 명령어 실행

다음 단계

• 채널 - 외부 메시지로 Claude 세션 제어
• 디스패치 - 모바일에서 작업 위임
• 기능 비교 - 모든 원격/자동화 기능 한눈에 비교

성능 벤치마크

Computer Use 기능의 실제 성능 지표입니다.

항목	성능	환경
스크린샷 촬영	0.5-1초	모든 OS
요소 식별	0.3-0.8초	화면 복잡도에 따라
클릭/타입 동작	0.1-0.3초	네트워크 지연 제외
전체 라운드	2-4초	스크린샷→분석→동작 한 사이클
복잡한 작업	30초-5분	다중 단계 자동화

성능 최적화:

• 큰 해상도 화면은 스크린샷 처리 시간 증가
• 많은 UI 요소(1000+)는 분석 시간 늘어남
• 로컬 네트워크에서는 더 빠른 응답 가능

권한 만료 및 갱신

Dispatch를 통해 생성된 세션의 Computer Use 권한은 30분 후 자동 만료됩니다.

권한 갱신 방법:

1. 자동 갱신 (권장)

   # Claude가 자동으로 새 권한 요청
   # 사용자 승인 필요 → 다시 30분 유효

2. 수동 재요청

   • 세션에서 /ask 명령어 실행
   • "새로운 Computer Use 권한 요청" 메시지 확인
   • 팝업 허용 클릭

3. 권한 만료되기 전 갱신

   • 마지막 동작으로부터 25분 경과 시 갱신 요청
   • 만료 직전이 아닌 사전에 갱신하여 중단 방지

세션 제한:

• 한 번에 하나의 Dispatch 세션만 Computer Use 활성
• 다른 세션이 실행 중이면 대기 필요

Linux 지원 정책 및 향후 계획

현재 상태:

• ❌ Linux에서는 지원되지 않음
• 향후 지원 계획은 공식 발표되지 않음

Linux 사용자를 위한 현재 대안:

1. WSL 2 (Windows 사용자)

   • Windows에 WSL 2 Ubuntu 설치
   • Claude Code 설치 후 사용 가능

2. 원격 개발 (클라우드)

   • 클라우드 세션 사용
   • 브라우저에서 Linux 환경의 Claude Code 실행

3. API 직접 사용

   • Anthropic API로 직접 스크립트 작성
   • Python/Node.js에서 curl 명령어 조합

이 기능이 필요하신가요?

• GitHub 이슈 등에 투표 또는 댓글 남기기