오픈AI 오퍼레이터에서 ChatGPT 에이전트까지: 컴퓨터 사용 에이전트(CUA)가 실제로 할 수 있는 일과 한계

2026-08-22 · AI & 바이브코딩

■ 1. 먼저 바로잡아야 할 사실관계

오픈AI 오퍼레이터(Operator)를 지금도 쓸 수 있는 독립 서비스로 소개하는 글이 많지만, 2026년 8월 기준으로는 사실과 다릅니다. 오퍼레이터는 2025년 1월 23일 리서치 프리뷰로 공개된 뒤, 같은 해 ChatGPT 에이전트 기능이 나오면서 역할이 흡수됐고 2025년 8월 31일 별도 서비스로서는 종료됐습니다. 오퍼레이터가 보여 준 화면 조작 능력은 사라진 것이 아니라 ChatGPT의 에이전트 모드와 API로 제공되는 컴퓨터 사용 모델 쪽으로 옮겨 갔습니다.

- 오퍼레이터: 2025년 1월 공개, 2025년 8월 31일 종료

- 기술 이름: CUA(Computer-Using Agent), 화면을 보고 마우스와 키보드를 조작하는 방식

- 현재 이용 경로: ChatGPT의 에이전트 기능, 그리고 개발자용 컴퓨터 사용 모델 API

제품 이름과 제공 방식은 자주 바뀌므로 실제 도입 전에는 OpenAI 공식 문서에서 현재 제공 형태와 요금을 확인하시기 바랍니다.

■ 2. CUA는 어떻게 동작하나

CUA의 핵심은 웹사이트마다 전용 연동을 만들지 않고, 사람이 화면을 보고 조작하는 방식을 그대로 흉내 낸다는 점입니다. 세 단계가 반복됩니다.

- 1단계 화면 인지: 가상 브라우저나 가상 데스크톱의 화면을 캡처해 멀티모달 모델이 버튼, 입력창, 드롭다운, 팝업 같은 요소와 그 위치를 파악합니다.

- 2단계 행동 계획: 사용자가 자연어로 준 목표를 하위 단계로 쪼갭니다. 예를 들어 렌터카 예약이라면 검색, 날짜 선택, 필터 적용, 차량 선택, 정보 입력 순서로 계획을 세웁니다.

- 3단계 실행과 피드백: 클릭, 스크롤, 타이핑, 단축키 입력을 수행한 뒤 바뀐 화면을 다시 확인합니다. 예상과 다르면 계획을 수정하고 다른 경로를 시도합니다.

이 구조 덕분에 API가 없는 사내 인트라넷이나 오래된 공공 포털처럼 자동화가 어려웠던 화면에도 접근할 수 있습니다. 반대로 화면을 매번 다시 읽고 판단하기 때문에 속도가 느리고 토큰 비용이 큽니다.

■ 3. 벤치마크로 본 실제 실력

일부 소개 글이 "WebArena에서 80% 이상"이라고 적고 있으나 공개된 수치와 맞지 않습니다. OpenAI가 CUA 발표 당시 공개한 값은 다음과 같습니다.

- OSWorld(운영체제 전반 조작): CUA 38.1%, 사람 72.4%, 종전 최고 22.0%

- WebArena(브라우저 업무): CUA 58.1%, 사람 78.2%, 종전 최고 36.2%

- WebVoyager(비교적 단순한 웹 작업): CUA 87.0%, 종전 최고 56.0%

정리하면 단순한 웹 탐색은 상당히 잘 해내지만, 여러 앱을 오가는 복잡한 운영체제 작업에서는 아직 사람과 큰 격차가 있습니다. 이후 모델이 개선되면서 수치는 계속 갱신되고 있으므로, 특정 숫자를 근거로 도입을 결정하기보다 자기 업무 흐름으로 직접 시범 운영해 보는 편이 정확합니다.

■ 4. 실무에서 쓸 만한 자동화 시나리오 3가지

- 레거시 웹 폼 입력: API가 없는 사내 시스템이나 공공 포털에 반복적으로 같은 형식의 데이터를 입력하는 업무입니다. 입력 항목이 정형화돼 있고 실수 시 되돌리기 쉬운 작업일수록 적합합니다.

- 다중 사이트 정보 수집과 비교: 여러 쇼핑몰이나 공급사 사이트를 돌며 가격과 재고를 모아 표로 정리하는 작업입니다. 결제 직전까지만 진행하고 최종 확인은 사람이 맡는 구성이 안전합니다.

- 정기 리포트 수집: 여러 SaaS 관리자 화면에 로그인해 주간 지표를 캡처하거나 내려받아 한 문서에 모으는 작업입니다.

공통점은 결과를 사람이 즉시 검토할 수 있고, 잘못돼도 복구가 가능한 업무라는 점입니다. 되돌리기 어려운 결제, 계약, 대외 발송은 자동 실행 대상에서 빼는 것이 기본입니다.

■ 5. 안전장치와 남아 있는 한계

- 휴먼 인 더 루프: 결제, 비밀번호 입력, 서명처럼 위험도가 높은 단계에서는 에이전트가 멈추고 사람의 승인을 받도록 설계합니다.

- 격리 실행: 작업을 격리된 가상 환경에서 수행해 사내 단말과 분리합니다. 다만 이는 위험을 줄이는 조치이지 모든 위협을 없애는 조치는 아닙니다.

- 프롬프트 인젝션: 웹페이지 안에 숨겨진 문장이 에이전트에게 엉뚱한 지시를 내리는 공격이 실제로 보고되고 있습니다. 방문 도메인을 허용 목록으로 제한하고, 민감 정보에 접근하는 세션과 외부 웹을 도는 세션을 분리하는 것이 실효적인 방어입니다.

- 계정 정책: 자동화 접근을 금지하는 사이트가 있으므로 이용약관 위반 여부를 사전에 확인해야 합니다.

- 로그 보존: 어떤 화면에서 무엇을 클릭했는지 남겨 두어야 문제 발생 시 원인을 추적할 수 있습니다.

■ 6. 자주 묻는 질문 3가지

질문 1. 기존 RPA를 완전히 대체하나요?

성격이 다릅니다. 화면과 절차가 고정된 대량 반복 업무는 여전히 규칙 기반 RPA가 빠르고 저렴합니다. CUA 방식은 화면이 자주 바뀌거나 예외 상황이 많아 규칙으로 짜기 어려운 업무에서 강점이 있습니다. 두 방식을 함께 쓰는 구성이 현실적입니다.

질문 2. 사내 도입 시 가장 큰 비용 요인은 무엇인가요?

화면을 반복해서 읽는 구조라 한 작업당 소모되는 토큰이 많습니다. 자동화할 업무를 고를 때 절약되는 사람 시간과 모델 호출 비용을 함께 계산해 보아야 합니다.

질문 3. 어디서부터 시작하면 좋을까요?

실패해도 피해가 작고 결과 검증이 쉬운 업무 한 가지를 골라 2주 정도 시범 운영해 보는 방식을 권합니다. 성공률, 소요 시간, 사람이 개입한 횟수를 기록해 두면 확대 여부를 판단하기 쉬워집니다.

질문 4. 사람이 하던 일이 그대로 사라지나요?

현재 수준에서는 업무 전체가 아니라 특정 단계가 넘어가는 형태에 가깝습니다. 자료를 모으고 옮겨 적는 단계는 에이전트가 맡고, 무엇을 결정하고 어디에 책임을 질지는 사람이 계속 판단해야 합니다. 그래서 도입 효과를 볼 때도 사람이 사라진 자리보다, 검토와 판단에 쓸 수 있게 된 시간이 얼마나 늘었는지를 보는 편이 정확합니다. 도입 초기에는 사람이 승인하는 지점을 촘촘하게 두었다가, 실패 사례가 줄어드는 것을 확인한 뒤 단계적으로 완화하는 순서를 권합니다.

■ 7. 용어 정리

- CUA: 화면을 인식해 마우스와 키보드를 조작하는 방식의 에이전트를 가리킵니다.

- 휴먼 인 더 루프: 자동 실행 중간에 사람의 확인과 승인을 넣는 설계 방식입니다.

- 프롬프트 인젝션: 입력 데이터나 웹페이지에 숨긴 지시문으로 모델의 행동을 가로채는 공격 기법입니다.

- OSWorld, WebArena, WebVoyager: 각각 운영체제 조작과 브라우저 업무 수행 능력을 재는 대표적인 평가 지표입니다.