01문제의식 — '머리 안 쓰는 클릭'의 낭비
하루 수많은 클릭 중 진짜 판단이 필요한 것은 소수, 나머지는 창 열고 탭 옮기고 복사·붙여넣는 손 가는 일. 발표자는 두 창을 오가며 숫자 30개를 옮기다 40분을 날렸고, 지루함 때문에 한 줄을 건너뛰는 실수까지 했다. 어려워서가 아니라 지루해서 나는 실수 — 이 시간을 넘기고 싶었지만 마땅한 방법이 없었다.
02컴퓨터 유즈란 — AI에게 손을 달다
지금까지 AI는 '입'만 있어 방법을 알려줄 뿐 클릭·타이핑은 사람 몫이었다. 컴퓨터 유즈는 화면을 직접 보고 직접 누른다 — 전화로 길을 알려주던 사람이 운전대를 잡는 것에 비유. '말로 알려주면 내 시간이 들고, 직접 해주면 내 시간이 안 든다'가 차이의 전부.
03과거의 한계 — 스크린샷 좌표 방식의 어설픔
AI는 화면을 스크린샷 한 장으로 받아 버튼 위치를 픽셀 좌표로 찍어야 했다. '안대를 썼다 벗겨 사진 한 장 보여주고 다시 씌운 뒤 그 버튼을 누르라'는 격이라, 여백·유사 버튼을 잘못 누르고 스크롤로 좌표가 밀려 재시도가 서너 번 반복됐다. 결국 사람이 마우스를 잡게 돼 "신기하지만 아직 내가 하는 게 빠르다"가 결론이었다.
04오퍼스 5의 변화 — 조용해지고 작은 걸 누른다
같은 작업을 오퍼스 5로 재시도하니 우선 '조용해졌다' — 클릭 한 번에 화면을 계속 다시 보던 왕복이 크게 줄어 한 번 보고 한 번에 들어간다. 가장 놀란 건 표 안 작은 체크박스·드롭다운 3번째 항목처럼 작은 요소를 정확히 누르는 것("콩자반을 집는다"에 비유). 그리고 사람이 옆에서 지켜보며 잡아줄 필요가 없어져('뒷자리 승객'처럼) 시켜놓고 다른 일을 할 수 있게 된 것이 가장 큰 변화.
05왜 클릭 정확도가 결정적인가
다단계 작업은 한 단계 성공률이 높아도 여러 번 곱하면 뚝 떨어진다 — 클릭이 10번에 1번 빗나가면 자동화 자체가 실패. 반대로 클릭이 되면 '창 열고 → 값 읽고 → 다른 창에 넣고 → 저장 → 확인'의 5단계를 끝까지 이어붙일 수 있다. 예전엔 2~3번째에서 무너지던 것이 이제 완주한다.
06실제로 맡긴 일들
① 표 옮기기(사이트 값을 한 줄씩 확인·정리, 끝나면 빠진 줄 재확인까지 지시), ② 반복 입력(같은 양식에 내용만 바꿔 여러 번), ③ 눈으로 확인(값이 제대로 들어갔는지 열어보고 보고), ④ 창 왕복(가장 피곤한 일이지만 AI는 지치지 않음). 공통점은 모두 어렵지 않고 '하기 싫어 미루던 설거지 같은 일'. 지시 팁: 무엇을·어디서·언제 멈출지 세 가지를 함께 적고(멈출 조건이 핵심), 좌표 대신 목적("저장해 줘")만 말한다.
07한계 — 느림·비가역·비가시
① 느리다 — 화면 보고 판단하고 누르는 걸 한 단계씩 하므로 사람이 30초에 할 일을 3분 걸릴 수 있어 급한 일은 직접. ② 되돌릴 수 있는 일만 — 결제·삭제·외부 메일 발송은 물어보게 하고 사람이 확인·실행. ③ 화면에 안 보이면 못 함 — 스크롤 아래·잘린 메뉴는 불가하므로 창을 크게 띄운다. 시작은 아주 작게("지금 화면에 뭐 열려 있는지 알려줘" → 항목 하나 클릭)해 신뢰를 쌓고 권한도 필요한 앱만 골라 허용한다.
08용어 사전
- 컴퓨터 유즈(Computer Use): AI가 화면을 직접 보고 클릭·타이핑으로 컴퓨터를 조작하는 기능.
- 다단계 성공률: 단계별 성공률의 곱으로 결정되는 전체 작업 성공 확률(클릭 정확도가 관건).
- 멈출 조건: 어디까지 하고 멈출지 지시에 명시하는 항목(폭주 방지).
- 리드 헤비/비가역 작업: 되돌릴 수 없는 결제·삭제·발송 등 사람이 최종 확인해야 하는 작업.