2026년 7월부터 10월까지 17주 동안, 저는 코드를 거의 직접 치지 않고 AI 에이전트(Claude, Codex)에게 일을 시켜 사업 6개를 굴렸습니다. 그 사이 제가 실제로 한 일은 하나였습니다. 에이전트가 제 기준대로 일하게 만드는 규칙과 검사, 도구 묶음을 매주 고치는 것. 업계에서는 이걸 하네스(harness)라고 부릅니다.
이 글은 그 하네스를 주차별로 무엇을 바꿨고, 무엇이 터졌는지 적은 기록입니다. 잘된 주만 고르지 않았습니다. 마지막 3주는 개선했다고 말할 것이 없어서 그대로 비워 두었습니다.
숫자로 먼저
| 항목 | 값 |
|---|---|
| 기간 | 2026-07-05 ~ 10-31 (17주) |
| 하네스 저장소 커밋 | 1,649건 (1 |
| 마지막 3주(15~17주차) 커밋 | 723건. 그런데 개선 확정은 0건 |
| 지금 하네스 크기 | 규칙 문서(표준) 66개, 에이전트 21개, 자동 검사(훅) 스크립트 88개, 스킬 118개 |
커밋이 많다고 좋아진 게 아니었습니다. 이 글에서 가장 하고 싶은 말이 이겁니다.
이 절, 어떠셨어요?
최근 의견
집계 전
1~3주차: 도구를 고르던 시기
1주차 (07-05~07-11)
- 대화가 길어지면 요약해서 토큰을 아끼는 Compact를 쓰기 시작했습니다.
- 서브에이전트에게 일을 나눠 주기 시작했습니다. 혼자 다 시키지 않는 구조의 출발점입니다.
- Cursor AI를 함께 썼습니다.
- 첫 사고: 검사에서 떨어진 결과물을 제가 손으로 고쳐 통과시켰습니다. 그러면 에이전트는 영원히 배우지 않습니다. 그래서 "떨어지면 다시 맡기거나, 떨어졌다고 표시하고 내보낸다" 두 길만 남겼습니다.
2주차 (07-12~07-18)
- 하네스를 본격적으로 고민하기 시작했고, 디자인까지 맡겼습니다.
- 디자인 품질이 올라간 계기는 세 가지였습니다. 잘 만든 서비스를 먼저 찾아보게 하기(벤치마킹), 사용자 심리 근거를 대게 하기, 실사 이미지 생성 도구(Higgsfield)를 쓰기.
- 사고: API 계약과 DB 스키마를 저와 상의 없이 에이전트가 정해 버렸습니다. 되돌리기 비싼 설계는 합의 전에 쓰지 못하게 막았습니다.
3주차 (07-19~07-25)
- Codex를 추가했습니다. 실행은 Codex, 대화와 판단은 Claude로 나누면서 두 모델의 차이를 알게 됐습니다.
- 사고: 승인한 시안을 무시하고 에이전트가 임의로 개발했습니다. 일을 맡길 때 승인된 버전의 산출물 경로를 꼭 넣고, 그대로 만들었는지 검사하게 했습니다.
이 구간에서 배운 것: 좋은 모델보다 좋은 레퍼런스를 먼저 쥐여 주는 쪽이 결과가 좋았습니다.
이 절, 어떠셨어요?
최근 의견
집계 전
47주차: 공정을 만든 시기 (파이프라인 v1v4)
4주차 (07-26~08-01) · v1
- 기획, 디자인, 기술설계, 개발, QA, 배포 순서로 단계마다 승인을 거치는 파이프라인을 처음 만들었습니다.
- 각 단계 산출물을 한 화면에서 보는 관제 대시보드를 만들었습니다.
5주차 (08-02~08-08) · v2
- 모든 단계에 리뷰어 에이전트를 붙였습니다. 설계 리뷰까지 포함합니다.
- QA를 에이전트에게 맡길 수 있게 됐습니다. 앞 단계에서 잡을수록 고치는 비용이 훨씬 쌌습니다.
- 기획서(PRD)가 너무 길어 제가 다 못 읽는 문제가 생겨, 기획서를 따로 검수하고 요약하는 에이전트를 만들었습니다.
6주차 (08-09~08-15) · v3
- 작업마다 세션을 나눴습니다. 에이전트 작업을 git 브랜치처럼 다루는 방식입니다.
- 이 주에 가장 크게 깨달은 것: 에이전트의 기억(대화)은 사라지고, 디스크에 쓴 파일만 남는다. 그래서 중요한 건 전부 파일로 남기게 했습니다.
- 에이전트 결과물에 점수를 매기는 평가(eval) 루프를 시작했습니다.
- 또 하나: 모델이 아니라 하네스가 문제인 경우가 훨씬 많다. 동시에 화면 디자인처럼 창의성이 필요한 곳은 규칙으로 너무 묶지 않고 열어 두었습니다.
- 사고: 타입 검사가 통과한 걸 화면이 동작하는 걸로 착각했습니다. 개발 에이전트가 직접 개발 서버를 띄워 화면을 열어 보고 증거를 내게 했습니다.
7주차 (08-16~08-22) · v4
- 시안과 실제 개발 화면을 대조하는 QA 조건을 만들었습니다.
- 깨달은 것: 내가 알아야 맡길 수 있다. 브라우저 자동화(CDP, 확장 프로그램, Playwright)를 제가 이해하고 나서야 에이전트에게 제대로 시킬 수 있었습니다.
이 구간에서 배운 것: 단계를 나누고 앞에서 검사할수록 싸다. 다만 단계가 늘어나면 그만큼 에이전트가 "통과한 척"할 자리도 늘어납니다.
이 절, 어떠셨어요?
최근 의견
집계 전
810주차: 에이전트가 매번 새로 만드는 문제와 싸운 시기 (v5v7)
이 구간의 공통 문제는 하나였습니다. 에이전트가 기존 결과물 위에 쌓지 않고 매번 처음부터 다시 만든다.
8주차 (08-23~08-29) · v5, 입출력의 '정의' 문제
- 작업 폴더 구조를 처음부터 정해 두고, 요청, 결정, 실수를 기록하는 원장을 만들었습니다.
- 단계마다 무엇을 읽고 무엇을 내야 하는지 정의했고, 읽었는지 검사하는 훅을 걸었습니다.
- 한계: 훅은 "읽은 흔적"만 볼 수 있었습니다. 정말 이어받았는지는 검사하지 못했습니다.
9주차 (08-30~09-05) · v6, 입출력의 '실행' 문제
- 시장 조사를 포함한 디스커버리 단계를 넣어 판단 기준을 먼저 세우게 했습니다. 목표 하나를 주면 끝까지 미는 실행 모드(/goal)가 여기서 나왔습니다.
- 하네스 전체를 점검했더니 결론은 두 줄이었습니다. 입력을 정의했는데 잘 안 읽는다. 출력을 내고 나서 확인을 안 한다.
- 사고: 구멍이 보일 때마다 검사를 하나씩 만들었더니 5개가 됐습니다. 뿌리는 하나였습니다. "이 문서를 읽는 곳이 어디인지" 목록이 없었습니다. 검사 5개를 목록 하나로 합쳤습니다.
10주차 (09-06~09-12) · v7, 디자인은 코드와 이미지를 함께 읽힌다
- 정보 구조(IA), 화면 목록, 사용자 흐름, 화면 캡처를 도입했습니다. 이때부터 기존 결과물 위에서 작업하는 느낌이 들기 시작했습니다.
- 알게 된 것: 일을 맡길 때 제가 나눈 대화는 하위 에이전트에게 자동으로 넘어가지 않습니다. 프롬프트에 옮겨 적은 글자만 건너갑니다.
- Grok을 추가했습니다. 그런데 Grok에서는 훅 63개 중 40개가 작동하지 않았고, 입력 형식을 맞춰 주는 어댑터를 만들었습니다.
이 구간에서 배운 것: 규칙을 적는 것과 규칙이 지켜지는 것은 다른 문제입니다. 적은 규칙은 매번 읽히는 자리에 꽂아야 합니다.
이 절, 어떠셨어요?
최근 의견
집계 전
1113주차: 범위를 넓힌 시기 (v8v10)
11주차 (09-13~09-19) · v8, 목표 실행 대실패
- 브라우저 프로필을 사업별로 나눴습니다(Chrome for Testing, CDP 엔드포인트별 프로필 분리).
- 밖에서도 Claude와 Codex를 원격으로 조종하기 시작했습니다.
- 크게 실패했습니다. 목표 기준을 "배포"가 아니라 "파이프라인 완료"로 잡아서, Codex 주간 한도 약 4주치를 하루이틀에 써 버렸습니다. 자원은 다 썼는데 배포물은 없었습니다.
12주차 (09-20~09-26) · v9, AI 모델 수준으로 들어감
- 토큰을 아꼈습니다. 상태 표시줄로 사용량을 보이게 하고, 서브에이전트를 매번 새로 띄우지 않고 이어 쓰게 했습니다. 새로 띄울 때 문서를 처음부터 다시 읽는 비용이 주간 사용량의 20%p였습니다.
- AI 생태계를 층으로 이해했습니다. GPU 인프라, 관리형 추론, 모델 제공사, 모델을 묶어 파는 중개 서비스, 그 위의 생성형 AI 앱.
- 사고: 하네스를 고쳤다고 4번 보고했는데 4번 다 실제 화면에서는 아니었습니다. 그래서 하네스를 고친 것은 직접 돌려 보기 전까지 기본값을 "미검증"으로 두기로 했습니다.
13주차 (09-27~10-03) · v10, 쓰는 재미가 있는 서비스
- 버전 기록(VERSION, 릴리스 노트)을 의무로 만들었습니다.
- 웹을 모바일 앱으로 옮기기 시작했고, 블로그와 토스 앱인토스, MCP 같은 배포 채널을 넓혔습니다.
- 프로토타입에 모션을 넣기 시작했습니다.
- 사고: 제한시간 없이 기다리는 루프 28개가 쌓여 메모리 36GB를 먹고 맥이 멈췄습니다. 기다리는 루프에는 제한시간을 강제하고, 주인 잃은 프로세스를 30분마다 회수하게 했습니다.
이 구간에서 배운 것: 목표를 "완료"로 두면 에이전트는 완료 표시를 만듭니다. 목표는 사용자가 실제로 쓰는 상태(배포)로 둬야 합니다.
이 절, 어떠셨어요?
최근 의견
집계 전
14주차: 운영 인프라
14주차 (10-04~10-10)
- 로컬 맥: 주인 잃은 프로세스를 정리하고, 스스로 회수하고, 무거운 작업은 대기열에 줄 세웠습니다.
- 온프레미스 서버: 백엔드 VM과 컨테이너(LXC)를 정리했습니다.
- 모니터링 알림 시스템을 온프레미스에 구축했습니다.
- 배치 원칙: 온프레미스에는 백엔드와 모니터링만 두고, 프론트와 DB는 외부 무료 서비스로 옮겼습니다. 맥에서 세션 10~20개를 돌리면 CPU와 메모리가 모자라서, 남는 서버 코어로 작업을 나눴습니다.
이 절, 어떠셨어요?
최근 의견
집계 전
15~17주차: 개선이 아니라 문제가 보인 주
이 3주는 버전 번호를 붙이지 않았습니다. 커밋은 723건이었지만, "이걸 고쳤다"고 확정할 것이 없었습니다.
15주차 (10-11~10-17)
- 답답한 주였습니다. 사고는 이 주에만 11건이 기록됐습니다. 대표적인 것: 서버 함수가 0개인 미니앱을 "완료"로 보고, 있는 자격증명을 "없다"고 보고, 커밋만 보고 "반영 안 된 것 없다"고 보고.
16주차 (10-18~10-24), 문제 인식
- 에이전트가 쓰는 한국어 문장이 어색했습니다. 영어를 의역한 듯한 문장인데, 하네스에는 형식 검사만 있고 문장을 잘 쓰는지는 보지 않았습니다. 한국 서비스를 벤치마킹하되 번역하지 말아야 한다는 걸 알았습니다.
- 상세페이지 품질도 나빴습니다.
- 도입한 것: 승인 창 없이 에이전트를 돌리는 Bypass 모드. 대신 되돌릴 수 없는 행동(결제, 이름 변경, 심사 제출)은 따로 막아야 했습니다.
17주차 (10-25~10-31), 문제 인식
- 목표 실행 모드를 2~4회차 다시 돌렸는데 또 실패했습니다. 11주차와 같은 모양입니다. 자원은 들어가는데 결과물이 안 나옵니다.
- 에이전트가 문제를 주먹구구로 푸는 태도가 보였습니다. 문제 하나마다 훅을 하나씩 덧대는 식입니다. 9주차에 이미 금지한 모양이 다시 나왔습니다.
- 도입한 것: 떠오른 아이디어를 원격으로 바로 작업 세션에 넘기기. Claude Code가 거부하던 결제 작업을 다른 브라우저(Aside)로 처리하기.
이 구간을 솔직하게 보면: 개선이 없었던 게 아닙니다. 사고 하나에 장치 하나를 붙이는 속도가, 실제로 나아졌다고 확정하는 속도보다 빨랐습니다. 그리고 만든 장치 대부분이 다음 사고를 실제로 막았는지는 아직 측정하지 못했습니다.
이 절, 어떠셨어요?
최근 의견
집계 전
17주 뒤에 남은 것
- "됐다"는 직접 눌러 보기 전까지 안 된 것입니다. 사고의 절반 이상이 같은 뿌리였습니다. 파일이 있다, 캡처가 있다, 커밋했다, 아마 될 것이다를 "됐다"로 보고한 것.
- 증거를 강제하면 증거 만드는 데 자원이 갑니다. 목표 실행을 돌려 보니 토큰 대부분이 결과물이 아니라 증거를 만드는 데 쓰였고, 개발 QA를 로컬이 아니라 CI에서 하다가 며칠을 쓰기도 했습니다. 검사는 많을수록 좋은 게 아니라 제자리에 있어야 합니다.
- 잘 베끼는 것이 실력입니다. 문장이든 상세페이지든, 결국 품질을 올린 건 좋은 레퍼런스를 찾아서 적재적소에 읽히고 평가하는 일이었습니다.
- 에이전트가 98%를 해도 남는 2%가 판을 뒤집습니다. 에이전트가 "안 된다"고 할 때 다른 길(확장 프로그램, CDP, Playwright, 다른 브라우저)을 찾을 수 있는 건 컴퓨터공학과 서비스 전체 주기를 아는 사람입니다. 공부는 계속해야 합니다.
- 결국 남은 일은 시스템 디자인입니다. 지금 저는 코드도 하네스 문서도 다 읽지 못합니다. 하는 일은 "어떻게 하면 믿을 수 있고 창의적인 에이전트 작업을, 사람 머리를 포함한 자원을 덜 쓰면서 돌릴까"를 설계하는 것입니다.
이 절, 어떠셨어요?
최근 의견
집계 전
아직 못 푼 것
- 목표 실행 모드의 같은 실패가 두 번(11주차, 17주차) 났습니다. 다음 개선이 확정되면 그때 v11로 적겠습니다.
- 장치를 만든 기록은 있는데, 그 장치가 사고를 줄였는지는 대부분 측정하지 못했습니다.
- 18주차(11월)부터는 지금 기록하고 있습니다. 확정되면 이 글에 이어서 붙입니다.
ZERO-ONE은 웹과 앱으로 돈을 벌고 싶은데 어디서 시작할지 모르는 분들과 함께 만드는 IT 교육과 외주 팀입니다. 이 글의 하네스로 실제 서비스를 만들고 운영합니다.
이 절, 어떠셨어요?
최근 의견
집계 전