블로그 목록

같은 포켓몬 앱 12번 만들자 AI 청구서가 갈렸다, 2.67달러와 4.97달러는 뭘 말하나

2026년 11월 1일
같은 포켓몬 앱 12번 만들자 AI 청구서가 갈렸다, 2.67달러와 4.97달러는 뭘 말하나

같은 포켓몬 앱 12번 만들자 AI 청구서가 갈렸다, 2.67달러와 4.97달러는 뭘 말하나

• 핵심: 같은 포켓몬 앱을 12개 프레임워크로 만들게 한 뒤 청구서와 시간, 코드량과 속도를 잰 실험 정리
• 맥락: 느낌이 아닌 측정으로 고르자는 문제의식과 다섯 번씩 돌린 중앙값이라는 방식
• 관점: 가벼운 조합이 앞선 까닭과 작은 앱 1종이라는 한계를 가르는 지점

같은 숙제를 열두 반에 내주면 반마다 점수가 다를까요?

2026년 10월 28일, Nolan Lawson은 Opus 5.5에게 같은 포켓몬 앱을 12개 자바스크립트 조합으로 만들게 했습니다 [1]. 조건은 같았습니다. 같은 명세, 같은 검사, 최신 버전. 다른 건 도구뿐이었죠.

왜 같은 포켓몬 앱을 열두 번 만들었나

출발점은 불만이었습니다. 웹 개발 진영의 선택이 근거 없이 이뤄진다는 지적이죠. 빠르다는 말, 생산적이라는 말이 측정 없이 돌아다녔습니다 [1].

사람이 직접 코드를 짜던 시절에는 좋아하는 손맛이 선택을 이끌었습니다. 가상 DOM이 빠르다는 설명은 그 뒤에 붙은 사후 정당화였을 수 있다는 겁니다. 에이전트가 대신 짜는 시대에도 풍경은 비슷합니다. 에이전트에게 잘 맞는다는 말이 다시 근거 없이 돕니다 [1].

그래서 같은 반찬으로 열두 집 밥상을 차려본 셈입니다. 과제는 PokéAPI의 포켓몬 목록과 타입, 기술과 게임별 정보에 검색과 필터를 갖춘 앱이었습니다 [4]. 작지만 단순하지는 않습니다. 상호작용이 적은 콘텐츠 중심이라 위키백과에 가깝다고 합니다 [1].

각 조합은 다섯 번씩 만들었고 가운데 값을 대표로 골랐습니다. 중앙값은 다섯 번 값을 줄 세워 가운데를 고른 숫자입니다. 극단 한 번에 흔들리지 않는 대표값이라 보면 됩니다. Angular만 두 번 실패해 세 번 기록으로 집계했습니다 [1].

에이전트는 샌드박스에서 일했고 속도 측정이 있다는 걸 몰랐습니다 [1]. 이 조건이 안 보이면 이 실험을 통째로 오독하게 됩니다. 겉치레 CSS 경쟁이 되지 않게 컴포넌트 제품 사용은 막고 디자인 토큰만 줬습니다.

숫자 세 가지가 먼저 말하는 것

토큰은 AI가 읽고 쓰는 말의 조각입니다. 길게 말할수록 요금이 쌓이는 구조죠. 말의 양이 곧 요금이라는 이야기는 100만 번·150ms·100분의 1 비용, 빠른 AI 판단 구조를 해설하다에서도 같은 결을 읽을 수 있습니다.

2026년 10월 실험에서 Opus 5.5는 Hono와 htmx 조합을 중앙값 2.67달러에, Angular를 중앙값 4.97달러에 만들었습니다 [1]. 사이는 약 2.30달러입니다. 커피 한 잔 값이지만 같은 일을 시켰다는 전제가 붙습니다.

구분 가장 가벼웠던 조합 가장 무거웠던 조합 읽을 점
실행 비용 Hono와 htmx 2.67달러 Angular 4.97달러 범위는 겹치니 중앙값만으로 줄 세우지 않기
걸린 시간 Astro 8.2분 Angular 17.2분 비용 흐름과 대체로 같은 방향
코드 줄수 Hono와 htmx 1370줄 Angular 2009줄 짧을수록 뒷수정이 싸진다

숫자 세 가지가 먼저 말하는 것 — 분석 책상 위 차트와 노트를 꼼꼼히 살피는 장면, 핵심·변화 대비

범위가 겹친다는 대목이 중요합니다. React Router의 가장 싼 실행은 2.82달러라서 Hono와 htmx의 가장 비싼 실행 3.19달러보다 쌌습니다 [1]. 중앙값 1등이 모든 실행의 1등은 아닙니다.

시간과 말의 양도 비슷한 결을 보였습니다. Astro가 8.2분으로 가장 빨랐고 Hono와 htmx가 8.6분으로 뒤를 이었습니다 [1]. 말의 양 중앙값은 Nuxt 385만, Astro 413만, Hono와 htmx 426만이었는데 Angular는 976만이었습니다 [1]. 요금은 Claude Code가 보고한 API 환산이고 실제 지출은 월 100달러 요금제 안이었습니다 [1].

비싸진 지점 세 가지

문서를 모르면 문서를 읽는다

SvelteKit 에이전트는 매번 v3 이전 안내서를 읽었습니다. 새 버전이 학습 시점에 없었을 가능성이 큽니다 [2]. Gracile 쪽은 저장소를 통째로 가져오거나 설치된 파일의 compiled 결과를 뒤졌습니다 [1]. 모르는 도구는 값을 치르고 배우는 셈이죠.

코드가 길면 청구서도 길다

빈 줄을 뺀 코드 줄수 중앙값은 Hono와 htmx 1370줄, Angular 2009줄이었습니다 [1]. Hono 쪽이 Angular의 70% 정도로 같은 일을 해낸 겁니다. 에이전트 시대에는 이 길이가 뒷수정의 요금과 직결됩니다. 고칠 때마다 다시 읽어야 하니까요.

도구는 생각을 정리하는 것이라는 말이 있습니다. Rich Harris가 반응형 다시 생각하기 강연에서 남긴 표현입니다 [1]. 짧다고 무조건 좋은 건 아닙니다. 다만 이번 기록에서는 짧은 쪽이 빠르고 쌌습니다.

준비한 도구가 매번 쓰이지는 않았다

공식 도우미를 차려준 조건이었습니다. Hono 기능 안내는 다섯 번 모두 쓰였고 React Router 안내도 도구와 파일 모두 다섯 번 쓰였습니다 [1]. Svelte 플러그인도 다섯 번 모두 불렀습니다 [1].

반대쪽도 있습니다. Nuxt 도우미는 한 번도 쓰이지 않았고 Next.js 안내 파일은 한 번만 읽혔습니다 [1]. TanStack 쪽은 설치된 파일 속 안내를 두 번만 발견했습니다 [1]. 이 대목이 안 보이면 도구가 성패를 가른다는 오해를 하게 됩니다.

강요하지 않은 것이 포인트입니다. 세게 다그쳐 쓰게 하지 않았으니 평소 손가는 대로가 찍혔습니다 [1]. MCP와 안내문이 오히려 방해일 수 있다는 의심도 적혀 있습니다. 다만 입증된 결론은 아닙니다. 어느 쪽 손을 들어줄지는 독자 몫으로 남겨둡니다.

바닐라 선택지도 눈여겨볼 만합니다. UI 틀이 없는 바닐라 자바스크립트 지시였는데 다섯 번 모두 단일 페이지 앱을 지어 올렸습니다 [1]. 틀이 없다고 항상 싼 건 아니었습니다.

가벼움이 남긴 것과 남기지 않은 것

속도 점수는 천장에 붙었습니다. 접근성은 전부 100점, 성능은 97점에서 100점 사이였습니다 [1]. 누적 레이아웃 이동도 바닐라 0.111 외에는 전부 0이었습니다 [1].

그래서 더 잘게 봤습니다. 주고받은 자바스크립트 양 중앙값은 Astro 0KiB, 바닐라 7KiB, Hono와 htmx 18KiB였습니다 [1]. SvelteKit 36KiB를 지나 Next.js는 142KiB까지 올라갑니다 [1]. 클라이언트 틀이 클수록 짐도 컸습니다.

Lighthouse는 모바일과 데스크톱 중 고를 수 있는데 이번에는 모바일만 돌렸습니다 [3]. 우분투 노트북에 CPU 4배 제한과 느린 4G를 걸고 홈페이지면을 잰 기록입니다 [1].

막힘 시간은 대체로 작았습니다. Astro와 Hono 쪽, SvelteKit과 바닐라는 0ms였고 Nuxt 40ms, Next.js 71ms, Angular 103ms였습니다 [1]. 가장 큰 그리기는 편차가 컸습니다. Astro 810ms와 Hono 쪽 978ms가 빠른 축, TanStack 2028ms와 Next.js 2090ms가 느린 축이었습니다 [1].

포켓몬 그림이 매번 다른 얼굴로 최대 요소에 찍혔다고 해보겠습니다. LCP 측정에서 최대 요소 그림이 실행마다 바뀐 것이 편차의 정체입니다. Next.js는 그림을 미리 띄운 한 번을 빼고 네 번은 뒤늦게 띄워 흔들렸습니다 [1]. 정적에 가까운 글을 빨리 그리는 쪽이 유리한 재는 방식이라 단일 페이지 쪽은 깎일 수밖에 없습니다. 예외는 Qwik으로 단일 페이지인데도 빠른 축에 섰습니다 [1].

청구서 크기와 자랑 크기가 다르다는 기록입니다.

왜 알아두면 좋은가

도구를 고를 때 감이 아니라 같은 숙제로 잰 기록을 보자는 제안입니다. 작은 앱 1종이라 큰 서비스에 그대로 붙이지 말라는 선도 함께 있습니다. 실험 코드와 결과는 깃허브에 공개돼 있어 다시 돌릴 수 있습니다 [5].

  • 같은 숙제와 같은 지시로 다섯 번씩 재서 가운데 값을 비교했습니다.
  • 가벼운 조합이 청구서와 시간, 코드량에서 앞섰고 결과물도 가벼웠습니다.
  • 작은 앱 1종이라 큰 서비스 판단에는 같은 방식의 다른 실험이 필요합니다.
  • 한 줄 정리: 감을 잴 수 있게 바꾸는 것이 이 실험이 남긴 생각입니다.

자주 묻는 질문

왜 같은 포켓몬 앱을 12개 방식으로 만들었나요?

같은 과제와 같은 지시로 반복해야 도구 차이가 드러나기 때문입니다. 포켓몬 앱은 검색과 필터가 있는 작은 실물이라 다섯 번씩 돌려 가운데 값을 잴 수 있었습니다. 조건을 고정하니 청구서와 시간, 코드량이 조합별로 갈렸습니다.

비용 차이는 프레임워크 성능 차이와 같은 말인가요?

아닙니다. 청구서는 개발에 든 말과 시간이고 성능은 결과물의 가벼움입니다. 이번에는 가벼운 조합이 둘 다 앞섰지만 작은 앱 1종이라 큰 서비스에 그대로 옮기면 안 됩니다.

가장 싸게 만든 조합과 가장 비싼 조합의 금액 차이는 얼마인가요?

Hono와 htmx 중앙값 2.67달러와 Angular 중앙값 4.97달러라 약 2.30달러 차이입니다. Opus 5.5로 다섯 번씩 돌려 잰 API 환산 가운데 값이라 실행마다 겹치는 구간도 있습니다. 중앙값만으로 모든 실행의 우열을 가리기는 어렵습니다.

실험 앱이 작아서 실제 서비스에는 안 통하지 않나요?

맞는 지적입니다. 그대로 옮기면 안 됩니다. 원문도 위키백과에 가까운 작은 앱 1종이라 밝히고 복잡한 상품에는 다른 실험이 필요하다고 적었습니다. 작은 앱에서 먹힌 가벼움이 큰 앱에서도 통할지는 아직 증거가 없습니다.

MCP나 스킬을 쓰면 AI 개발 비용이 항상 줄어드나요?

항상 그렇지는 않았습니다. Hono 안내는 다섯 번 모두 쓰였지만 Nuxt 도우미는 한 번도 쓰이지 않았고 Next.js 안내 파일도 한 번만 읽혔습니다. 도구를 차려줘도 에이전트가 매번 집어 들지는 않았다는 기록입니다.

함께 보면 좋은 글

같은 포켓몬 앱 12번 만들자 AI 청구서가 갈렸다, 2. — 창가에서 보고서를 읽으며 관점을 정리하는 장면, AI inference

참고 자료

PalanK 서비스와 함께 더 빠르게

소상공인 AI 자동화 전체 보기 — PalanK AI 솔루션

PalanK AI 솔루션 보기