
같은 포켓몬 앱 12번 만들자 AI 청구서가 갈렸다, 2.67달러와 4.97달러는 뭘 말하나
• 핵심: 같은 포켓몬 앱을 12개 프레임워크로 만들게 한 뒤 청구서와 시간, 코드량과 속도를 잰 실험 정리
• 맥락: 느낌이 아닌 측정으로 고르자는 문제의식과 다섯 번씩 돌린 중앙값이라는 방식
• 관점: 가벼운 조합이 앞선 까닭과 작은 앱 1종이라는 한계를 가르는 지점
같은 숙제를 열두 반에 내주면 반마다 점수가 다를까요?
2026년 10월 28일, Nolan Lawson은 Opus 5.5에게 같은 포켓몬 앱을 12개 자바스크립트 조합으로 만들게 했습니다 [1]. 조건은 같았습니다. 같은 명세, 같은 검사, 최신 버전. 다른 건 도구뿐이었죠.
왜 같은 포켓몬 앱을 열두 번 만들었나
출발점은 불만이었습니다. 웹 개발 진영의 선택이 근거 없이 이뤄진다는 지적이죠. 빠르다는 말, 생산적이라는 말이 측정 없이 돌아다녔습니다 [1].
사람이 직접 코드를 짜던 시절에는 좋아하는 손맛이 선택을 이끌었습니다. 가상 DOM이 빠르다는 설명은 그 뒤에 붙은 사후 정당화였을 수 있다는 겁니다. 에이전트가 대신 짜는 시대에도 풍경은 비슷합니다. 에이전트에게 잘 맞는다는 말이 다시 근거 없이 돕니다 [1].
그래서 같은 반찬으로 열두 집 밥상을 차려본 셈입니다. 과제는 PokéAPI의 포켓몬 목록과 타입, 기술과 게임별 정보에 검색과 필터를 갖춘 앱이었습니다 [4]. 작지만 단순하지는 않습니다. 상호작용이 적은 콘텐츠 중심이라 위키백과에 가깝다고 합니다 [1].
각 조합은 다섯 번씩 만들었고 가운데 값을 대표로 골랐습니다. 중앙값은 다섯 번 값을 줄 세워 가운데를 고른 숫자입니다. 극단 한 번에 흔들리지 않는 대표값이라 보면 됩니다. Angular만 두 번 실패해 세 번 기록으로 집계했습니다 [1].
에이전트는 샌드박스에서 일했고 속도 측정이 있다는 걸 몰랐습니다 [1]. 이 조건이 안 보이면 이 실험을 통째로 오독하게 됩니다. 겉치레 CSS 경쟁이 되지 않게 컴포넌트 제품 사용은 막고 디자인 토큰만 줬습니다.
숫자 세 가지가 먼저 말하는 것
토큰은 AI가 읽고 쓰는 말의 조각입니다. 길게 말할수록 요금이 쌓이는 구조죠. 말의 양이 곧 요금이라는 이야기는 100만 번·150ms·100분의 1 비용, 빠른 AI 판단 구조를 해설하다에서도 같은 결을 읽을 수 있습니다.
2026년 10월 실험에서 Opus 5.5는 Hono와 htmx 조합을 중앙값 2.67달러에, Angular를 중앙값 4.97달러에 만들었습니다 [1]. 사이는 약 2.30달러입니다. 커피 한 잔 값이지만 같은 일을 시켰다는 전제가 붙습니다.
| 구분 | 가장 가벼웠던 조합 | 가장 무거웠던 조합 | 읽을 점 |
|---|---|---|---|
| 실행 비용 | Hono와 htmx 2.67달러 | Angular 4.97달러 | 범위는 겹치니 중앙값만으로 줄 세우지 않기 |
| 걸린 시간 | Astro 8.2분 | Angular 17.2분 | 비용 흐름과 대체로 같은 방향 |
| 코드 줄수 | Hono와 htmx 1370줄 | Angular 2009줄 | 짧을수록 뒷수정이 싸진다 |

범위가 겹친다는 대목이 중요합니다. React Router의 가장 싼 실행은 2.82달러라서 Hono와 htmx의 가장 비싼 실행 3.19달러보다 쌌습니다 [1]. 중앙값 1등이 모든 실행의 1등은 아닙니다.
시간과 말의 양도 비슷한 결을 보였습니다. Astro가 8.2분으로 가장 빨랐고 Hono와 htmx가 8.6분으로 뒤를 이었습니다 [1]. 말의 양 중앙값은 Nuxt 385만, Astro 413만, Hono와 htmx 426만이었는데 Angular는 976만이었습니다 [1]. 요금은 Claude Code가 보고한 API 환산이고 실제 지출은 월 100달러 요금제 안이었습니다 [1].
비싸진 지점 세 가지
문서를 모르면 문서를 읽는다
SvelteKit 에이전트는 매번 v3 이전 안내서를 읽었습니다. 새 버전이 학습 시점에 없었을 가능성이 큽니다 [2]. Gracile 쪽은 저장소를 통째로 가져오거나 설치된 파일의 compiled 결과를 뒤졌습니다 [1]. 모르는 도구는 값을 치르고 배우는 셈이죠.
코드가 길면 청구서도 길다
빈 줄을 뺀 코드 줄수 중앙값은 Hono와 htmx 1370줄, Angular 2009줄이었습니다 [1]. Hono 쪽이 Angular의 70% 정도로 같은 일을 해낸 겁니다. 에이전트 시대에는 이 길이가 뒷수정의 요금과 직결됩니다. 고칠 때마다 다시 읽어야 하니까요.
도구는 생각을 정리하는 것이라는 말이 있습니다. Rich Harris가 반응형 다시 생각하기 강연에서 남긴 표현입니다 [1]. 짧다고 무조건 좋은 건 아닙니다. 다만 이번 기록에서는 짧은 쪽이 빠르고 쌌습니다.
준비한 도구가 매번 쓰이지는 않았다
공식 도우미를 차려준 조건이었습니다. Hono 기능 안내는 다섯 번 모두 쓰였고 React Router 안내도 도구와 파일 모두 다섯 번 쓰였습니다 [1]. Svelte 플러그인도 다섯 번 모두 불렀습니다 [1].
반대쪽도 있습니다. Nuxt 도우미는 한 번도 쓰이지 않았고 Next.js 안내 파일은 한 번만 읽혔습니다 [1]. TanStack 쪽은 설치된 파일 속 안내를 두 번만 발견했습니다 [1]. 이 대목이 안 보이면 도구가 성패를 가른다는 오해를 하게 됩니다.
강요하지 않은 것이 포인트입니다. 세게 다그쳐 쓰게 하지 않았으니 평소 손가는 대로가 찍혔습니다 [1]. MCP와 안내문이 오히려 방해일 수 있다는 의심도 적혀 있습니다. 다만 입증된 결론은 아닙니다. 어느 쪽 손을 들어줄지는 독자 몫으로 남겨둡니다.
바닐라 선택지도 눈여겨볼 만합니다. UI 틀이 없는 바닐라 자바스크립트 지시였는데 다섯 번 모두 단일 페이지 앱을 지어 올렸습니다 [1]. 틀이 없다고 항상 싼 건 아니었습니다.
가벼움이 남긴 것과 남기지 않은 것
속도 점수는 천장에 붙었습니다. 접근성은 전부 100점, 성능은 97점에서 100점 사이였습니다 [1]. 누적 레이아웃 이동도 바닐라 0.111 외에는 전부 0이었습니다 [1].
그래서 더 잘게 봤습니다. 주고받은 자바스크립트 양 중앙값은 Astro 0KiB, 바닐라 7KiB, Hono와 htmx 18KiB였습니다 [1]. SvelteKit 36KiB를 지나 Next.js는 142KiB까지 올라갑니다 [1]. 클라이언트 틀이 클수록 짐도 컸습니다.
Lighthouse는 모바일과 데스크톱 중 고를 수 있는데 이번에는 모바일만 돌렸습니다 [3]. 우분투 노트북에 CPU 4배 제한과 느린 4G를 걸고 홈페이지면을 잰 기록입니다 [1].
막힘 시간은 대체로 작았습니다. Astro와 Hono 쪽, SvelteKit과 바닐라는 0ms였고 Nuxt 40ms, Next.js 71ms, Angular 103ms였습니다 [1]. 가장 큰 그리기는 편차가 컸습니다. Astro 810ms와 Hono 쪽 978ms가 빠른 축, TanStack 2028ms와 Next.js 2090ms가 느린 축이었습니다 [1].
포켓몬 그림이 매번 다른 얼굴로 최대 요소에 찍혔다고 해보겠습니다. LCP 측정에서 최대 요소 그림이 실행마다 바뀐 것이 편차의 정체입니다. Next.js는 그림을 미리 띄운 한 번을 빼고 네 번은 뒤늦게 띄워 흔들렸습니다 [1]. 정적에 가까운 글을 빨리 그리는 쪽이 유리한 재는 방식이라 단일 페이지 쪽은 깎일 수밖에 없습니다. 예외는 Qwik으로 단일 페이지인데도 빠른 축에 섰습니다 [1].
청구서 크기와 자랑 크기가 다르다는 기록입니다.
왜 알아두면 좋은가
도구를 고를 때 감이 아니라 같은 숙제로 잰 기록을 보자는 제안입니다. 작은 앱 1종이라 큰 서비스에 그대로 붙이지 말라는 선도 함께 있습니다. 실험 코드와 결과는 깃허브에 공개돼 있어 다시 돌릴 수 있습니다 [5].
- 같은 숙제와 같은 지시로 다섯 번씩 재서 가운데 값을 비교했습니다.
- 가벼운 조합이 청구서와 시간, 코드량에서 앞섰고 결과물도 가벼웠습니다.
- 작은 앱 1종이라 큰 서비스 판단에는 같은 방식의 다른 실험이 필요합니다.
- 한 줄 정리: 감을 잴 수 있게 바꾸는 것이 이 실험이 남긴 생각입니다.
자주 묻는 질문
왜 같은 포켓몬 앱을 12개 방식으로 만들었나요?
같은 과제와 같은 지시로 반복해야 도구 차이가 드러나기 때문입니다. 포켓몬 앱은 검색과 필터가 있는 작은 실물이라 다섯 번씩 돌려 가운데 값을 잴 수 있었습니다. 조건을 고정하니 청구서와 시간, 코드량이 조합별로 갈렸습니다.
비용 차이는 프레임워크 성능 차이와 같은 말인가요?
아닙니다. 청구서는 개발에 든 말과 시간이고 성능은 결과물의 가벼움입니다. 이번에는 가벼운 조합이 둘 다 앞섰지만 작은 앱 1종이라 큰 서비스에 그대로 옮기면 안 됩니다.
가장 싸게 만든 조합과 가장 비싼 조합의 금액 차이는 얼마인가요?
Hono와 htmx 중앙값 2.67달러와 Angular 중앙값 4.97달러라 약 2.30달러 차이입니다. Opus 5.5로 다섯 번씩 돌려 잰 API 환산 가운데 값이라 실행마다 겹치는 구간도 있습니다. 중앙값만으로 모든 실행의 우열을 가리기는 어렵습니다.
실험 앱이 작아서 실제 서비스에는 안 통하지 않나요?
맞는 지적입니다. 그대로 옮기면 안 됩니다. 원문도 위키백과에 가까운 작은 앱 1종이라 밝히고 복잡한 상품에는 다른 실험이 필요하다고 적었습니다. 작은 앱에서 먹힌 가벼움이 큰 앱에서도 통할지는 아직 증거가 없습니다.
MCP나 스킬을 쓰면 AI 개발 비용이 항상 줄어드나요?
항상 그렇지는 않았습니다. Hono 안내는 다섯 번 모두 쓰였지만 Nuxt 도우미는 한 번도 쓰이지 않았고 Next.js 안내 파일도 한 번만 읽혔습니다. 도구를 차려줘도 에이전트가 매번 집어 들지는 않았다는 기록입니다.
함께 보면 좋은 글

참고 자료
- [1] Nolan Lawson 원문 (https://nolanlawson.com/2026/10/28/the-ai-cost-of-javascript-frameworks/)
- [2] SvelteKit 이전 안내서 (https://svelte.dev/docs/kit/migrating-to-sveltekit-3)
- [3] Lighthouse 문서 (https://developer.chrome.com/docs/lighthouse/)
- [4] PokéAPI 문서 (https://pokeapi.co/docs/v2)
- [5] 벤치마크 저장소 (https://github.com/nolanlawson/agent-framework-benchmark)
PalanK 서비스와 함께 더 빠르게
소상공인 AI 자동화 전체 보기 — PalanK AI 솔루션
관련 글
AI 안 쓰면 떠나라던 Proton, 재면접 취소 후 무엇이 남았나
Proton CEO가 전사 규모 AI 활용 재면접을 취소했습니다. 11월 평가 일정과 보안 우선순위 논쟁, 성과평가 반영 논란을 다섯 출처 옆에 붙여 AI에 관심 많은 초보자 눈높이에서 차근차근 정리했습니다.
AI 에이전트 설계, 95% 성공률이 10단계에서 60%로 떨어지는 이유
AI 에이전트의 값은 토큰 단가가 아니라 허용 기준을 통과한 작업당 비용으로 매겨집니다. 단계 성공률 95%가 10단계에서 60%로 떨어지는 이유, 되돌릴 수 없는 행동에 잠금장치를 두는 설계, 모델이 바뀌어도 남는 자산을 15가지 사고 도구로 풀었습니다.
네덜란드 탈윈도우 실험, 바꾸는 건 윈도우가 아니라 통제권이다
네덜란드가 윈도우와 오피스 의존을 끊기 위해 닉스OS 기반 업무 환경 DAWO를 시험합니다. 국제형사재판소 제재를 계기로 운영체제부터 협업과 클라우드까지 묶어 바꾸는 흐름과 8곳 시범과 2027년 목표를 함께 읽습니다.