Anthropic 엔지니어링 책임자가 말하는 큰 과제를 AI에 맡기는 법: 결과를 판단하고 과정은 통제하지 않는다
한 줄 요약: 단계마다 직접 지켜보기보다 큰 과제 전체를 Claude에게 맡기고 결과물로 검수하는 편이 낫다. 범용 모델은 이미 충분히 강력하고, 정작 부족한 것은 명확한 성공 기준과 다른 Claude가 오류를 찾아내고 judge가 이를 검증하는 점검 체계이기 때문이다.
핵심 포인트
- Claude를 챗봇이 아닌 전문가로 대한다. 요약이나 역할극에 그치지 않고 전문가의 작업 방식을 따라 하게 하고 Blender 같은 전문 도구를 쓰게 한다.
- AI가 자신 있게 틀리는 것을 막으려면 여러 Claude에게 오류 찾기를 맡기고(더 약한 모델도 가능), 다른 judge가 그 비판을 검증하게 한 뒤 유효한 피드백만 원래 Claude에게 돌려준다. 단일 세션의 자체 평가는 믿지 않는다.
- '좋은 결과물'의 기준을 분명히 말할 수 있다면 도급업자나 의사를 대할 때처럼 결과만 본다. 기준이 불분명할 때에만 AI와 토큰을 더 투입해 점검하며, 모든 단계를 이해해야 하는 프로젝트는 소수의 중요한 것뿐이다.
- 에이전트와 skill을 겹겹이 쌓는 것보다 범용 모델이 낫다. 도구를 제공하고 데이터를 분명히 설명해 모델이 스스로 판단하게 한다. Claude의 입장에서 원본 데이터와 컴퓨터 권한을 주는 편이 사람이 데이터를 옮겨 주는 것보다 가치 있다.
- 가장 큰 한계는 무엇이 가능하다고 믿는가이다. AI 제품은 아직 '프리 아이폰 시대'에 있어 오늘의 조언이 약 10주 뒤에는 바뀔 수 있으므로 새로운 시도를 계속해야 한다.
구간별 요약
0:00오프닝 예고와 진행자 팀 소개
오프닝에서 Felix Rieseberg가 약 일주일 반 만에 Claude Cowork를 만들었고 지금은 코드를 쓰지 않는다고 예고한다. 진행자 Marina Mogilko는 35명으로 구성된 자기 팀이 모두 Claude 프로젝트로 일하며 AI로 뉴스레터와 LinkedIn을 운영한다고 소개한다.
▶ 여기서부터 보기1:18Claude를 만드는 즐거움: 예측할 수 없는 쓰임새
Felix는 과거에 만들었던 Slack과 비교한다. 예전에는 제품의 용도를 대체로 알았지만, Claude는 사용자가 불가능하다고 여겼던 일을 해내는 데 쓰이는 경우가 많다. 제품을 만드는 사람에게는 이것이 가장 큰 즐거움이다.
▶ 여기서부터 보기2:08대담한 활용: NASA 데이터로 새 행성 찾기
제품 매니저 Pavel은 Claude에게 방대한 NASA 데이터를 분석하게 해 새 행성을 하나 찾았으며, 아직 NASA의 확인을 기다리고 있다. Felix는 일상적인 데이터 분석을 공개된 모든 우주 데이터에 적용하는 것은 대부분이 생각해 보지 못한 활용이라고 지적한다.
▶ 여기서부터 보기
3:04코드를 쓰지 않는 하루와 좋은 제품의 기준
Felix는 지금 PM, 엔지니어링 책임자, 데이터 과학자를 겸하며 매일 대부분 프로토타입을 만든다. AI 덕분에 개발 비용은 더 이상 최우선 고려 사항이 아니다. 그는 좋은 제품은 버튼이 더 적고, 사용자가 금방 익히며, 예전에는 할 수 없던 일까지 할 수 있게 해 준다고 본다.
▶ 여기서부터 보기5:46자동화와 증강의 차이
Felix는 현재는 자동화가 가장 큰 경제적 가치를 낳지만, 사람이 원래 할 수 없던 일을 하도록 AI가 돕는 증강을 더 중요하게 본다. 핵심은 업무 흐름과 '좋음'의 정의를 다시 생각하는 것이다. 그는 날씨를 예로 들어, 믿을 만한 과정이 어쩌다 찍어서 맞힌 답보다 낫다고 말한다.
▶ 여기서부터 보기8:08전문가의 방식과 전문 도구를 따라 하기
작가 Adam Davidson은 Claude로 논지를 확장하고 가장 강력한 반박을 찾아낸다. Felix는 비결이 Claude가 전문가의 작업 방식을 따라 하게 하는 것이라고 본다. Opus 5.5가 3D 분야에서 돌파구를 연 열쇠도 Blender 같은 전문 도구를 쓰게 한 것이다.
▶ 여기서부터 보기
12:23적대적 검토와 judge 검증 체계
AI가 자신 있게 틀리는 것을 막기 위해 Felix는 여러 Claude에게 오류 찾기를 맡기라고 권하며, 오류 찾기에는 더 약한 모델을 써도 된다. 그는 멀티스레드로 블로그 글을 검토하고, 별도의 judge를 두어 비판을 검증한 뒤 유효한 피드백을 원래 Claude에게 돌려주는 모습을 시연한다.
▶ 여기서부터 보기16:07결과를 판단하고 과정은 통제하지 않는다
Felix는 Blender를 써 본 적이 없지만 AI로 3D 소재를 만들어 냈다. 그는 좋은 결과물의 기준이 분명하다면 도급업자나 의사를 대할 때처럼 결과만 보면 된다고 말한다. 기준이 불분명하면 AI와 토큰을 더 투입해 점검한다. 모든 단계를 이해해야 하는 중요한 프로젝트는 소수뿐이다.
▶ 여기서부터 보기
16:58에이전트와 skill보다 범용 모델
Felix는 팩트체크를 단일 대화 스레드로만 하며, 범용 모델이 이미 훌륭한 제너럴리스트이기 때문에 업계가 에이전트에 지나치게 열광한다고 본다. 그는 도구를 제공하고 데이터를 분명히 기록해 두어 모델이 스스로 판단해 호출하게 하라고 주장한다. skill은 반감기가 매우 짧아 오히려 없애면 효과가 더 좋을 때도 있다.
▶ 여기서부터 보기22:10사용자 경험 대신 모델 경험
Felix는 자신이 Claude라면 무엇을 원할지, 곧 원본 데이터와 컴퓨터 권한을 원할 것이라고 상상해 보라고 권한다. crash를 고치는 사례에서 그는 사람이 데이터를 옮기던 방식에서 Claude가 직접 가져다 쓰게 하는 방식으로 바꿨고, 초기 투입은 더 크지만 그만한 가치가 있었다.
▶ 여기서부터 보기23:39입문자를 위한 시작법: Claude 데스크톱 버전부터
Felix는 입문자가 먼저 Claude 데스크톱 버전을 내려받아 내장 브라우저로 Claude가 컴퓨터를 조작하게 하고, 흐름이 잘 작동하는지 확인한 뒤에 connector를 고려하라고 권한다. 그는 역할이 아닌 프로젝트별로만 구분하며, 역할극이 아니라 최고 수준 전문가의 도구를 쓰도록 Claude에게 요구한다.
▶ 여기서부터 보기26:12피드백 루프와 AI에 대한 신뢰 쌓기
Felix는 단일 세션의 자체 평가를 믿지 않고 외부 증거나 다른 Claude의 검증을 선호한다. 그는 모든 피드백을 먼저 모은 뒤 원칙으로 압축해 암묵적 규칙을 찾아내라고 권한다. 자신의 피드백과 Claude의 피드백을 나란히 비교하며 차츰 신뢰를 쌓을 수도 있다.
▶ 여기서부터 보기
31:32AI 시대의 창업 비용과 제품에 대한 공감
Marina는 2015년에 창업하며 막대한 자원을 쏟았던 일을 떠올린다. Felix는 초기 자본이 크게 줄어 한두 명으로도 10억 달러 규모의 회사를 만들 수 있게 됐지만, 좋은 제품의 핵심은 여전히 사용자에 대한 공감이라고 지적한다. 또 vibe coding은 아무도 쓰고 싶어 하지 않는 형편없는 소프트웨어를 도태시킬 것이라고 본다.
▶ 여기서부터 보기34:59낡은 소프트웨어 속 창업 기회
Felix는 공항과 호텔 카운터에서 여전히 투박하고 낡은 소프트웨어가 돌아가고 있으며, 이것이 아직 개발되지 않은 기회라고 지적한다. 실행 비용은 이미 매우 낮아졌고, 산업의 필요를 이해하는 것과 공감이 관건이다. MBA가 오히려 반격의 기회를 맞을 수도 있다.
▶ 여기서부터 보기37:36능력 과잉과 응용 계층의 공백
노벨 경제학상 수상자의 '응용 계층이 부족하다'는 견해에 대해 Felix는 모델의 능력과 일반적인 사용법 사이에 능력 과잉이 존재한다는 데 동의한다. 그는 기존의 제약을 내려놓고 원하는 결과를 곧바로 Claude에게 맡기라고 권하며, 한계에 부딪힌다면 이미 최전선에 섰다는 뜻이라고 말한다.
▶ 여기서부터 보기39:44엔지니어의 정체성 위기와 채용 기준
Felix는 API를 외우고 있는 것의 가치는 떨어졌으며 엔지니어는 사용자에 대한 영향력으로 평가받아야 하고, 서로 다른 시스템의 기능을 영리하게 통합하는 능력도 더 가치 있어졌다고 본다. 채용할 때 그는 학력이 아닌 실제 작업물을 본다. 반면 Marina는 인맥과 영상 조회수를 중시한다.
▶ 여기서부터 보기43:50워털루 대학의 인재 양성 방식
Felix는 워털루 대학이 학생들을 Tesla, Google, Apple 등 여러 회사에서 인턴으로 일하게 하는 방식을 높이 평가한다. 학생들은 기업이 어떻게 돌아가는지, 아이디어에 자원을 어떻게 끌어오는지, 법무팀을 어떻게 설득하는지를 배우므로 이런 엔지니어는 입사하자마자 거의 바로 일할 수 있고, 회사 경험이 없는 순수 CS 박사보다 빠르다. 그는 딸이 나중에 코딩을 배우고 싶어 하면 기업이 어떻게 움직이는지, 사람들이 어떻게 협업하는지, 어디서 가치를 찾는지를 아주 일찍부터 이해하라고 권하겠다고 말한다.
▶ 여기서부터 보기
46:23지수적 성장과 '프리 아이폰 시대'
Felix는 가장 큰 한계가 무엇이 가능하다고 믿는가라고 본다. 업계는 AI의 지수적 성장을 과소평가했고, 오늘날의 AI 제품은 아직 프리 아이폰 시대에 있다. 오늘의 조언이 약 10주 뒤에는 바뀔 수 있으므로 새로운 시도를 계속해야 한다.
▶ 여기서부터 보기