Anthropic 工程主管談把大任務交給 AI:判斷成果,不必掌控過程

一句話重點:與其親自盯著每個步驟,不如把整個大任務交給 Claude 並用成果驗收,因為通用模型已經夠強,真正缺的是清楚的成功標準,以及讓另一個 Claude 挑錯、再由 judge 驗證的把關機制。

關鍵觀點

  • 把 Claude 當專業者而不是聊天機器人:讓它模仿專業人士的流程、使用 Blender 這類專業工具,而不是只做摘要或角色扮演。
  • 防止 AI 自信地出錯:派多個 Claude 專門挑錯(可用較弱的模型),再由另一個 judge 驗證批評,只把有效回饋交回原本的 Claude;不要相信單一 session 的自我評判。
  • 只要能說清楚「好成果」的標準,就像對待承包商或醫生一樣只看結果;標準不清楚時,才多投入 AI 與 token 把關,只有少數重要專案需要弄懂每一步。
  • 通才模型勝過堆疊代理人與 skills:提供工具並把資料交代清楚,讓模型自己判斷;站在 Claude 的角度給它原始資料與電腦權限,比人工搬運資料更值得。
  • 最大的限制是人們相信什麼可行:AI 產品仍處在「前 iPhone 時代」,今天的建議約 10 週後可能就要改版,所以要持續嘗試新事物。
Silicon Valley Girl片長 49:23
▶ 到 YouTube 看原影片

分段摘要

  1. 0:00開場預告與主持人團隊介紹

    開場預告 Felix Rieseberg 約一週半打造出 Claude Cowork,如今已不寫程式。主持人 Marina Mogilko 介紹她的 35 人團隊都用 Claude 專案工作,並靠 AI 經營電子報與 LinkedIn。

    ▶ 從這裡看
  2. 1:18打造 Claude 的樂趣:無法預料的用途

    Felix 拿過去做的 Slack 來比較:以前大致知道產品的用途,Claude 卻常被使用者拿去完成他原以為不可能的事。對打造產品的人來說,這是最大的樂趣。

    ▶ 從這裡看
  3. 2:08大膽用法:用 NASA 資料找新行星

    產品經理 Pavel 讓 Claude 分析大量 NASA 資料,找到一顆新行星,目前仍待 NASA 確認。Felix 指出,把日常的資料分析套用到所有公開太空資料上,是多數人沒想過的用法。

    ▶ 從這裡看
    投影片:大膽用法:用 NASA 資料找新行星
  4. 3:04不寫程式的一天與好產品的標準

    Felix 現在身兼 PM、工程主管與資料科學家,每天多半在做原型。AI 讓開發成本不再是首要考量。他認為好產品的按鈕更少,使用者能很快上手,還能做到以前做不到的事。

    ▶ 從這裡看
  5. 5:46自動化與增強的差別

    Felix 認為目前自動化帶來最多經濟價值,但他更看重 AI 增強人做原本做不到的事。關鍵在重新思考工作流程與「好」的定義。他用天氣當例子:可靠的過程勝過瞎猜答對。

    ▶ 從這裡看
  6. 8:08模仿專業流程與專業工具

    作家 Adam Davidson 用 Claude 放大論點、找出最強的反駁。Felix 認為秘訣是讓 Claude 模仿專業者的流程。Opus 5.5 在 3D 方面的突破,關鍵也在於讓它使用 Blender 等專業工具。

    ▶ 從這裡看
    投影片:模仿專業流程與專業工具
  7. 12:23對抗式審查與 judge 驗證機制

    為了防止 AI 自信地出錯,Felix 建議派多個 Claude 專門挑錯,挑錯可以用較弱的模型。他示範用多執行緒審查部落格文章,再另派 judge 驗證批評,把有效的回饋交回原本的 Claude。

    ▶ 從這裡看
  8. 16:07判斷成果,不必掌控過程

    Felix 沒用過 Blender,卻靠 AI 做出 3D 素材。他認為若清楚好成果的標準,就像面對承包商或醫生一樣只看結果;不清楚時就多投入 AI 和 token 把關。只有少數重要專案需要弄懂每一步。

    ▶ 從這裡看
    投影片:判斷成果,不必掌控過程
  9. 16:58通才模型勝過多代理人與 skills

    Felix 只用單一對話串做事實查核,認為業界過度熱衷代理人,因為通用模型已是優秀通才。他主張提供工具並清楚記錄資料,讓模型自行判斷呼叫;skill 的半衰期很短,有時移除反而效果更好。

    ▶ 從這裡看
  10. 22:10用模型體驗取代使用者體驗

    Felix 建議假想自己是 Claude,思考它會想要原始資料與電腦權限。以修 crash 為例,他從人工搬運資料改成讓 Claude 自行取用,前期投入較高但值得。

    ▶ 從這裡看
  11. 23:39新手入門:從 Claude 桌面版開始

    Felix 建議新手先下載 Claude 桌面版,用內建瀏覽器讓 Claude 操作電腦,確認流程有效後再考慮 connector。他只按專案區分,不分角色,並要求 Claude 使用頂尖專業人士的工具,而不是角色扮演。

    ▶ 從這裡看
  12. 26:12建立回饋迴圈與 AI 信任

    Felix 不信任單一 session 自我評判,偏好外部證據或另一個 Claude 驗證。他建議先彙整所有回饋,再濃縮成原則並找出隱性規則;也可以把自己的回饋和 Claude 的並行對照,逐步建立信任。

    ▶ 從這裡看
    投影片:建立回饋迴圈與 AI 信任
  13. 31:32AI 時代創業成本與產品同理心

    Marina 回憶 2015 年創業時投入大量資源。Felix 指出前期資本大幅降低,一兩人也能打造十億美元公司,但好產品的核心仍是對使用者的同理心;vibe coding 將淘汰沒人想用的爛軟體。

    ▶ 從這裡看
  14. 34:59老舊軟體裡的創業商機

    Felix 指出機場、飯店櫃檯仍在跑笨重的老舊軟體,這是尚未開發的商機。執行成本已極低,理解產業需求與同理心才是關鍵,MBA 甚至可能迎來反撲。

    ▶ 從這裡看
  15. 37:36能力過剩與應用層的缺口

    回應諾貝爾經濟學獎得主「欠缺應用層」的看法,Felix 認同模型能力與一般用法之間存在能力過剩。他建議拋開既有限制,直接把期望的成果交給 Claude,碰到天花板就代表已站上前沿。

    ▶ 從這裡看
  16. 39:44工程師的身分危機與招募標準

    Felix 認為背熟 API 的價值下降,工程師應以對使用者的影響力衡量,巧妙整合不同系統的能力也更有價值。招募時他看實際作品而非學歷;Marina 則重視人脈與影片觀看數。

    ▶ 從這裡看
  17. 43:50滑鐵盧大學的人才培養模式

    Felix 欣賞滑鐵盧大學讓學生在 Tesla、Google、Apple 等多家公司實習,學會企業如何運作、怎麼為想法爭取資源、說服法務,因此這些工程師幾乎一進來就能上手,比沒在公司待過的純 CS 博士更快。他說如果女兒將來想學寫程式,會建議她很早就去理解企業如何運作、人如何協作、怎麼找到價值。

    ▶ 從這裡看
    投影片:滑鐵盧大學的人才培養模式
  18. 46:23指數成長與「前 iPhone 時代」

    Felix 認為最大的限制是人們相信什麼可行。業界低估了 AI 的指數成長,現今的 AI 產品仍處於前 iPhone 時代,今天的建議約 10 週後可能就要改版,因此要持續嘗試新事物。

    ▶ 從這裡看

本頁為影片內容的重點整理,非官方逐字稿。原影片:Anthropic 工程主管談把大任務交給 AI:判斷成果,不必掌控過程(Silicon Valley Girl),著作權屬原作者所有。