同一句話，為什麼要說 12,000 次？

狀態：技術文章 日期：2026-07-09 作者：Yuta Tu & ALICE 摘要 LLM Agent 在每一輪對話中重複傳送相同的 system prompt，造成 token 浪費與注意力稀釋。我們在 Pi Agent 上實作了一個輕量級的 system prompt deduplication extension，在 12,104 輪對話中達成 93% 的去重複率，累計節省約 2.9 億 tokens。本文提出「compiler-level dead code elimination」與「OS-level garbage collection」的設計哲學對比，主張與其在 token 塞滿後清理，不如一開始就不要塞。 問題：你的 Agent 一直在重複說話 每一次 LLM Agent 呼叫 API，系統提示詞（system prompt）——角色設定、工具清單、技能列表、操作指引、專案上下文——都被原封不動地重新組裝並注入請求中。 這些內容在對話期間幾乎不會變。但它被重複傳送了幾十次、幾百次。 我們以 Pi Agent 上的 ALICE 為測量對象。ALICE 的…