侃瑞科技Kanrays AI

什麼是上下文壓縮?

聊很久,前面的細節還在嗎?

討論很久以後,你可能把前面的內容寫成幾行重點,方便接著做。有些 AI 產品也會用類似方式處理長對話。

把長對話,整理成較短的內容

AI 這次回答能參考的內容,叫做「上下文」。它能容納的量有限,所以有些產品會縮短舊內容,留空間繼續工作,這叫「上下文壓縮」。寫成摘要,也就是簡短重點,是其中一種做法。

同一個問題,手上的資料變了摘要示意

你問:下午四點四十分,還能進去嗎?

原文仍保留著

閱覽室今天下午五點閉館,下午四點半後停止入場。

檔案還在,不代表每次都會讀到全文。

AI 這次拿到的內容

閱覽室今天下午五點閉館,下午四點半後停止入場。

包含閉館時間,也包含入場限制。
依這份資料,可以怎麼回答

不能。今天四點半後停止入場,四點四十分已經超過。

原文同時有閉館與停止入場的時間,這次回答有完整依據。

原文都在。原文同時有閉館與停止入場的時間,這次回答有完整依據。 不能。今天四點半後停止入場,四點四十分已經超過。

這是刻意讓第二份摘要漏掉一句的示例,不是產品實測。用來說明可能遺漏什麼,不代表每次壓縮都會變差。

不是每聊一輪,就壓縮一次

要看累積了多少內容,以及產品與設定。工作很長時,內容可能再次累積、再次整理;沒有所有產品通用的固定輪數。

漏了細節,就把原文帶回來

重要日期、數字和已確認的安排,另存一份容易找到的文件。繼續修改前,貼上必要原文,或請工具重讀最新檔案。

回答漏掉條件,不一定是壓縮造成的。先補回那段資料、指出要保留什麼,比猜原因更能幫你接著做。

不用操作,直接讀四個階段

同一個問題:下午四點四十分,還能進去嗎?

原文都在
這次的資料:閱覽室今天下午五點閉館,下午四點半後停止入場。
可以這樣回答:不能。今天四點半後停止入場,四點四十分已經超過。
第一次摘要
這次的資料:今天五點閉館,四點半後不再入場。
可以這樣回答:不能。今天四點半後停止入場,四點四十分已經超過。
再次摘要
這次的資料:今天五點閉館。
可以這樣回答:這份摘要沒有最後入場時間,還不能確定,得再看原文。
補回原文
這次的資料:閱覽室今天下午五點閉館,下午四點半後停止入場。
可以這樣回答:不能。今天四點半後停止入場,四點四十分已經超過。
所有產品都寫成這種摘要嗎?

不一定。Claude Code 會用摘要整理長對話;OpenAI 的 Responses API 壓縮結果則可以是人無法直接閱讀的形式。這張圖只用容易讀懂的摘要來說明概念。

資料來源