侃瑞科技Kanrays AI

什麼是上下文?

我說過的話,AI 都看得到嗎?

聊天記錄還在畫面上,不代表 AI 這次回答時,拿到了裡面的每一句話。

先看這次拿到了什麼

你問的問題、前面的對話、附件或工具找到的資料,都可能放進這次回答要參考的內容。這些內容合起來,叫做「上下文」。

下面有兩張已保存的卡片。先只給回答偏好,再勾選公告,看看答案怎麼變。

哪些資料交給這次回答?選卡示意
你保存的兩張資料卡
AI 這次拿到的內容
  • 提問:今天幾點關門?
  • 偏好:簡短回答
根據勾選的資料回答

目前無法確認,還缺今天的公告。

勾選只是教學示意,用來表示「哪些資料有交給這次回答」,不是產品的實際設定畫面。

一次能參考的內容,有上限

把它想成一張工作桌:資料可以存很多,但這次放到桌上的是其中一部分。「上下文視窗」就是模型一次能容納的資訊範圍,通常以 token 計算。

這次的工作桌,只擺得下有限內容

指令

這次要怎麼回答

對話

這次帶入的聊天內容

資料

附件與工具結果

回答

也要保留產生空間

工作桌是概念比喻,區塊大小不代表實際 token 比例。儲存過的資料,不一定每次都放進來。

對話越長,產品就可能挑出相關內容,或先整理成較短的筆記。

直接讀圖解結果,也分清楚「記憶」

只給回答偏好,仍不知道今天的關門時間;加入公告,才有下午五點的依據。取消勾選不會刪除卡片。

跨對話記憶可以保存某些偏好或資訊,再於需要時帶回,但要看產品與設定。資料保存在某處、這次有沒有用到,是兩回事。即使有用到,模型也可能漏看或答錯。

資料來源