什麼是上下文?
我說過的話,AI 都看得到嗎?
聊天記錄還在畫面上,不代表 AI 這次回答時,拿到了裡面的每一句話。
先看這次拿到了什麼
你問的問題、前面的對話、附件或工具找到的資料,都可能放進這次回答要參考的內容。這些內容合起來,叫做「上下文」。
下面有兩張已保存的卡片。先只給回答偏好,再勾選公告,看看答案怎麼變。
哪些資料交給這次回答?選卡示意
AI 這次拿到的內容
- 提問:今天幾點關門?
- 偏好:簡短回答
根據勾選的資料回答
目前無法確認,還缺今天的公告。
勾選只是教學示意,用來表示「哪些資料有交給這次回答」,不是產品的實際設定畫面。
一次能參考的內容,有上限
把它想成一張工作桌:資料可以存很多,但這次放到桌上的是其中一部分。「上下文視窗」就是模型一次能容納的資訊範圍,通常以 token 計算。
這次的工作桌,只擺得下有限內容
指令這次要怎麼回答
對話這次帶入的聊天內容
資料附件與工具結果
回答也要保留產生空間
對話越長,產品就可能挑出相關內容,或先整理成較短的筆記。
直接讀圖解結果,也分清楚「記憶」
只給回答偏好,仍不知道今天的關門時間;加入公告,才有下午五點的依據。取消勾選不會刪除卡片。
跨對話記憶可以保存某些偏好或資訊,再於需要時帶回,但要看產品與設定。資料保存在某處、這次有沒有用到,是兩回事。即使有用到,模型也可能漏看或答錯。