設計有來源依據的生成式人工智能起草流程

有來源依據的生成式人工智能起草，核心不是寫出一條更精巧的提示，而是建立一條可檢查的工作鏈，把獲批來源、證據卡、生成文稿、審核決定、最終批核及關鍵修訂保存為不同紀錄。假設一份試行摘要寫着「試行已證明流程可為分析員節省時間」，但證據只顯示少量自願參與者在指定試行工作中縮短了初稿準備時間，這句流暢文字已越過來源容許的結論。真正的控制點，是在起草前劃清證據邊界，並讓每項重要說法在發布前都可被追查、質疑和改正。

開始起草前要先決定甚麼？

開始起草前，團隊須先決定文件要支援甚麼行動、錯誤會帶來甚麼後果，以及誰有權接受成品。資料包至少應列明目的、讀者、限期、負責人、輸出格式、最終決定、獲准工具和資訊邊界，再附上來源登記冊、證據卡格式、審核路線及按風險設定的留痕規則。NIST 的 AI RMF 提出應記錄人工智能的知識限制、預定應用範圍、輸出監督及人機責任分工；這為起草資料包先界定准許用途和人員決策權提供依據。

• 文件目的、目標讀者、截止時間及要支援的決定或行動
• 出錯後果、具名文件負責人及最終批核人
• 獲批工具、可輸入的資訊類別及禁止輸入的資料
• 獲批來源登記冊和每項來源的使用範圍
• 證據卡欄位、輸出範本及可撰寫的內容類別
• 禁止推論、缺乏證據時使用的明確標記
• 證據、編輯、專責風險及發布的審核路線
• 哪些輸入、輸出和修改須按機構政策保存

資料包還要說明模型可以寫決策背景、已獲支持的觀察、未解風險、選項或建議中的哪些部分，以及何種推論一律不可加入。文件負責人應把模型輸出視作待審草稿，而非可直接採用的業務文件。來源集合即使已獲批，也只是一道受控邊界；來源是否完整、正確、最新、適合當前用途，以及機構是否有權使用，仍須由相應負責人按實際情況判斷。

獲批來源怎樣變成可用證據？

獲批來源要先變成可獨立核對的登記紀錄和證據卡，才適合交給模型起草。NIST《生成式人工智能概覽》建議記錄系統對上游資料來源的依賴，並在不同生命週期階段審視資料的準確性、代表性、相關性和合適程度。實務上，來源審批不應只看文件能否取得，還要考慮權威性、相關性、時效、用途適配、使用權限及已知限制；適用的權限和政策檢查則由機構指定的負責人決定。

• 來源登記冊：穩定編號、擁有人或發布者、版本或日期、相關範圍、審批狀態、存取條件、已知限制和更新觸發條件。
• 證據卡：來源編號、原文或量度、精確位置、可支持的要點、必須保留的限制、准許用途和禁止推論。

以示範證據卡 E-04 為例，來源是試行評估第 3.2 節；它只容許寫成「參與者在指定試行工作中縮短了初稿準備時間」。卡上同時保留小型、自願參與、沒有比較組，以及覆核時間另行記錄等限制，並禁止推算分析員可節省多少百分比時間。這樣，審核者可直接把文稿對回原段，而毋須猜測模型引用了甚麼。NIST 的實驗性研究把權威文件集、附引文的輸出、引文評估和結構化結果連在一起，示範如何把下游說法映射至可信來源。

怎樣防止模型自行填補證據缺口？

要防止模型靜靜補完缺口，團隊須把證據層和讀者看到的文稿分開，並以明確的生成合約限制可用材料和可寫內容。模型可以收到證據卡編號及輸出範本，但每段關鍵文字仍要能回到相應證據卡和原文；證據卡不是文稿素材的散亂附件，而是判斷某項說法能否成立的控制層。缺少依據時，輸出應留下統一而顯眼的標記，例如「[需要證據]」，不得以一般模型知識、供應商宣傳、未經確認的政策解讀或虛構引文代替。

• 只從指定證據卡撰寫決策背景、已獲支持的觀察、風險、選項及建議
• 每項重要說法保留相應證據卡編號，供審核者回查
• 沒有支持時輸出「[需要證據]」，不可推測或隱藏空缺
• 不得加入來源邊界以外的市場數字、供應商說法或政策判斷
• 不得由同一模型單獨核實並批准自己的重要輸出

NIST《生成式人工智能概覽》建議覆核及核實生成輸出的來源和引文，因此引文標籤本身不能證明相鄰說法已獲來源支持。審核者要看的是來源段落是否確實支持該句的主體、範圍、時間、因果關係和限制，而不是頁尾是否出現一條看似可信的連結。若證據不足，正確結果不是把句子修飾得較保守便算完成，而是退回證據負責人補充、收窄或刪除說法。

每部分應由誰審核？

每部分應由能回答相應問題的人審核，而不是把所有責任塞進一句「須有人覆核」。NIST 的 AI RMF 提出，人工智能風險管理的角色、責任、溝通路線、人機分工及監督責任應記錄清楚。對起草流程而言，這表示來源是否獲准、說法是否獲證據支持、文稿是否適合讀者、是否觸發專責風險，以及最終是否可以發布，都是不同決定。小型團隊可以由一人兼任多個角色，但每項問題、結論和升級路線仍要清楚。

• 來源負責人確認獲批來源集合、版本和證據卡是否忠於原文。
• 證據審核者逐項比較重要說法、證據卡及底層段落。
• 編輯改善結構、語氣和讀者適配，但不可靜靜改變證據含義。
• 政策或領域觸發風險時，由相應專責負責人審視指定部分。
• 批核人接受最終建議、附帶條件和剩餘不確定性，並承擔發布決定。

長篇或後果重大的文稿宜把重要句子或分句分成有限單位核對，而非只憑整體印象判斷「大致準確」。LongEval 在兩個長篇摘要研究數據集發現，以分句等較細單位評估可減少標註者分歧；把結果應用於商業起草只是實務推論，並非已普遍量度的成效。自動化工具可協助找出沒有來源、引文錯配或限制遺失的項目，但只能用作分流。NIST 描述的實驗流程會按可信材料評估引文並保存連結證據的結構化結果；它是評估研究，不是成熟標準，也不能取代具問責性的人工批核。

真正有依據的文稿，不只列出來源；它讓每項重要說法都可被追查、質疑、改正和知情批核。

哪些修改必須留下明確紀錄？

凡修改會改變事實含義、解讀、建議、承諾、責任、風險處理、來源基礎或批核狀態，便應留下明確紀錄；普通用字、標點和格式調整可保留在一般版本紀錄內，除非機構政策另有要求。NIST《生成式人工智能概覽》指出，來源追溯資料可包括建立者、日期、修改和來源，並建議連同相關資料保存內容變更紀錄。這項門檻的目的不是記下每一次按鍵，而是令會影響決定或問責的改動可以重建。

• 修改前及修改後的文字
• 修改原因和所修正的風險
• 受影響的證據卡、原文或來源版本
• 提出及核對修改的人員
• 接受修改的批核人
• 作出決定的日期和時間
• 修改有否改變原有批核狀態

在試行例子中，「試行已證明流程可為分析員節省時間」須改為「在指定試行工作中，參與者縮短了初稿準備時間；小型、自願參與的樣本並不能確定分析員工作的效果」。紀錄應說明這次修改移除了沒有支持的因果及整體推論，把句子重新對應至 E-04，並保留樣本限制。至於提示、輸入、草稿、輸出和修訂紀錄要保存哪些、保存多久，應按業務需要及適用的資訊管治、保安、私隱、合約和檔案政策決定，不能假設所有機構都要保留一切。

摘要、報告和日常訊息應如何調整控制？

不同文件應保留同一套來源、生成、審核、批核和留痕邏輯，但控制力度要按用途及出錯後果調整。決策摘要着重決定人、選項、建議和剩餘不確定性；分析報告要額外交代問題、方法、日期、排除項目和替代解讀；日常訊息則可使用已核准的事實、日期、姓名、連結和固定文字，再由發件人覆核。文件篇幅不是唯一尺度：一則建立合約承諾或政策例外的短訊，可能比一份低風險長稿需要更深入審視。

比例原則不等於省略基本邊界。即使只是日常電郵，團隊仍須使用合適工具，不應把機密、個人、享有特權、受限制或受合約保障的資料輸入未獲准服務；發件人亦要核實名稱、日期、連結、要求和承諾。相反，長篇內部背景稿若不會驅動重要決定，未必需要逐句專責覆核。先判斷內容會觸發甚麼行動、誰會依賴它，以及錯誤是否難以逆轉，再選擇審核深度和紀錄範圍。

來源和工作改變後，流程怎樣保持可靠？

流程要持續可靠，必須把來源更新、成品抽查、修正分析和例外處理納入日常運作，而不是只在首次設計時做一次。NIST《生成式人工智能概覽》建議界定內容來源追溯的定期覆核責任，並記錄人員監督角色，支持由具名負責人管理來源更新和覆核。當事實、版本、相關性、使用權限或機構審批狀態改變，來源負責人便應重新檢視登記紀錄、證據卡和受影響的範本。

• 抽查已完成資料包，確認重要說法仍可追溯至正確版本。
• 檢查限制有否在編輯和批核之間消失，應有的專責覆核是否完成。
• 核對關鍵修訂和例外決定是否有足夠紀錄及具名負責人。
• 把反覆出現的錯誤分類，判斷應修改證據卡、輸出範本還是生成邊界。

若有人提出邊界以外的來源，或文稿觸發政策、敏感資料、權限、合約或專責判斷問題，應先暫停受影響部分，交由資料包內指定的負責人處理。負責人須記錄准許、拒絕、替換或收窄來源的決定；只有在來源集合或例外獲明確解決後，起草和發布才可恢復。相同的無支持推論若持續重現，優先修訂證據卡、輸出結構或生成合約，而不是一味增加末端審核人手。

可先選一種經常重複、風險可管理的文件，把來源邊界、審核決定、例外路線和關鍵修訂規則做成人人看得見的資料包，再按抽查結果改良。工作涉及敏感資訊、權限不明、受規管陳述、合約承諾、專業判斷或保存責任時，應交由機構相應的資訊管治、私隱、保安、法律、檔案、政策或領域負責人決定適用要求；起草模型不得代替他們作出判斷。