為問責的人工智能計劃提供清晰、以資料來源為本的實用資訊。

人工智能應用個案發掘

提出人工智能用例前,如何先看清真實工作

一套給產品經理、業務分析員與流程負責人的實地研究方法:先界定由觸發至交付的工作範圍,再結合近期個案訪談、情境觀察、工作成品、短期日誌及營運紀錄,分辨主觀困擾與反覆出現的流程制約,保留反證與未知之處,最後比較人工智能、規則、責任重整、流程改善、培訓、改善資料與不介入,決定下一個最小測試。

兩名同事在明亮辦公室的桌旁交接牛皮紙文件夾,桌面放滿個案資料和一本打開的深藍色活頁夾。

同事說客戶迎新簡報做得太慢,這是值得認真處理的研究線索,卻還不是一個人工智能用例;由記憶畫出的流程圖,也不等於真實工作。假如團隊立即設計摘要工具,可能只加快最顯眼的寫作步驟,卻錯過困難個案一直等候商業決定、來源欄位互相矛盾,以及資料補齊後需要重寫的真正制約。較可靠的起點,是界定一段可觀察的工作,查看實際個案及其後果,再判斷人工智能是否比簡單改動更值得測試。

先記住五項判斷

  • 投訴是研究線索,不是已成立的人工智能用例。
  • 先界定真實工作樣本,再選擇足以回答研究問題的證據方法。
  • 訪談、觀察、工作成品、日誌及營運紀錄各自提供不完整但互補的視角。
  • 可信的樽頸假設要交代重現、位置、後果、機制、反證及可行動性。
  • 選定測試前,須用同一批工作證據比較人工智能與非人工智能方案。

觀察工作流程前,必須先界定甚麼?

兩名同事在會議桌上把列印頁和彩色文件夾排成工作流程,並以黑色小箭嘴標示由左至右的先後次序。

開始觀察前,先把工作界定為一段有觸發點、結束條件、產出及下游使用者的流程,並列明參與角色、慣常個案與例外個案。人工智能用例探索應由反覆出現的工作、真實產出、觸發條件、頻率及下游使用者開始;訪談規劃亦應先確定研究問題,以及研究人員需要了解的流程或技術。這個邊界不是永久規格,觀察若揭示重要的上游依賴或後續補救,便要明確修訂。

  • 觸發:甚麼事件令工作正式開始?
  • 完成:甚麼條件代表產出已被接受?
  • 產出:實際交付甚麼,而非系統顯示完成甚麼?
  • 角色:誰準備、判斷、批核、接收及處理例外?
  • 個案組合:哪些屬常規、不完整或範圍改動?
  • 研究問題:今次需要找出位置、原因線索,還是後果?

以客戶迎新簡報為例,可把範圍定為「已批核的銷售交接」至「交付主管接受簡報」,同時納入常規、資料不全及範圍有變的個案。不要預設每次都要做齊五種研究:訪談、觀察、成品、日誌與紀錄的組合是編輯部綜合多種方法而成的實務做法,並非由單一來源驗證的標準程序。應選擇最小而相稱、足以回答問題及補足盲點的組合。

近期個案訪談如何還原實際經過?

男同事指著打開的活頁夾內頁,女同事在筆記簿上記錄,桌面亦放有手提電腦和多張散頁。

近期個案訪談要從一宗已完成的實例開始,按時間次序重建觸發、輸入、行動、判斷、交接、偏離及獲接受的產出。這種訪談聚焦真實例子,以開放、中性的追問重建事件,而不是只收集「通常怎樣做」的一般描述。員工提出的困擾是有效的經驗證據,研究目的並非推翻其說法,而是補上制約在哪裏出現、是否重現及造成甚麼後果。

  1. 請說出一宗最近完成的個案。
  2. 最初由甚麼事情觸發?當時收到甚麼?
  3. 之後發生甚麼?你憑甚麼線索決定下一步?
  4. 哪一點存在不確定性?你考慮過哪些做法?
  5. 你聯絡了誰?交接時對方收到甚麼?
  6. 個案在哪裏偏離預期路徑?
  7. 可以展示當時使用的文件、訊息、範本或草稿嗎?
  8. 最後誰接受產出?曾要求哪些修正?

提問者不應在重建期間要求參與者設計人工智能功能,否則對話很容易由證據轉向想像。可比較一宗常規簡報與一宗困難簡報,並訪問協調員、銷售營運及交付主管;共同提供服務的人可按需要以二人或小組形式受訪,訪談亦可配合實際任務觀察。另要追問資訊線索、替代做法、風險感知與困難判斷,但只能稱為精簡的認知需求追問,不應冒稱正式ACTA程序。

工作在日常環境發生時,應觀察甚麼?

一名女子把白色卡片歸入厚厚的客戶文件夾,旁邊的同事觀察她的操作,並在螺旋筆記簿上記錄。

在日常環境觀察時,要看整項工作如何與真實設備、文件、數據、干擾及依賴互動,而不只記錄畫面上的按鍵。留意資料來源切換、等候、核實、重做、交接、變通方法,以及參與者要解讀缺漏或互相衝突資訊的時刻。靜默觀察最少打斷流程,卻可能不明白動機;間中提問換取背景;持續講解最深入,但亦最容易改變工作。團隊應預先選擇並記錄模式。

  • 個案背景及當時條件
  • 可直接看見的行動
  • 所使用成品或資料的識別資料
  • 判斷、資訊需要或不確定之處
  • 交接對象及交付內容
  • 打斷、等候或繞道
  • 對時間、重做或質素的可見後果
  • 研究者的詮釋,與觀察事實分開記錄

工作觀察應明確定位為研究流程而非評核個人表現。參與者要知悉目的、範圍、記錄方式及誰可取閱資料;只收集研究問題真正需要的內容,新增錄音或錄影前再次確認同意,並安全保存個人資料。涉及員工、客戶、機密或受規管資料時,應按情況讓私隱、資訊保安、法律、勞資、無障礙及相關專業負責人參與。觀察結束後請參與者修正流程重建;這能改善理解,卻不會令小型、具詮釋性的樣本代表整個團隊。

哪些證據能補上訪談或觀察看不到的工作?

一名研究人員在寬大的工作桌上分類列印資料和彩色便利貼,並把它們歸入大型分隔文件夾周圍的不同組別。

工作成品、短期任務日誌及營運紀錄,可以補上回憶、短暫觀察或單一角色視角未能捕捉的部分。範本、清單、試算表、訊息、草稿、紙張筆記及佇列畫面可能承載官方流程圖沒有記錄的狀態、優次、記憶提示與協調方式。不過,研究員不可單憑便利貼顏色或欄位排列猜測用途,必須請實際使用者解釋它在該宗個案中如何產生、更新及傳遞。

若事件間歇出現、分散於不同時段,或預約觀察很可能錯過關鍵時刻,可請參與者就真實任務作簡短日誌記錄,之後再訪談澄清。一個GOV.UK應用項目曾在使用指引期間或剛完成後收集日誌意見,並配合訪談及任務觀察;這只說明日誌可作互補證據,並不建立通用研究期限。日誌始終是自述資料,不應因貼近事件便當成客觀全貌。

如有可用的個案、活動及時間戳紀錄,可檢查等候、處理時間、重做、重複個案、偏離、期限及反覆質素問題,但事件紀錄可能遺漏離線工作、分散於不同系統,亦未必有一致個案定義。較少出現的例外路徑仍可能帶來顯著負擔,因此不能只按佔比剔除。迎新示例可核對表格、來源紀錄、訊息、清單、草稿版本、退回原因及佇列年齡,同時標明時間戳沒有記下的線下澄清。

五種工作證據的用途、盲點及核對方法
證據方法可揭示甚麼容易遺漏甚麼如何核對
近期個案訪談經歷、次序、理由、判斷與例外記憶缺口及未察覺的慣常動作請參與者展示成品,並比較其他角色及個案
情境觀察真實工具、干擾、等候、變通與支援活動罕見事件及觀察者不理解的動機間中澄清,結束時由參與者確認流程重建
工作成品狀態、標記、草稿變化與協調線索使用原因、頻率及未留下成品的工作由使用者解釋每件成品在個案中的用途
短期任務日誌跨時段、貼近實際任務的自述經驗漏填、選擇性記錄及未自覺的活動以訪談追問具體條目,按需要配合觀察
營運紀錄事件次序、等候、重做、偏離及重複模式離線工作、原因、反例及跨系統斷點與成品、觀察和工作人員的解釋互相核對

一個痛點何時才成為可信的樽頸假設?

研究團隊比較多排不同顏色的個案文件夾,並在它們之間移動圓形木質標記,桌邊亦排列着木製流程箭嘴。

痛點要升格為可信的樽頸假設,至少要有多宗相關個案或多種證據把同一制約放在相同流程位置,並連結至可觀察的營運後果。這仍然是待測假設,不是因果結論。團隊應保留避開問題的個案、不同角色的異議、取樣缺口及其他解釋,而不是把各種證據壓成一個看似精確的信心分數。研究者的機制解釋也要交回實際工作人員確認或修正。

  1. 重現:相同制約是否見於多於一宗相關個案、角色或證據來源?
  2. 位置:佇列、等候、重做迴圈、資訊缺口或判斷負荷在哪裏進入流程?
  3. 後果:能否連結至延誤、重複處理、修錯、遺漏、不一致、額外工夫或風險?
  4. 機制:制約如何導致後果?實際工作的人是否同意或提出修正?
  5. 反證:哪些個案沒有問題?差異在哪裏?還有哪些資料缺口及其他解釋?
  6. 可行動性:改變此處能否影響結果?人工智能是否真的優於規則、責任重整、流程改動、培訓、改善資料或不介入?

在迎新示例,證據可把假設由「摘要寫得慢」改為「困難個案欠缺商業決定,且來源欄位互相矛盾,令協調員等候及在資料補齊後重寫」。常規簡報能較快完成,較長簡報也不一定較慢,而系統時間戳沒有記錄離線澄清;這些反證限制了結論。六問測試只是編輯部綜合研究做法而成的決策規則,不是正式統計檢定。若重現、位置或後果仍不清楚,應保留為待研究線索。

未能指出制約在哪裏反覆出現、造成甚麼後果及仍有甚麼未知之前,不要先問人工智能放在哪裏。

ModelFold編輯部

有證據支持的人工智能機會卡應包括甚麼?

一組同事俯身查看會議桌中央的空白紙張,紙張兩側分別堆放着支持資料和互相矛盾的個案文件。

機會卡應把實地證據整理成一份有邊界、可追溯而不預設答案的決策紀錄。先寫觸發、完成條件、產出、下游使用者及角色,再交代觀察期間、個案類型、所涵蓋角色與方法組合。把「誰表示困擾」和「實際觀察到甚麼模式」分開;每項重要判斷連至實地筆記、經刪減的成品識別資料、日誌條目或紀錄查詢,沒有證據的內容則明確標為假設。

  • 工作邊界與受影響角色
  • 觀察期間、個案類型及證據方法
  • 陳述的困擾及具體近期例子
  • 觀察到的步驟、判斷、交接、變通與變體
  • 等候、重做、修錯、不一致、棄置或風險等後果
  • 證據識別資料及其可取閱範圍
  • 反證、缺口、分歧及其他解釋
  • 誰需要哪一項有邊界的協助,以及期望改善甚麼
  • 資料可用性、質素、權限、保安、私隱、勞資、無障礙、專業領域及人類監督限制
  • 下一個最小測試、所測假設、成功與失敗證據、負責人及覆核日期

NIST AI RMF Playbook的Map功能要求記錄預定目的、使用者、營運環境、業務價值、限制、影響、應用範圍及人類監督,並建議考慮人工智能以外及非科技方案;這是自願指引,不是法律清單,也沒有規定哪個方案勝出。團隊應以同一批工作證據比較人工智能輔助、確定性規則、流程或責任改動、培訓、改善資訊及不介入,並只測試足以分辨關鍵假設的最小改動。

  • 測試人工智能
  • 測試非人工智能改動
  • 收集更多證據
  • 停止

迎新示例的合理下一步,是先測試必填交接欄位、明確的銷售交接負責人及可見的例外佇列,觀察等候與重做是否改變;只有資料齊全的個案,才值得另行測試有邊界的草擬輔助。提出人工智能前,應能展示一項清楚任務、反覆制約、可觀察後果、可用資訊、人類監督,以及相對簡單方案的可測優勢。若位置、後果或可行動性仍模糊,收集更多證據或停止,都是負責任的結論。

常見問題

企業工作流程怎樣找出合適的人工智能用例?

先界定反覆工作的觸發、完成條件、產出、角色及個案類型,再以真實個案核對制約的位置、重現情況及營運後果。保留反證與未知之處,並用相同證據比較人工智能、規則、流程或責任改動、培訓、改善資料及不介入。只有其中一項有邊界的人工智能協助值得作最小測試時,才把它列為候選用例。

痛點與人工智能機會有甚麼分別?

痛點是參與者對困擾的有效陳述,能指出值得研究的方向,但未必說明制約實際在哪裏。人工智能機會則要有清楚工作邊界、反覆模式、可觀察後果、可用資訊、限制及合理介入機制。它也必須經過非人工智能方案的比較,而不是把投訴直接改寫成產品功能。

團隊怎樣觀察員工而不變成職場監察?

把研究明確定位為了解流程而非評核個人,讓參與者知悉目的、範圍、觀察模式、記錄內容及取閱安排。只收集回答研究問題所需的資料,限制存取,新增錄音或錄影前再次確認同意,並讓參與者修正流程重建。涉及敏感資料或工作關係時,應邀請合適的私隱、保安、法律、勞資、無障礙及專業負責人參與;本文不作合規判定。

每個流程都要做訪談、跟隨觀察、日誌、成品分析及流程紀錄嗎?

不需要。這五種方法是互補選項,不是必做清單;應按研究問題選擇最小而相稱的組合。若一種方法有明顯盲點,例如預約觀察會錯過間歇事件,才加入日誌或紀錄等方法補足,並清楚保留每種證據的限制。

觀察工作流程能否證明樽頸導致延誤或重做?

不能。訪談、觀察、成品及營運紀錄可以支持一個連貫的樽頸假設,但小樣本、研究者詮釋、缺漏紀錄及其他解釋仍會限制因果結論。團隊應保存沒有出現問題的個案,然後設計能分辨關鍵解釋的最小測試,而不是把相關模式寫成已證實原因。

ModelFold logo

ModelFold 編輯部

我們報道 AI 如何真正落地於企業之中。文章以具名資料來源為起點,清楚區分查證所得與編輯觀點,並依據有文件記錄的編採監控,運用 AI 協助研究及草擬。本刊不能取代個別專家的審閱。