Xây dựng bộ đánh giá theo tình huống cho hệ thống AI doanh nghiệp

Hãy bắt đầu từ một phiên bản hệ thống, một quy trình có ranh giới rõ và quyết định mà kết quả đánh giá phải hỗ trợ. Lập bản đồ công việc thường ngày, bổ sung ca biên, lỗi đã xác nhận và hành vi bị cấm; mỗi ca phải tái tạo được, có cách chấm hợp lệ và được phân tập trước khi xem kết quả.

Hãy hình dung trợ lý tiếp nhận đề nghị mua sắm gặp mã nhà cung cấp mâu thuẫn, chính sách không truy xuất được và chỉ dẫn cài trong báo giá. Những câu hỏi mẫu trơn tru khó phát hiện tổ hợp này; điểm trung bình cũng có thể che khuất việc thiếu bằng chứng, vượt phê duyệt hoặc làm lộ dữ liệu.

Bộ đánh giá theo tình huống cần bao phủ những gì?

Bản đồ bao phủ cần kết hợp công việc thông thường với ca biên, lỗi đã xác nhận và hành vi bị cấm được đưa vào có chủ đích. NIST gắn phép đo chính xác với bộ kiểm thử rõ ràng, thực tế, đại diện cho điều kiện sử dụng dự kiến và có phương pháp được ghi chép; kết quả cũng có thể cần tách theo nhóm và hậu quả.

OpenAI nêu nhiều nguồn ca theo nhiệm vụ, gồm dữ liệu vận hành, lịch sử, chuyên môn, tổng hợp và biên soạn thủ công; tổ chức vẫn phải kiểm tra quyền sử dụng và tính đại diện. Bốn nhóm trong bài là tổng hợp biên tập có thể điều chỉnh từ các loại ca Apple và OpenAI mô tả, không phải công thức lấy mẫu chung.

• Khoanh nhiệm vụ, người dùng, đầu vào, tri thức, công cụ và quyết định cần hỗ trợ.
• Lập nhóm tác vụ từ hồ sơ được phép, phản hồi, nghiên cứu người dùng và rà soát chuyên môn.
• Đánh dấu biến thể liên quan như thiếu dữ liệu, quyền hạn, ngôn ngữ, lỗi công cụ hoặc hậu quả.
• Ghi mức bất định khi nhật ký thiếu, dữ liệu chưa đại diện hoặc chưa có lưu lượng thực tế.
• Chốt lát cắt và cổng hành vi bị cấm trước khi xem đầu ra.

Với trợ lý mua sắm, các ca có thể gồm hồ sơ đầy đủ, thiếu chứng từ, dữ liệu mâu thuẫn, bằng chứng không đủ, yêu cầu bỏ qua phê duyệt, chỉ dẫn cài trong báo giá và chính sách lỗi thời. Đây chỉ là ví dụ; từng tổ chức phải xác định quyền, chính sách và hành vi cấm.

Mỗi tình huống đánh giá nên được ghi lại ra sao?

Hồ sơ ca phải giúp người khác tái tạo trạng thái ban đầu, phạm vi hệ thống được thấy và làm, kết quả đạt yêu cầu cùng kết quả bị cấm. Anthropic xác định nhiệm vụ đánh giá bằng đầu vào và tiêu chí thành công; bộ chấm có thể xem kết quả, đầu ra hoặc dấu vết. Mẫu dưới đây là tổng hợp biên tập có thể điều chỉnh.

• Định danh: mã ca, chủ sở hữu, phiên bản, nhóm bao phủ, tác vụ, lát cắt, hậu quả và tập dự kiến.
• Nguồn gốc: loại nguồn, quyền sử dụng, mức tối thiểu hóa và liên kết được kiểm soát.
• Thiết lập: vai trò, mục tiêu, trạng thái, yêu cầu, tệp, lịch sử, tri thức và chỉ dẫn.
• Môi trường: công cụ, quyền, kết quả công cụ, điều kiện và phiên bản mô hình, prompt, kho truy xuất, chính sách, bộ chạy.
• Kỳ vọng: dữ kiện hoặc trạng thái bắt buộc, phương án hợp lệ và lúc cần hỏi lại, từ chối, không kết luận hoặc chuyển người.
• Chấm điểm: đầu ra hoặc hành động bị cấm; loại bộ chấm, rubric, cổng và lời giải tham chiếu nếu có.

GDPval cho thấy nhiệm vụ nghề nghiệp có thể dựa trên sản phẩm công việc và kèm bối cảnh, tệp cần thiết. Lời giải tham chiếu hoạt động được giúp xác nhận ca khả thi và kiểm tra bộ chấm, nhưng không phải đáp án duy nhất. Với hệ thống không tất định hoặc nhiều bước, hãy định trước số lượt, cách tổng hợp, năng lực người chấm và tuyến phân xử.

Một ca đánh giá hữu ích không chỉ đặt câu hỏi khó; nó tái tạo một phần công việc có ranh giới và làm cho thành công, biến thể chấp nhận được cùng hành vi bị cấm trở nên kiểm tra được.

Chấm từng tình huống thế nào để không thưởng nhầm hành vi?

Chọn cách chấm hẹp nhất vẫn phân biệt đúng thành công với thất bại. Bộ chấm xác định, bộ chấm mô hình và người chấm có thế mạnh khác nhau; chấm đầu ra mở bằng mô hình cần rubric có cấu trúc và hiệu chuẩn với người đủ chuyên môn. Mọi kiểm tra vẫn cần được xác minh là đầy đủ và ca phải giải được.

• Dùng kiểm tra xác định cho dữ kiện, phép tính, cấu trúc, tham số, trạng thái hoặc hành động cấm quan sát được.
• Dùng dữ kiện hoặc lời giải tham chiếu khi đích đến hữu hạn nhưng có nhiều cách làm hợp lệ.
• Dùng rubric từng chiều với mốc quan sát cho tính đầy đủ, hữu ích, bám nguồn hoặc giải thích.
• Dùng người đủ chuyên môn khi kiểm tra tự động không thể xử lý hợp lệ diễn giải nghiệp vụ hoặc hậu quả.

Chấm theo kết quả có thể bớt giòn hơn việc buộc một đường thực hiện, và thành phần có ý nghĩa có thể nhận điểm phần. Tuy nhiên, cổng hành vi bị cấm không thể được bù bằng điểm chất lượng; đây là khuyến nghị biên tập, còn chủ sản phẩm và chủ rủi ro phải định nghĩa cổng. OpenAI cho biết bộ chấm tự động của GDPval chưa thể thay người chấm nghề nghiệp giàu kinh nghiệm.

Làm sao để người chấm áp dụng tiêu chí nhất quán?

Người chấm cần cùng bối cảnh, rubric có mốc quan sát, ca hiệu chuẩn và lựa chọn không thể chấm. NIST cho thấy bối cảnh nhiệm vụ, thông tin lời giải và ví dụ tích cực, tiêu cực có thể cải thiện việc rà soát; bất đồng có thể bộc lộ quy tắc chưa rõ. Hiệu chuẩn và kiểm tra điểm hoặc dấu vết còn giúp phân biệt lỗi hệ thống với lỗi ca, bộ chấm hay môi trường.

1. Nêu mục đích, vai trò, bằng chứng, hành vi được phép, ranh giới và phiên bản rubric.
2. Mô tả mức điểm bằng dấu hiệu quan sát được và ví dụ đạt, không đạt, sát ranh giới.
3. Cho phép chọn không đủ bằng chứng hoặc không thể chấm khi ca hay môi trường lỗi.
4. Hiệu chuẩn trước phiên chấm và lặp lại khi nhiệm vụ, chính sách, rubric hoặc người chấm thay đổi.
5. Ẩn danh và đảo thứ tự khi phù hợp; thu điểm cùng lý do độc lập trước thảo luận.
6. Chỉ định người phân xử và lưu nhãn, lý do, phiên bản rubric, bất đồng cùng kết quả.

GDPval dùng thẩm định nhiều bước, chấm so sánh ẩn danh và rubric chi tiết, nhưng không xác lập quy trình chung bắt buộc. Hướng dẫn ở đây là tổng hợp biên tập: không ép đồng thuận khi nhiều kết quả cùng hợp lệ hoặc quyết định sản phẩm chưa được giải quyết. Bất đồng có thể giúp sửa ca, làm rõ ngưỡng hoặc chuyển vấn đề cho đúng chủ sở hữu.

Giữ bộ đánh giá hữu ích qua phát triển và phát hành bằng cách nào?

Dùng tập phát triển nhìn thấy được để lặp cải tiến và tập kiểm tra phát hành được bảo vệ cho bằng chứng cuối. Việc liên tục dùng tập kiểm tra để định hướng thay đổi làm tăng nguy cơ thích nghi ngầm. Tập kiểm tra cũng hao mòn qua sử dụng, nên cần ví dụ chưa dùng để phát triển, có tính đại diện và không trùng lặp.

• Gán ca vào tập phát triển hoặc tập được bảo vệ trước khi xem đầu ra dùng cho lựa chọn.
• Kiểm tra bản trùng, gần trùng, chung hồ sơ nguồn, bản diễn đạt lại và ca cùng mẫu.
• Theo dõi truy cập nội dung ca, lời giải, rubric và kết quả, không chỉ tệp dữ liệu.
• Đưa lỗi đã dùng để chẩn đoán hoặc sửa vào tập phát triển hay hồi quy.
• Nếu ca được bảo vệ đã định hướng thay đổi, chuyển nó sang tập phát triển và tạo bản thay thế độc lập.

Sổ đăng ký và kiểm soát phơi lộ là phương pháp tổng hợp, không đặt tỷ lệ chia, chu kỳ làm mới hay bảo đảm độc lập chung. Sổ nên lưu chủ sở hữu, nguồn gốc, quyền sử dụng, phân tập, phơi lộ, phiên bản, lịch sử và lý do thay đổi hoặc ngừng dùng. Có thể bổ sung ca đã xác minh từ nhiều nguồn được phép.

NIST khuyến nghị đánh giá lại phương pháp và chỉ số trong vòng đời theo mục đích, bối cảnh, dữ liệu và rủi ro. Hãy rà lại bao phủ khi quy trình, người dùng, chính sách, tri thức, mô hình, prompt, công cụ, quyền hoặc môi trường thay đổi đáng kể. Báo cáo theo tác vụ, nhóm bao phủ, lát cắt, hậu quả và cổng; một lần đạt ngoại tuyến không tự chứng minh giá trị, an toàn, công bằng, tuân thủ hay độ sẵn sàng.

Hãy coi bộ tình huống là bằng chứng cho quyết định, không phải giấy chứng nhận. Chủ sản phẩm và chủ rủi ro chốt cách dùng kết quả; chuyên gia nghiệp vụ xác nhận tính thực tế. Ca liên quan dữ liệu, quyền riêng tư, an ninh, pháp lý, tuân thủ hoặc lĩnh vực được quản lý cần người đủ thẩm quyền. Kết quả ngoại tuyến nên đi cùng giám sát, nghiên cứu người dùng và rà soát sự cố.