Thông tin rõ ràng, dựa trên nguồn tư liệu cho các chương trình AI có trách nhiệm.
Phương pháp thiết kế trợ lý AI theo từng năng lực, với phạm vi dữ liệu, quyền công cụ, phê duyệt, từ chối, kiểm thử và chủ sở hữu rõ ràng.
ModelFold Editorial Team11 phút đọc
Ranh giới thật của trợ lý AI là hợp đồng dịch vụ có thể thực thi quanh mô hình, không phải lời cấm trong câu lệnh. Nếu công cụ, thông tin xác thực và hệ thống đích vẫn cho phép gửi, ngôn ngữ tự nhiên không thể kiểm soát quyền. Doanh nghiệp phải quản lý riêng từng năng lực như tìm kiếm, tóm tắt, soạn nháp, cập nhật và gửi, với phạm vi dữ liệu, danh tính, quyền, trần tác động, bằng chứng và chủ sở hữu riêng.
Điểm cần chốt trước khi thiết kế
Hãy bắt đầu bằng một câu điều lệ: “Với [người dùng đủ điều kiện], trợ lý được [nhóm nhiệm vụ] bằng [phạm vi thông tin đã duyệt] để tạo [kết quả được phép], nhưng không được [mục tiêu loại trừ hoặc quyết định hệ trọng]”. Sau đó tách điều lệ thành các năng lực cụ thể. NIST đề nghị ghi nhận mục đích, bối cảnh, nhiệm vụ, giới hạn tri thức, phạm vi, giám sát và mức chấp nhận rủi ro. Cách kiểm soát theo năng lực ở đây là tổng hợp biên tập, không phải yêu cầu bắt buộc của NIST hay OWASP.
Giới hạn ngữ cảnh là bao thông tin xác định dữ liệu đủ điều kiện và ranh giới tin cậy, không chỉ là ngân sách token. Với mỗi năng lực, hãy ghi nguồn, loại bản ghi, phân loại, bộ lọc đối tượng, khoảng thời gian, độ mới, quyền của người dùng và dữ liệu bị cấm. NIST đề cập giới hạn tri thức, phạm vi ứng dụng và giám sát cách dùng đầu ra. Ngữ cảnh lớn hơn không tạo thêm thẩm quyền hay biến dữ liệu thiếu căn cứ thành đúng.
Xác thực, phân quyền và phê duyệt là ba quyết định riêng: ai được nhận diện; chủ thể được làm gì trên tài nguyên nào; và ai chấp thuận hành động cụ thể. Công cụ phải dùng quyền được ủy quyền của người dùng hoặc danh tính khối lượng công việc được kiểm soát, không kế thừa tài khoản đặc quyền. OWASP khuyến nghị quyền tối thiểu và kiểm tra tại hệ thống đích. Riêng với MCP được bảo vệ, đặc tả tách máy chủ cấp quyền, máy khách và tài nguyên, đồng thời hỗ trợ phạm vi tối thiểu và token gắn đúng máy chủ.
Cuộc trò chuyện có thể liền mạch, nhưng quyền hạn phải được chia thành những năng lực nhỏ và được thực thi độc lập.
Mỗi năng lực cần trần hành động rõ ràng và kiểm soát mạnh dần khi chuyển từ trả lời sang thay đổi trạng thái bên ngoài. Thang dưới đây là tổng hợp biên tập từ nguyên tắc hạn chế hành động của NCSC và hướng dẫn OWASP về tách quyết định khỏi thực thi. Phải tách bản nháp khỏi gửi, cập nhật có thể hoàn tác khỏi xóa và đề xuất khỏi quyết định. Phê duyệt chỉ chấp nhận hành động đã trình bày; nó không bù quyền còn thiếu hay cho phép quyết định bị cấm.
Từ chối, hỗ trợ một phần, bàn giao cho người và chuyển cấp an ninh phải là kết quả dịch vụ được thiết kế sẵn, kèm điều kiện dừng. Trợ lý cần nêu ranh giới dễ hiểu mà không lộ chính sách nhạy cảm, đồng thời không được báo đã kiểm tra nguồn, gọi công cụ, nhận phê duyệt hay ghi dữ liệu khi chưa thành công. NIST đề cập thất bại an toàn ngoài giới hạn tri thức; NCSC khuyến nghị kế hoạch sự cố có kịch bản, người xử lý và nhật ký phù hợp.
Hãy lập một hàng thiết kế cho mỗi thao tác người dùng nhìn thấy và nối nó với kiểm soát, bằng chứng, kiểm thử, chỉ số cùng chủ sở hữu. Đừng viết “trợ lý truy cập CRM”; hãy viết “đọc tóm tắt vụ việc đủ điều kiện”. Mỗi hàng xác định chủ thể, xác thực, bao thông tin, bộ nhớ, thao tác công cụ, danh tính, tài nguyên, trần tác động, phê duyệt, giới hạn, từ chối và chuyển cấp. NIST nhấn mạnh vai trò, giám sát rõ ràng; OWASP khuyến nghị ghi quyết định, công cụ, quyền, phê duyệt, phiên bản và kết quả nhưng che dữ liệu nhạy cảm.
| Năng lực | Ranh giới thông tin và công cụ | Trần hành động và phê duyệt | Bằng chứng, kiểm thử, chỉ số và chủ sở hữu |
|---|---|---|---|
| Tìm và tóm tắt vụ việc hỗ trợ đủ điều kiện | Dùng quyền đọc được ủy quyền của nhân viên; chỉ lấy vụ việc họ đã được xem thuộc tài khoản được nêu; loại thông tin xác thực, tài khoản khác và ghi chú quản trị ẩn. | Chỉ trả lời hoặc tóm tắt; từ chối khi bản ghi không thuộc quyền, bằng chứng đã cũ hoặc nguồn không hỗ trợ kết luận. | Ghi năng lực, phiên bản chính sách, mã vụ việc, kết quả truy xuất và lý do từ chối. Thử truy cập chéo tài khoản, ghi chú ẩn, dữ liệu cũ và chỉ dẫn đối kháng. Chủ dịch vụ xử lý ngoại lệ. |
| Tạo bản nháp phản hồi | Dùng vụ việc đủ điều kiện cùng bài tri thức và chính sách phản hồi đã duyệt; chỉ ghi vào không gian bản nháp, hoàn toàn không có quyền gửi. | Trần dừng ở bản nháp; bỏ cam kết không có căn cứ, đánh dấu phán đoán còn thiếu và chuyển cho người duyệt phù hợp. | Ghi nguồn, phiên bản mẫu, mã bản nháp, dấu hiệu thiếu căn cứ, người duyệt và kết quả. Thử chính sách thiếu, lời hứa trái quyền, dữ liệu nhạy cảm và chỉ dẫn cài trong tài liệu. Chủ nội dung xử lý phán đoán còn thiếu. |
| Gửi phản hồi đã được duyệt | Dùng thao tác gửi riêng và danh tính chỉ có quyền với kênh khách hàng dự kiến; kiểm tra nơi nhận, tham chiếu nội dung, quyền, thời hạn phê duyệt và trạng thái chống gửi lặp. | Là hành động đối ngoại hệ trọng; chỉ thực thi nội dung và tham số trùng khớp bản xem trước đã duyệt. Bất kỳ thay đổi nào cũng cần kiểm tra, phê duyệt mới. | Ghi người nhận, kênh, tham chiếu nội dung, danh tính gửi, quyết định, phê duyệt, kết quả và khóa chống lặp. Thử đổi người nhận hoặc nội dung, hết hạn, thiếu quyền, gửi lại và lỗi kênh. Chủ dịch vụ vận hành; người gửi chịu trách nhiệm nghiệp vụ. |
Chỉ phát hành khi bằng chứng cho thấy cả việc được phép lẫn trường hợp phải chặn đều hoạt động trong điều kiện gần triển khai; sau đó tiếp tục giám sát và đánh giá lại khi có thay đổi trọng yếu. NIST đề cập kiểm thử đại diện triển khai, giám sát sản xuất, giới hạn và thất bại an toàn. NCSC khuyên đánh giá an ninh trước phát hành, công bố chế độ lỗi và cập nhật đánh giá khi dữ liệu, mô hình hoặc câu lệnh thay đổi. Cũng phải mở lại phần đánh giá bị ảnh hưởng khi đổi truy xuất, bộ nhớ, công cụ, quyền, chính sách, nhà cung cấp hay bối cảnh.
Hãy bắt đầu bằng năng lực hữu ích nhỏ nhất và chỉ mở rộng quyền qua thay đổi được xem xét, không bằng sửa câu lệnh đơn lẻ. Khi năng lực chạm dữ liệu nhạy cảm, bộ nhớ lâu dài, truy cập đặc quyền, cam kết bên ngoài, thay đổi phá hủy hoặc sự cố, các chủ sở hữu an ninh, danh tính, quyền riêng tư, hồ sơ, rủi ro và dịch vụ phải tham gia. Phán đoán pháp lý, quy định hoặc chuyên môn hệ trọng phải chuyển sang chuyên gia và quy trình quản trị riêng.
Đó là dịch vụ có nhiệm vụ, thông tin, danh tính, công cụ, hành động, bằng chứng, cách từ chối và chủ sở hữu được giới hạn rõ. Ranh giới quan trọng được thực thi tại cổng công cụ và hệ thống đích, không chỉ mô tả trong câu lệnh.
Tạo một hàng cho mỗi năng lực như đọc tóm tắt, tạo bản nháp hoặc gửi. Ghi chủ thể, dữ liệu, thao tác, tài nguyên, trần hành động, phê duyệt, giới hạn, log, kiểm thử, chỉ số và người có quyền sửa hay ngừng năng lực.
Giới hạn phải bao quát nguồn, bản ghi, quyền người dùng, bộ lọc, độ mới, mức tin cậy, lịch sử phiên, bộ nhớ lâu dài và dữ liệu bị cấm. Kích thước, thời hạn và cách xóa phải theo dịch vụ, không theo ngưỡng chung.
Không. Phê duyệt chỉ chấp nhận hành động cụ thể đã xem trước; nó không thay thế phân quyền tại hệ thống đích, thu hẹp quyền thường trực quá rộng hay cho phép quyết định bị cấm. Trước khi thực thi vẫn phải kiểm tra danh tính, tài nguyên và tham số.
Trợ lý nên từ chối khi nhiệm vụ ngoài phạm vi, dữ liệu không đủ điều kiện, thiếu quyền, bằng chứng cũ, cần chuyên gia, phụ thuộc lỗi, chạm giới hạn hoặc có tín hiệu an ninh. Nó có thể cung cấp phần hỗ trợ an toàn rồi bàn giao mục tiêu, lý do, bằng chứng và mã truy vết cho đúng chủ sở hữu.
Bài viết này được nghiên cứu dựa trên các nguồn sau:
Chúng tôi viết về cách AI thực sự đi vào một doanh nghiệp. Chúng tôi khởi đi từ các nguồn được nêu tên, tách biệt điều tìm được với điều chúng tôi nhận định, và dùng AI hỗ trợ nghiên cứu, soạn thảo dưới các kiểm soát biên tập đã ghi rõ. Chúng tôi không thay thế đánh giá của chuyên gia.
Thiết kế quy trình soạn thảo AI tạo sinh có căn cứ nguồn, tách bằng chứng khỏi văn bản, phân quyền duyệt và lưu lại các sửa đổi hệ trọng.
Hướng dẫn xây dựng bộ đánh giá theo tình huống cho hệ thống AI doanh nghiệp, từ bản đồ bao phủ và hồ sơ ca đến chấm điểm, hiệu chuẩn và bảo vệ bộ kiểm tra.
Thiết kế danh mục theo từng cách dùng AI, chấm bốn chiều phơi nhiễm và định tuyến rà soát phù hợp mà không nhầm tầng nội bộ với phân loại pháp lý.
