Reka Pembantu AI Terbatas dengan Alat, Kebenaran dan Had Konteks

Sempadan sebenar pembantu AI bukanlah larangan yang ditulis dalam arahan sistem, tetapi kontrak perkhidmatan yang boleh dikuatkuasakan pada data, identiti, alat dan tindakan. Model boleh diarahkan supaya tidak menghantar mesej, namun larangan itu tidak mencukupi jika alat penghantaran dan kelayakan akses masih tersedia. Oleh itu, pasukan perlu mereka bentuk setiap keupayaan yang dilihat pengguna sebagai perkhidmatan kecil dengan input, kuasa, had tindakan, bukti dan pemiliknya sendiri.

Apakah yang patut dibenarkan kepada pembantu AI?

Pasukan patut bermula dengan piagam perkhidmatan satu ayat, kemudian memecahkannya kepada operasi khusus serta bukan matlamat yang nyata. Bentuk yang berguna ialah: “Bagi [pengguna layak], pembantu boleh [keluarga tugas dibenarkan] menggunakan [skop maklumat diluluskan] untuk menghasilkan [hasil dibenarkan], tetapi tidak boleh [hasil atau keputusan yang dilarang].” Sebelum alat disambungkan, nyatakan pengguna, persekitaran penggunaan, tugas, batas pengetahuan, pengawasan manusia dan pemilik risiko.

Gantikan kata kerja luas seperti “bantu” atau “urus” dengan cari, ringkaskan, cadangkan, draf, kemas kini, hantar, padam atau luluskan. Operasi itu mungkin muncul dalam perbualan yang sama, tetapi setiap satunya memerlukan data dan kuasa berlainan. Teras NIST AI RMF menyokong pendokumenan tujuan, skop aplikasi, tugas, batas pengetahuan dan pengawasan, manakala OWASP mengesyorkan fungsi alat yang minimum. Kaedah peringkat keupayaan ini ialah sintesis editorial praktikal, bukannya syarat rasmi NIST atau OWASP.

• Siapakah pengguna yang layak, dan bagaimana identitinya disahkan?
• Apakah tugas serta hasil perniagaan yang benar-benar disokong?
• Sistem, rekod, klasifikasi dan tempoh masa manakah yang layak?
• Hasil manakah boleh dijawab, dicadangkan, didraf, dilaksanakan dengan kelulusan atau dilarang?
• Siapakah pemilik perkhidmatan, akses, risiko dan eskalasi manusia?

Apakah maklumat yang boleh digunakan oleh setiap keupayaan?

Had konteks patut ditakrifkan sebagai lingkungan maklumat, bukan sekadar bilangan token model. Bagi setiap keupayaan, rekodkan sistem dan jenis rekod yang diluluskan, klasifikasi, penapis objek, julat tarikh, jangkaan kesegaran, kelayakan akses pengguna serta data yang dilarang. Batas pengetahuan dan skop aplikasi yang ditekankan NIST membantu menentukan apa yang boleh menyokong jawapan. Konteks yang lebih besar tidak menambah kuasa akses dan tidak menjadikan maklumat tanpa sokongan itu benar.

Mesej luar, lampiran, respons API dan dokumen yang diperoleh perlu diperlakukan sebagai kandungan tidak dipercayai, bukan arahan perkhidmatan baharu. Asingkan sejarah sesi daripada memori berterusan: tentukan apa yang layak disimpan, pengasingan antara pengguna dan sesi, pengesahan sebelum penyimpanan, luput, saiz, pemadaman serta data yang tidak boleh disimpan. OWASP merangkumi kawalan ini dalam panduan ejen dan memori. Jika bukti wajib tidak boleh dicapai, hilang atau lapuk, pembantu perlu menyatakan batasnya atau menolak kesimpulan.

Bagaimanakah identiti, alat dan kebenaran menguatkuasakan sempadan?

Pengesahan identiti, kebenaran dan kelulusan mesti dibuat sebagai tiga keputusan berasingan, sementara gerbang alat serta sistem hiliran menguatkuasakan batas sumber dan operasi. Pengesahan menjawab siapa atau beban kerja apa yang hadir. Kebenaran menentukan operasi pada sumber terlindung. Kelulusan menerima satu tindakan yang telah dicadangkan. Spesifikasi MCP menggambarkan pemisahan pelayan sumber, klien dan pelayan kebenaran bagi integrasi MCP terlindung, tetapi protokol itu bukan keperluan universal untuk semua seni bina alat.

Pilih secara nyata sama ada alat bertindak dengan kuasa pengguna terwakil atau identiti beban kerja terkawal; jangan mewarisi akaun pengendali berkeistimewaan secara senyap. Dedahkan operasi sempit dengan parameter yang disahkan, bukannya akses peti mel, pangkalan data, pelayar atau cangkerang yang terbuka. Hadkan kata kerja, sumber, objek, medan, destinasi, tempoh kelayakan dan penerima token pada laluan pelaksanaan. OWASP mengesyorkan kebenaran hiliran minimum dan pengekalan konteks kebenaran pengguna, manakala NCSC menyokong keistimewaan minimum, lalai selamat serta mekanisme keselamatan luaran.

• Tetapkan had kadar, percubaan semula, kedalaman rantaian, kelompok, kos dan masa mengikut risiko perkhidmatan.
• Gunakan kekunci idempoten, pembalikan atau mekanisme pemutus litar apabila sifat operasi memerlukannya.
• Simpan token dan rahsia di infrastruktur kelayakan akses; jangan letakkannya dalam arahan, konteks model atau memori.

Perbualan boleh terasa berterusan, tetapi kuasanya mesti dipecahkan kepada keupayaan kecil yang dikuatkuasakan secara berasingan.

Sejauh manakah sesuatu keupayaan boleh bertindak?

Setiap keupayaan memerlukan siling tindakan yang nyata, dengan kawalan bebas yang semakin kukuh apabila ia bergerak daripada memberi jawapan kepada mengubah keadaan luaran. Tangga praktikalnya ialah menjawab atau meringkaskan, mengesyorkan atau mencadangkan, menghasilkan draf, membuat perubahan terbatas yang boleh dibalikkan, menyebabkan tindakan luaran berakibat, atau menemui keputusan yang dilarang. Tangga ini ialah sintesis editorial berasaskan prinsip tindakan minimum dan mekanisme keselamatan luaran, bukan pengelasan rasmi mana-mana badan panduan.

Asingkan penciptaan draf daripada penghantaran, kemas kini boleh balik daripada pemadaman dan cadangan daripada keputusan yang memerlukan akauntabiliti. Untuk tindakan berakibat, tunjukkan pratonton yang boleh diperiksa dan ikat kelulusan kepada pelaku, alat, sumber sasaran, parameter ternormal, masa serta luput sebelum pelaksanaan. Kelulusan tidak menggantikan kebenaran hiliran, tidak meluaskan akses sedia ada dan tidak menukar keputusan terlarang menjadi dibenarkan. Pembayaran, pemberian akses, perubahan produksi, operasi pemusnahan dan komitmen material memerlukan kawalan manusia serta dasar deterministik yang sesuai.

1. Jawab atau ringkaskan maklumat layak tanpa mengubah keadaan luar.
2. Cadangkan langkah atau sediakan muatan tindakan yang boleh diperiksa.
3. Cipta artifak boleh sunting dalam ruang kerja berstatus draf.
4. Ubah medan atau rekod yang diluluskan melalui aliran kerja boleh balik.
5. Laksanakan tindakan luaran hanya dengan kebenaran dan kelulusan tepat yang sah.
6. Tolak keputusan yang tidak boleh dibuat oleh perkhidmatan walaupun diminta pengguna.

Apakah yang berlaku apabila pembantu mencapai sempadan?

Penolakan, bantuan separa yang selamat, serahan manusia dan eskalasi keselamatan perlu direka sebagai hasil perkhidmatan dengan syarat berhenti yang sebenar. NIST memasukkan kegagalan selamat di luar batas pengetahuan dalam hasil pengukurannya. Pembantu harus menyatakan sempadan dalam bahasa mudah tanpa mendedahkan butiran dasar sensitif, dan tidak boleh mendakwa bahawa semakan sumber, panggilan alat, kelulusan atau perubahan rekod berjaya jika proses itu sebenarnya gagal atau tidak berlaku.

Gunakan kategori sebab yang boleh dioperasikan, kemudian tawarkan hanya bahagian selamat seperti draf, senarai semak atau permintaan maklumat yang hilang. Pakej serahan perlu membawa matlamat asal, konteks tidak sensitif yang berkaitan, keupayaan yang dicuba, sebab, bukti tersedia atau hilang, langkah seterusnya dan pengecam jejak. Bezakan serahan pengguna rutin, kelulusan perniagaan dan insiden keselamatan kerana pemilik serta tahap kesegeraannya berlainan. Hentikan pelaksanaan sementara menunggu tindakan pemilik, dan sahkan semula jika cadangan berubah.

• Tugas di luar skop atau maklumat tidak layak
• Kebenaran tidak mencukupi atau kelulusan diperlukan
• Bukti hilang, tidak boleh dicapai atau lapuk
• Pertimbangan pakar atau keputusan dasar diperlukan
• Alat tidak tersedia atau had operasi dicapai
• Isyarat keselamatan seperti pintasan kelulusan, peningkatan keistimewaan, keracunan memori atau pengeluaran data

Bagaimanakah sempadan diterjemahkan kepada reka bentuk operasi?

Pasukan patut melengkapkan satu baris kanvas reka bentuk bagi setiap operasi yang dilihat pengguna, kemudian menghubungkannya kepada kawalan, bukti, ujian, metrik dan pemilik yang sebenar. Catat pelaku layak, kaedah pengesahan, lingkungan maklumat, peraturan sesi dan memori, operasi alat, identiti bertindak, skop sumber, siling tindakan, kelulusan, had operasi, penolakan, rekod bukti, senario penilaian dan destinasi eskalasi. Elakkan baris luas seperti “pembantu boleh mengakses CRM” kerana ia menyembunyikan perbezaan antara membaca, mendraf dan menghantar.

Pertimbangkan pembantu sokongan dalaman yang membantu petugas mencari kes dan menyediakan balasan. Ringkasan kes, draf balasan dan penghantaran yang diluluskan boleh berkongsi antara muka perbualan, tetapi mesti mengekalkan data, alat, geran, siling, ujian dan serahan berasingan. Log patut membolehkan keputusan, panggilan alat, hasil kebenaran, pengecam kelulusan, versi dasar dan hasil dibina semula sambil menyunting data sensitif. Setiap metrik pula perlu mempunyai pemilik yang boleh menyiasat, menghentikan atau mengubah keupayaan.

Apakah bukti yang diperlukan untuk pelancaran dan operasi berterusan?

Pelancaran memerlukan bukti bahawa perkhidmatan yang dibenarkan dan penolakan yang dijangka sama-sama berfungsi dalam keadaan menyerupai penggunaan sebenar. NIST menyeru ujian yang mewakili penggunaan, kegagalan selamat dan pemantauan produksi, manakala NCSC mengesyorkan penilaian keselamatan sebelum pelancaran serta komunikasi batas yang diketahui. Uji tugas positif bersama akses rentas akaun, alat tanpa kebenaran, bukti lapuk, kandungan perolehan beracun, data terlarang, pintasan kelulusan, parameter berubah, percubaan pendua, kegagalan kebergantungan dan rantaian tidak terkawal.

Log perlu membolehkan pasukan membina semula siapa meminta apa, keupayaan dan dasar yang digunakan, kelas sumber dan alat, keputusan kebenaran serta kelulusan, hasil tindakan dan versi aktif—tanpa menyimpan rahsia atau konteks sensitif tanpa batas. Pantau penggunaan alat luar jangka, penolakan berulang, kegagalan kebenaran, perubahan kelulusan, urutan tindakan ganjil, hanyutan, kependaman, penggunaan sumber dan kegagalan mengikut keperluan risiko serta privasi. Pemilik perkhidmatan, akses, serahan perniagaan dan insiden keselamatan mesti mempunyai kuasa untuk menjeda atau menamatkan keupayaan.

Buka semula ujian dan bukti pelancaran apabila perubahan penting dibuat pada model, arahan, perolehan, memori, alat, kebenaran, dasar, data, penyedia atau konteks operasi. NCSC menyatakan bahawa perubahan data, model dan arahan boleh mengubah tingkah laku sistem serta perlu dicerminkan dalam penilaian. Mulakan dengan keupayaan berguna yang paling kecil, luaskan kuasa melalui perubahan yang disemak dan libatkan pemilik keselamatan, identiti, privasi, rekod, risiko serta perkhidmatan apabila maklumat sensitif atau tindakan berakibat terlibat.