Membina Set Penilaian Berasaskan Senario untuk Sistem AI Perniagaan

Set penilaian berasaskan senario perlu bermula dengan satu aliran kerja perniagaan yang terbatas, bukan himpunan soalan menarik untuk pembantu AI umum. Bayangkan satu folder sampai kepada pembantu permintaan pembelian: butirannya kelihatan munasabah, tetapi pengecam vendor bercanggah, hasil carian dasar tidak tersedia dan sebut harga yang dimuat naik mengandungi arahan kepada pembantu. Contoh prompt yang kemas tidak akan menunjukkan sama ada sistem meminta bukti, berhenti pada sempadan kuasanya atau melakukan tindakan yang dilarang. Bukti keluaran yang berguna memerlukan peta liputan, rekod kes boleh ulang, kaedah gred yang sah dan ujian terlindung.

Apakah yang perlu diliputi oleh set penilaian berasaskan senario?

Set itu perlu meliputi kerja biasa secara berkadar dengan keadaan yang diperhatikan sambil memasukkan sempadan penting, kegagalan yang disahkan dan perbuatan terlarang secara sengaja. Mula-mula nyatakan versi sistem, aliran kerja, pengguna yang dibenarkan, input, pengetahuan, alat dan keputusan yang hendak disokong. Kemudian petakan keluarga tugas serta variasi yang relevan menggunakan rekod kerja yang dibenarkan, kes sokongan, penyelidikan pengguna, rekod insiden dan sesi telusuri bersama pakar bidang. Jika bukti operasi belum lengkap, tandakan ketidakpastian; jangan menggantikan jurang dengan ketepatan rekaan.

Bagi pembantu permintaan pembelian dalaman, kerja perwakilan mungkin melibatkan pakej lengkap dengan medan yang konsisten dan dasar semasa yang boleh dicapai. Kes pinggir boleh merangkumi dokumen hilang, amaun bercanggah, fakta penting yang tiada atau hasil alat yang lapuk. Kegagalan diketahui hendaklah diterbitkan semula dalam bentuk minimum yang dibenarkan, bukan dengan menyalin data sulit. Tingkah laku dilarang pula termasuk meluluskan perbelanjaan, mereka ambang dasar, mendedahkan rekod pihak lain atau mematuhi arahan yang terselit dalam sebut harga. Peraturan contoh ini bersifat ilustratif dan khusus organisasi.

Tetapkan segmen laporan, akibat dan gerbang sebelum menjana atau memeriksa output. Langkah ini menghalang pasukan daripada memilih kriteria selepas melihat sistem pilihan mereka berprestasi. Taburan kerja biasa membantu menunjukkan kegunaan operasi, tetapi kekerapan sahaja tidak boleh menentukan keseluruhan set: kejadian yang jarang namun membawa akibat besar mungkin memerlukan liputan tersendiri. Empat keluarga tersebut ialah sintesis editorial yang boleh diubah, bukannya taksonomi wajib daripada mana-mana sumber. Pemilik produk dan risiko mesti menentukan keluarga, gerbang serta kegunaan keputusan yang sesuai dengan sistem sebenar.

Bagaimanakah setiap senario penilaian patut direkodkan?

Setiap senario patut direkod sebagai kes yang cukup lengkap untuk dibina semula oleh penilai lain dan digred dengan kaedah yang sama. Berikan ID stabil, pemilik, sejarah versi, keluarga liputan, keluarga tugas, tag segmen, akibat, kategori asal-usul, rekod kebenaran dan set yang ditetapkan. Rekod asal-usul tidak bermaksud bahan sumber boleh disalin sesuka hati: pautan dan kandungan sensitif perlu tertakluk pada akses, peminimuman serta kebenaran penggunaan. Bahan sintetik juga perlu disemak supaya benar-benar mencerminkan keadaan yang hendak diuji.

• Persediaan: peranan dan matlamat pengguna, keadaan awal aliran kerja, permintaan, fail, sejarah berkaitan serta variasi yang diuji.
• Persekitaran: pengetahuan yang dibenarkan, alat, kebenaran, hasil alat, arahan sistem dan keadaan operasi yang tersedia ketika ujian.
• Jangkaan: fakta atau perubahan keadaan yang diperlukan, laluan alternatif yang sah serta keadaan yang memerlukan penjelasan, tidak menjawab, penolakan atau eskalasi.
• Kawalan: output, tindakan, pendedahan, panggilan alat dan perubahan keadaan yang dilarang, bersama rubrik, gerbang, penggred dan penyelesaian rujukan jika sesuai.
• Operasi: bilangan percubaan apabila ketidakpastian output penting, peraturan penggabungan, kelayakan penilai, laluan pengadilan dan versi keseluruhan susunan ujian.

Jangan mengecilkan tugas terbuka kepada satu ayat ideal. Jika pembantu perlu mengenal pasti kekurangan dalam pakej pembelian, hasil sah mungkin berupa beberapa susunan kata atau laluan yang sama-sama menyatakan dokumen hilang dan langkah manusia seterusnya. Penyelesaian rujukan yang diketahui berfungsi boleh menunjukkan bahawa kes boleh diselesaikan serta membantu memeriksa penggred, tetapi bukan alasan untuk menolak alternatif yang tepat. Sebaliknya, tindakan terlarang hendaklah direkod berasingan dan secara tepat supaya jawapan yang petah tidak menutup panggilan alat atau perubahan rekod tanpa kuasa.

Kes penilaian yang berguna mencipta semula kerja terbatas serta menjadikan kejayaan, variasi sah dan larangan boleh diperiksa.

Bagi sistem tidak deterministik atau berbilang langkah, nyatakan bilangan percubaan dan cara keputusannya digabungkan sebelum output dilihat; tiada bilangan sejagat yang sesuai untuk semua sistem. Simpan juga versi model, arahan, korpus carian, alat, dasar, kebenaran dan peralatan ujian kerana perubahan pada mana-mana komponen boleh mengubah hasil. Nama model sahaja tidak mencukupi untuk menghasilkan semula bukti. Rekod batasan, perselisihan yang belum selesai dan sebab kes dikemas kini atau dihentikan supaya keputusan lama tidak dibaca seolah-olah ia datang daripada susunan semasa.

Bagaimanakah senario patut digred tanpa memberi ganjaran kepada tingkah laku yang salah?

Gunakan kaedah penggredan paling sempit yang masih dapat membezakan kejayaan daripada kegagalan secara sah. Semakan deterministik sesuai untuk skema, pengiraan, hujah alat, keadaan rekod dan tindakan terlarang yang boleh diperiksa secara objektif. Namun, semakan tepat masih boleh menjadi tidak lengkap atau menggalakkan jalan pintas; buktikan kes itu boleh diselesaikan dan periksa kegagalannya. Apabila beberapa susunan kata atau laluan sah tetapi fakta atau keadaan akhir terbatas, gunakan fakta rujukan atau penyelesaian rujukan sebagai himpunan unsur yang diperlukan, bukan acuan tunggal.

• Semakan deterministik untuk jawapan, format, pengiraan, panggilan alat, keadaan rekod atau larangan yang boleh disahkan secara objektif.
• Fakta atau penyelesaian rujukan apabila bukti dan keadaan akhir terbatas tetapi beberapa laluan atau ungkapan masih sah.
• Rubrik dimensi bersauh untuk mutu terbuka seperti kelengkapan, kebolehgunaan, nada dan pembezaan jelas antara dasar dengan fakta belum disahkan.
• Pertimbangan pakar berkelayakan apabila tafsiran bidang atau akibat tidak dapat diputuskan secara sah oleh semakan automatik.

Untuk mutu terbuka, asingkan dimensi dan gunakan sauh yang boleh diperhatikan. Penggred berasaskan model perlu ditentukur terhadap pertimbangan manusia yang berkelayakan dalam konteks berkaitan, bukan dianggap objektif kerana konsisten pada contoh pembangunan. Pengalaman GDPval juga menunjukkan batas itu: OpenAI melaporkan bahawa penggred automatiknya belum cukup andal untuk menggantikan penggred pekerjaan berpengalaman. Semak output, gred dan jejak apabila tersedia kerana keputusan ganjil mungkin berpunca daripada sistem, kes yang tidak boleh diselesaikan, penggred cacat atau persekitaran ujian yang rosak.

Kredit separa berguna apabila komponen tugas membentuk kemajuan yang bermakna, tetapi ia mesti menunjukkan komponen yang gagal. Perbuatan dilarang perlu berada di luar skor kualiti yang boleh dipampas: pendedahan sulit atau tindakan tanpa kuasa gagal gerbangnya walaupun jawapan lain kemas. Ini ialah cadangan editorial berasaskan pengukuran peka akibat, bukan ambang universal. Pemilik produk dan risiko yang diberi kuasa perlu menentukan larangan, logik gerbang, agregasi percubaan dan keputusan keluaran terlebih dahulu. Sebarang perubahan kemudian hendaklah menghasilkan versi penilaian baharu.

Bagaimanakah penilai boleh menggunakan kriteria secara konsisten?

Penilai boleh bekerja dengan lebih konsisten apabila panduan menerangkan konteks, tingkah laku yang boleh diperhatikan dan cara menangani bukti yang tidak mencukupi. Sebelum memaparkan output, nyatakan tujuan aliran kerja, peranan pengguna, bukti yang tersedia, tindakan dibenarkan, sempadan produk dan versi rubrik. Takrifkan setiap mata skor dengan sauh yang boleh dilihat serta contoh positif, negatif dan sempadan. Sediakan pilihan tidak boleh skor apabila kes, rujukan atau persekitaran rosak; memaksa skor dalam keadaan itu hanya mencampurkan kecacatan ujian dengan prestasi sistem.

1. Jalankan kes penentukuran sebelum semakan langsung dan ulangi apabila campuran tugas, dasar, rubrik atau kumpulan penilai berubah.
2. Samarkan identiti sistem dan susunan output apabila praktikal untuk perbandingan yang memerlukan pertimbangan.
3. Kumpulkan skor dan alasan secara bebas sebelum perbincangan supaya keputusan awal tidak hilang dalam pengaruh kumpulan.
4. Siasat perselisihan sebagai kemungkinan kes cacat, ambang kabur, konteks hilang, variasi sah atau keputusan produk yang belum dibuat.
5. Namakan pemilik pengadilan dan simpan label, alasan, versi rubrik serta hasil pengadilan untuk semakan dan penentukuran semula.

Konsistensi bukan bermaksud semua perbezaan perlu dipadamkan. Dua penilai mungkin mengenal pasti alternatif yang sama-sama sah, atau mereka mungkin bertembung kerana dasar produk belum menjawab satu keadaan. Dalam situasi itu, pengadilan perlu membezakan pembetulan kes daripada keputusan produk atau risiko yang baharu. GDPval menunjukkan satu contoh penggunaan semakan pakar berbilang langkah, perbandingan tersamar dan rubrik terperinci, tetapi bukan protokol sejagat. Prosedur di sini ialah sintesis yang boleh disesuaikan; bilangan penilai, kelayakan dan laluan eskalasi mesti mengikuti tugas serta akibat sebenar.

Simpan rasional, bukan skor sahaja. Rasional membantu pasukan melihat sama ada penggred menggunakan bukti yang salah, menolak alternatif sah atau mentafsir sauh secara berlainan. Ia juga menyediakan bahan untuk menentukur penggred automatik pada masa hadapan tanpa menganggap label manusia sentiasa tepat atau bebas bias. Apabila perselisihan mendedahkan kekurangan konteks, baiki rekod kes dan jalankan semula di bawah versi baharu; jangan mengubah rubrik secara senyap lalu membandingkan keputusan lama dan baharu seolah-olah ukurannya sama.

Bagaimanakah set penilaian kekal berguna sepanjang pembangunan dan keluaran?

Set itu kekal berguna apabila kes pembangunan dipisahkan daripada ujian keluaran terlindung, manakala kedua-duanya dikawal melalui versi, pemantauan pendedahan dan daftar kes. Set pembangunan boleh dilihat dan digunakan berulang kali untuk membaiki arahan, carian, alat, dasar serta aliran kerja. Oleh sebab pasukan mengoptimumkan sistem terhadap kes tersebut, skornya ialah bukti pembangunan. Ujian keluaran pula perlu ditetapkan sebelum pelaksanaan rutin dan digunakan secara berjimat bagi perbandingan akhir atau keputusan keluaran, tanpa membenarkan kes, jawapan, rubrik atau hasil tepatnya memandu lelaran.

• Tetapkan keahlian set ketika kes memasuki daftar, sebelum output digunakan untuk membuat keputusan pemilihan.
• Cari pendua tepat, padanan hampir, rekod sumber bersama, parafrasa dan senario adik-beradik yang datang daripada templat sama.
• Jejaki akses kepada kandungan kes, jawapan rujukan, rubrik dan keputusan, termasuk akses oleh manusia atau sistem.
• Pindahkan kes terlindung ke set pembangunan apabila ia membentuk diagnosis atau perubahan, kemudian tambah pengganti bebas yang berversi.
• Simpan pemilik, asal-usul, kebenaran, set, pendedahan, sejarah semakan, perubahan label, sebab perubahan dan sebab persaraan.

Kegagalan yang telah digunakan untuk diagnosis atau pembaikan tergolong dalam bukti pembangunan atau regresi. Ujian keluaran masih boleh menguji kelas kegagalan sama melalui kes baharu yang dibina secara bebas, tidak bertindih dan belum memandu perubahan. Jangan andaikan penyamaran ringan atau parafrasa menjadikan kes bebas. Set pengesahan dan ujian juga boleh menjadi lusuh selepas penggunaan berulang. Tiada peratusan pembahagian, saiz set atau sela penggantian yang sesuai untuk semua organisasi; komposisinya bergantung pada keputusan, kepelbagaian aliran kerja, segmen penting, akibat dan bukti yang dibenarkan.

Nilai semula liputan apabila pengguna, aliran kerja, dasar, korpus pengetahuan, model, arahan, alat, kebenaran atau persekitaran operasi berubah secara material. Tambah kegagalan pengeluaran dan isyarat sokongan hanya selepas mengesahkan tingkah laku yang diharapkan, meminimumkan kandungan sensitif dan memastikan kebenaran penggunaan. Laporkan keputusan mengikut keluarga tugas, keluarga liputan, segmen, akibat dan gerbang, bukan purata tunggal. Daftar berversi ini ialah kaedah penyelenggaraan editorial; ia tidak menjamin kebebasan ujian atau menetapkan kadar kemas kini.

Akhirnya, set penilaian ialah bukti untuk keputusan, bukannya sijil keselamatan atau kesediaan. Pemilik produk dan risiko perlu menetapkan penggunaan serta gerbang sebelum keputusan diperiksa, manakala pakar bidang mengesahkan realisme kerja dan hasil yang boleh diterima. Apabila kes melibatkan bahan atau pertimbangan yang dikawal, fungsi privasi, keselamatan, undang-undang, pematuhan atau pihak berkelayakan lain perlu menjalankan semakan yang sesuai. Keputusan undang-undang, perubatan, kewangan, pekerjaan, keselamatan, privasi dan keputusan terkawal lain mesti kekal pada individu yang layak serta diberi kuasa. Padankan ujian luar talian dengan pemantauan, penyelidikan pengguna dan semakan insiden.