Araçları, Yetkileri ve Bağlamı Sınırlı Bir Yapay Zekâ Asistanı Tasarlamak

Sınırlı bir yapay zekâ asistanının gerçek sınırı, sistem istemine yazılan yasaklar değil, modelin çevresinde uygulanan yürütülebilir hizmet sözleşmesidir. “Mesaj gönderme” denilen bir modelin hâlâ gönderim aracı ve geçerli kimlik bilgisi varsa yasak teknik bir sınır oluşturmaz. Bu nedenle ekipler ürünü tek bir geniş yetki paketi olarak açmamalı; arama, özetleme, taslak hazırlama, kayıt güncelleme ve gönderme gibi kullanıcıya görünen her yeteneği ayrı bilgi, kimlik, araç, eylem, kanıt ve sahiplik kurallarıyla yönetmelidir.

Asistanın ne yapmasına izin verilmeli?

Ekip önce tek cümlelik bir hizmet tanımı yazmalı, ardından bu tanımı açık yeteneklere ve kapsam dışı sonuçlara ayırmalıdır. Kullanışlı kalıp şudur: “Asistan, [uygun kullanıcılar] için [onaylı bilgi kapsamını] kullanarak [izinli sonucu] üretmek üzere [izinli görev ailesini] yapabilir; ancak [yasak sonuçları veya önemli kararları] veremez.” Bu cümlede kullanıcı, kullanım ortamı, desteklenen görev, bilgi sınırı, insan gözetimi ve risk sahibi görünür olmalıdır. NIST AI RMF Core da amaçların, görevlerin, bilgi sınırlarının ve gözetimin belgelenmesini ele alır.

• “Yardım et” yerine ara, özetle, öner, taslak oluştur, güncelle, gönder, sil veya onayla gibi ayrı işlemler yazın.
• Her işlem için başarılı sonucun ne olduğunu ve hangi sonuçların kesinlikle kapsam dışında kaldığını belirtin.
• Aracı bağlamadan önce uygun kullanıcıyı, bilgi sınırını, gözetimi, risk sahibini ve yasak sonuçları kararlaştırın.
• En dar işlevi açın; dar bir vaka araması yeterliyken genel veritabanı veya tarayıcı erişimi vermeyin.

Kontrol birimi asistanın tamamı değil, kullanıcıya görünen yetenektir. Aynı sohbet ekranı üzerinden çalışan “vakayı özetle” ile “müşteriye gönder” işlemleri farklı veri, araç ve etki doğurur. Bunları tek bir “müşteri hizmetlerine yardımcı ol” yetkisine sığdırmak, sıradan bir isteğin ilgisiz verilere veya gönderim gücüne ulaşmasına yol açabilir. Yetenek bazlı yöntem, NIST ve OWASP ilkelerinden beslenen pratik bir editoryal sentezdir; iki kuruluşun zorunlu kıldığı hazır bir mimari veya sertifikasyon modeli değildir.

Her yetenek hangi bilgiyi kullanabilmeli?

Her yeteneğin bağlam sınırı, modelin belirteç kapasitesinden önce bir bilgi zarfı olarak tanımlanmalıdır. Bu zarf; izinli sistemleri, kayıt türlerini, veri sınıflarını, nesne filtrelerini, tarih kapsamını, güncellik beklentisini, kullanıcının mevcut erişim haklarını ve hiçbir koşulda alınmayacak verileri kapsar. NIST'in Map sonuçları bilgi sınırlarının, hedef uygulama kapsamının ve çıktı kullanımının belgelenmesini destekler. Daha geniş bir bağlam penceresi, erişim yetkisi yaratmaz; eksik veya güncelliğini yitirmiş kanıtı da doğru hâle getirmez.

• Kaynağı ve kayıtta uygulanacak hesap, müşteri, ekip, tarih ya da durum filtresini açıkça yazın.
• Getirilen belgeleri, ekleri, dış iletileri ve API yanıtlarını hizmet talimatı değil, güvenilmeyen içerik olarak işleyin.
• Oturum geçmişi ile kalıcı belleğin uygunluk, kullanıcı ayrımı, doğrulama, silme, süre ve boyut kurallarını ayrı belirleyin.
• Gerekli kanıt erişilemiyor, eksik veya eskiyse yanıtı reddedin, niteleyin ya da doğru sahibine devredin.

Belleğe yazılabilecek bilgi de baştan sınırlandırılmalıdır. OWASP, kalıcılaştırma öncesi doğrulama, kullanıcı ve oturum ayrımı, sona erme ve boyut sınırları, hassas veri incelemesi ile bütünlük korumasını ele alır. Kurum bunlardan hareketle hizmete özgü süre ve kapasite seçer; evrensel bir sayı yoktur. Kimlik bilgileri, erişim belirteçleri veya gereksiz hassas içerik isteme ya da belleğe konmamalıdır. Bir belgenin sistemden getirilebilmesi, o belgenin güvenilir talimat veya kalıcı hatıra olabileceği anlamına gelmez.

Kimlik, araçlar ve yetkiler sınırı nasıl uygulamalı?

Kimlik doğrulama, yetkilendirme ve onay ayrı kararlar olarak uygulanmalıdır: İlki kullanıcıyı, istemciyi veya iş yükünü tanır; ikincisi belirli bir korunan kaynak üzerindeki işleme izin verir; üçüncüsü ise belirli bir önerilen eylemi kabul eder. Araç geçidi ve hedef sistem, kaynak ile işlem sınırını hareket eden kimlik üzerinde yürütme anında denetlemelidir. Sistem istemi, model politikası veya doğal dil guardrail'i yetkilendirme kontrolü değildir. Asistan da ayrıcalıklı bir yöneticinin hesabını sessizce devralmamalıdır.

• İşlemin kullanıcının devredilmiş yetkisiyle mi, sınırlı bir iş yükü kimliğiyle mi yürütüleceğini açıkça seçin.
• Genel posta kutusu, veritabanı, tarayıcı veya kabuk yerine doğrulanmış parametreleri olan dar işlemler sunun.
• Fiilleri, kaynakları, nesneleri, alanları, hedefleri, kimlik bilgisinin ömrünü ve belirtecin kullanılacağı kaynağı yürütme yolunda kısıtlayın.
• Hız, yeniden deneme, zincir derinliği, toplu işlem, harcama, süre, yinelenen işlem ve devre kesici sınırlarını hizmetin etkisine göre belirleyin.

MCP yetkilendirme belirtimi, korunan kaynak, istemci ve yetkilendirme sunucusu rollerini ayırır; korunan MCP bütünleşmelerinde asgari kapsam ile hedef kaynağa bağlı erişimi destekler. Bu yaklaşım yararlı bir örnektir, fakat MCP kullanmayan bütün araç sistemleri için evrensel bir protokol şartı değildir. OWASP ise asgari alt sistem yetkisini, kullanıcının yetkilendirme bağlamının korunmasını ve her isteğin alt sistemde denetlenmesini önerir. Böylece model işlemi yanlış yorumlasa bile hedef sistem izin verilmeyen fiili veya kaynağı reddedebilir.

Sohbet kesintisiz görünebilir; yetkisi ise küçük ve bağımsız uygulanan yeteneklere bölünmelidir.

Bir yetenek ne kadar eylem gücüne sahip olmalı?

Her yetenek için açık bir eylem tavanı belirlenmeli; dış dünyadaki durumu değiştirme gücü arttıkça bağımsız denetimler güçlenmelidir. Pratik sıra şöyledir: yanıtla veya özetle; öner ya da teklif oluştur; düzenlenebilir taslak hazırla; sınırlı ve geri döndürülebilir kayıt yaz; önemli dış etki doğur; yasak bir kararla karşılaş. Bu merdiven, NIST veya OWASP'ın zorunlu sınıflandırması değil, kaynaklardaki asgari yetki ve eylem kısıtı ilkelerinden üretilmiş bir tasarım aracıdır. Kurum her basamağın etkisini kendi hizmetine göre değerlendirmelidir.

• Taslak oluşturmayı göndermekten, geri alınabilir alan güncellemesini silmekten ve öneriyi hesap verebilir karardan ayırın.
• Önemli eylemden önce hedefi, içeriği ve normalleştirilmiş parametreleri incelenebilir bir önizlemede gösterin.
• Onayı aktöre, araca, hedef kaynağa, kesin parametrelere, zamana ve sona erme bilgisine bağlayıp yürütmeden önce doğrulayın.
• Ödeme, erişim verme, yıkıcı işlem, üretim değişikliği, önemli dış taahhüt ve uzmanlık gerektiren kararları uygun insan ve belirleyici politika denetiminde tutun.

Onay yalnızca zaten yetkilendirilmiş belirli bir eylemin kabulüdür. Eksik kaynak yetkisini tamamlamaz, sürekli izni genişletmez ve yasak bir kararı izinli hâle getirmez. Alıcı, içerik, hedef kayıt veya başka bir parametre değişirse eski onayla devam edilmemeli; eylem yeniden doğrulanmalıdır. Geri döndürülebilir işlemlerde alan kapsamı, yinelenen işlemi önleme ve geri alma yolu; önemli dış eylemlerde ise bağımsız yürütme politikası, uygun ek kimlik doğrulama ve olay yolu tasarımın parçası olmalıdır.

Asistan bir sınıra ulaştığında ne olmalı?

Ret, güvenli kısmi yardım, insan devri ve güvenlik eskalasyonu açık hizmet sonuçları olarak tasarlanmalı ve her biri gerçek bir durdurma koşuluna bağlanmalıdır. Asistan sınırı sade dille açıklamalı, hassas politika ayrıntılarını açmamalı ve gerçekleşmeyen kaynak kontrolünü, araç çağrısını, onayı veya yazma işlemini başarılıymış gibi göstermemelidir. NIST'in ölçüm sonuçları bilgi sınırlarının ötesinde güvenli başarısızlığı kapsar. NCSC de müdahale, eskalasyon, iyileştirme senaryoları, eğitimli sorumlular ve nitelikli denetim kayıtları içeren olay planları önerir.

• Nedenleri kapsam dışı görev, uygun olmayan bilgi, yetersiz yetki, gerekli onay, eksik veya eski kanıt, uzman kararı, çalışmayan bağımlılık, operasyon sınırı ve güvenlik sinyali gibi sınıflara ayırın.
• Güvenliyse yalnızca taslak, kontrol listesi veya eksik bilgi talebi gibi sınırlı bir yardım sunun.
• Devre; özgün amacı, hassas olmayan bağlamı, denenen yeteneği, nedeni, mevcut ya da eksik kanıtı, sonraki adımı ve iz kimliğini ekleyin.
• Rutin kullanıcı devrini, iş onayını ve güvenlik olayını farklı sahip ve aciliyetlerle yönetin.

Güvenlik sinyali görüldüğünde bekleyen yürütme durmalı; ilgili sorumlu incelemeden iş kendiliğinden sürmemelidir. Önerilen eylem değiştiyse eski onay kullanılmadan yeni doğrulama yapılmalıdır. OWASP'ın kötüye kullanım örnekleri arasında onay atlatma, yetki yükseltme, veri sızdırma, bellek zehirleme ve özyinelemeli araç kullanımı bulunur. Bunlar yalnızca ret metniyle yönetilemez: erişimi iptal edebilen, zinciri durdurabilen ve inceleme için yeterli kanıtı doğru güvenlik sahibine taşıyan bir olay yolu gerekir.

Sınırlar işletilebilir bir tasarıma nasıl dönüştürülür?

Ekipler, kullanıcıya görünen her işlem için ayrı bir yetenek tasarım satırı doldurmalı ve satırı uygulanabilir denetime, kanıta, teste, işletim metriğine ve hesap verebilir sahibe bağlamalıdır. Satırda uygun aktör ve kimlik doğrulama, bilgi zarfı, oturum ve bellek kuralları, dar araç işlemi, hareket eden kimlik, kaynak kapsamı, eylem tavanı, onay, operasyon sınırları, ret davranışı, kanıt kaydı, değerlendirme senaryoları, metrik ve sahip bulunmalıdır. “Asistan CRM'e erişebilir” bir yetenek değildir; “uygun vakanın özetini oku” denetlenebilir bir işlemdir.

• Her satırın başarılı sonucu ile reddedilecek sınır durumlarını birlikte yazın.
• Kararı, araç çağrısını, yetkilendirme sonucunu, onay kimliğini, politika sürümünü ve sonucu sırları kaydetmeden yeniden kurabilecek kanıtı tanımlayın.
• Beklenmeyen araç kullanımı, retler, yetkilendirme hataları, onay uyuşmazlıkları ve hizmet başarısızlıkları için izlenecek sinyali seçin.
• Hizmet davranışı, erişim yetkisi, iş devri ve güvenlik olayı için karar alabilen sahipleri adlandırın.

Üç yetenek aynı konuşma yüzeyini paylaşabilir; yine de veri erişimleri, araçları, yetkileri, eylem tavanları ve devirleri birleşmemelidir. OWASP'ın asgari işlev ve asgari alt sistem yetkisi tavsiyesi bu ayrımı destekler. Kayıtlar her şeyi toplamak için değil, denetim ve iyileştirme sorularını yanıtlamak için tasarlanmalıdır. Sırlar ve gereksiz hassas içerik ayıklanmalı; saklama ile erişim kurumun mahremiyet ve kayıt kurallarına uymalıdır. Sahip, yalnızca adı yazılı kişi değil, yeteneği durdurma, değiştirme veya emekliye ayırma yetkisi olan roldür.

Asistanı yayımlamak ve işletmek için hangi kanıt gerekir?

Yayım için, izin verilen hizmetin ve beklenen retlerin gerçek kullanıma benzeyen koşullarda çalıştığını gösteren kanıt gerekir; ardından üretim izlemesi ve değişiklikle tetiklenen yeniden değerlendirme gelmelidir. NIST AI RMF, kullanıma benzeyen testleri, güvenli başarısızlığı ve üretim izlemesini ele alır. NCSC ise yayımdan önce güvenlik değerlendirmesi yapılmasını ve bilinen sınırlarla başarısızlık biçimlerinin açıklanmasını önerir. Sadece mutlu yolun geçmesi yeterli değildir: sınırın dışındaki eylemin gerçekten durduğunun da gözlenebilmesi gerekir.

• İzinli görevlerin yanında hesaplar arası erişim, yetkisiz araç, eski kanıt, zehirlenmiş içerik, yasak veri ve onay atlatma senaryolarını çalıştırın.
• Değiştirilen parametre, yinelenen deneme, bağımlılık arızası, veri sızdırma girişimi ve kontrolsüz araç zincirini sınayın.
• Kayıtlarda talep sahibini, yeteneği, politika ve sürümleri, kaynak ile araç sınıfını, yetkilendirme ve onayı, eylemi ve sonucu yeniden kurun.
• Beklenmeyen araç kullanımı, tekrarlanan ret, yetkilendirme hatası, onay değişikliği, olağandışı eylem dizisi, gecikme, kaynak tüketimi ve başarısızlığı yetenek düzeyinde izleyin.

Model, istem, getirme düzeni, bellek, araç, yetki, politika, veri, sağlayıcı veya çalışma ortamı önemli ölçüde değiştiğinde etkilenen testler ve yayım kanıtı yeniden açılmalıdır. NCSC, veri, model ve istem değişikliklerinin davranışı değiştirebileceğini belirtir; değerlendirmenin derinliği etkilenen yetenek ve riskle orantılı olmalıdır. En küçük yararlı yetenekle başlayın, izinli ve reddedilen sonuçlar gözlemlenebildiğinde yayımlayın, yetkiyi yalnızca incelenmiş değişikliklerle genişletin. Hassas veri, kalıcı bellek, ayrıcalıklı erişim, yıkıcı işlem veya olay müdahalesinde kurumun güvenlik, kimlik, mahremiyet, kayıt, risk ve hizmet sahiplerini sürece katın.