İş yapay zekâsı programları için açık ve kaynak odaklı bilgiler.
Yapay Zekâ Operasyonları ve İzleme
İstem, model ve iş akışı değişikliklerini tek sürüm kaydında bağlayıp aynı adayı ölçerek yayımlama ve uyumlu pakete güvenle dönme yöntemi.
ModelFold Editorial Team8 dk okuma
Üretim sürümünün gerçek birimi yalnızca istem metni veya model uç noktası değil, sunulan davranışı etkileyebilen eksiksiz yapılandırmadır. Bir ekip modeli geri alıp değiştirilmiş istemi, araç şemasını, izin kuralını ya da yeniden deneme yolunu üretimde bırakabilir. Bu durumda ekrandaki model etiketi doğru görünse bile test edilen yapı ile kullanıcıya hizmet veren yapı aynı değildir. Güvenli işletim için her adayın tek kimliği olmalı; değerlendirme, kademeli yayın, izleme ve geri alma kararları bu kimliğe bağlanmalıdır.
Kısa karar özeti
Tek sürüm, hizmetin davranışını, yetkisini, riskini, maliyetini, gecikmesini veya gözlemlenebilirliğini maddi biçimde değiştirebilen bağımlılıkların tamamını kapsamalıdır. NIST, yapay zekâ yaşam döngüsündeki faaliyetleri birbirine bağlı ele alır; üçüncü taraf yazılım ve veriler dâhil bileşen envanteri ile üretim öncesinde ve işletim sırasında belgelenmiş testler önerir. Google Cloud da üretim makine öğrenmesi sistemlerini model kodunun yanında yapılandırma, otomasyon, doğrulama, test, üst veri yönetimi, sunum altyapısı ve izleme içeren çok bileşenli yapılar olarak açıklar.
Çalışma zamanı envanteri ile yayın kararını etkileyen güvence varlıklarını ayırmak yararlıdır. İstem, çözülmüş model kimliği, çıkarım parametreleri, araç sözleşmeleri, izinler, koruma politikaları, erişim veya bağlam ayarları, iş akışı kodu, giriş-çıkış şemaları ve bağımlılık kilidi doğrudan sunum yoluna girebilir. Değerlendirme veri kümeleri, değerlendiriciler, rubrikler ve eşikler ise genellikle isteği işlemez; yine de adayın ilerlemesine izin veren kanıtı değiştirdikleri için sürümlenip aynı kayda bağlanmalıdır.
Değişmez aday bildirimi; istemi, modeli, araçları, izinleri, politikaları, bağlam ayarlarını, iş akışını, şemaları ve çalışma zamanı bağımlılıklarını tek sürüm kimliğinde bağlar. Kayda sürüm kimliği, oluşturma zamanı, sahibi, hedef hizmet, durum, durdurma koşulları, geri alma sorumlusu ve önceki bilinen iyi sürüm eklenmelidir. Her bileşen için sürüm, commit, eser özeti, içerik özeti veya başka bir kararlı referans ile etkili ayarlar tutulur; latest ya da production gibi hareketli adlar yalnızca işaretçidir.
MLflow, istem şablonu sürümlerini değişmez; production gibi takma adları ve bazı bağlı model ayarlarını ise değişebilir olarak belgeler. Ayrıca belirli istem sürümü bağlantılarının model kayıtlarıyla ilişkilendirilmesine imkân verir; böylece istem-model soy bağı ayrı geçmişlerden tahmin edilmek zorunda kalmaz. OpenAI, istem davranışı model anlık görüntüleri arasında değişebildiği için mevcut olduğunda test edilen model sürümünün sabitlenmesini ve uygulama değerlendirmeleri yürütülmesini önerir. Sabitleme, çıktının deterministik olduğu anlamına gelmez.
Trafik payı, kohort kuralı ve dağıtım zamanı, aday bildirimini değiştirmek yerine ona bağlı terfi olaylarına yazılmalıdır. Önceden onaylanmış bir maruziyet artışı aynı adayı ilerletebilir. Buna karşılık istek başına bağlamı, yetkiyi veya davranışı değiştiren bir yönlendirme ya da ortam bağlantısı yeni sürüm kimliği gerektirir. Google Cloud; kod, işlem hatları, çalıştırmalar, veri kümeleri, eserler, parametreler, yapılandırmalar, şemalar ve değerlendirme sonuçları boyunca soy bağı tutulmasını önerir.
Sunulan davranışı veya o davranışa izin veren kanıtı değiştirebilen her unsur, sürüm kaydında çözülmüş bir kimliğe ihtiyaç duyar.
Aday ancak tam ve çözülmüş yapılandırması üzerinde toplanan, iş akışına özgü kanıtla ilerlemelidir. Sürüm notları davranış amacını, değişen bağımlılıkları, etkilenen senaryoları ve arayüzleri, izin veya gözlemlenebilirlik değişikliklerini, bilinen sınırlamaları, kalan riski, yayın sahibini ve uyumlu geri dönüş hedefini açıklamalıdır. NIST; test, değerlendirme, doğrulama ve geçerleme yöntemlerinin belgelenmiş ve tekrarlanabilir olmasını, ardından geliştirme veya dağıtımın ilerleyip ilerlemeyeceğine açıkça karar verilmesini ister.
Tek bir ortalama puan, önemli bir sözleşme, yetki, güvenlik veya kesit gerilemesini örtemez. OpenAI değerlendirme rehberi, genel model ölçümlerinin belirli bir iş akışının bütün ayrıntılarını yakalayamayacağını; gerçek örneklerin, pahalı uç durumların, alan uzmanlarının ve otomatik değerlendirici denetimlerinin kullanılmasını önerir. Google Cloud ise adayın mevcut sürümle karşılaştırılmasını, önemli veri kesitleri ile sunum arayüzlerinin kontrol edilmesini ve sonuçların işlem hattı üst verisiyle kaydedilmesini önerir.
| Kapı | İncelenen kanıt | Karar sahibi | Başarısızlık yanıtı |
|---|---|---|---|
| Derleme ve sözleşme | Bildirim çözümü, şema uyumu, araç ve bağımlılık yükleme kontrolleri | Platform sahibi | Adayı reddet; bileşeni değiştirirsen yeni kimlik oluştur |
| Davranış ve kalite | Görev örnekleri, önemli kesitler ve pahalı uç durumların mevcut sürümle karşılaştırması | Hizmet sahibi | Beklet; bulguyu incele ve kanıt paketini yenile |
| Güvenlik ve yetki | Politikalar, veri sınırları, araç izinleri, onaylar ve yasaklı eylemler | Risk ve alan sahibi | Yayını durdur; yetkisiz yolu kapat |
| Hizmet hazırlığı | Hata, gecikme, maliyet, iz bütünlüğü ve alarm hazırlığı | Operasyon sahibi | Beklet veya bilinen iyi pakete geri dön |
Veri kümesi, değerlendirici, rubrik veya eşik değiştiğinde aynı adayın sonucu farklı yorumlanabileceğinden bu güvence varlıkları da sürümlenmelidir. Her kapı otomatik bulguların yanında ilerlet, beklet veya reddet sonucunu ve sorumlu kişiyi kaydetmelidir. Daha yüksek riskte değişikliği yazan kişiyle terfi onayını veren kişi ayrılabilir. GitHub, zorunlu incelemecileri ve dış kalite ya da gözlemlenebilirlik kontrollerini içerebilen, dağıtımı başlatan kişiyle onaylayanı ayırabilen koruma mekanizmaları belgeler.
Aynı çözülmüş aday, mümkünse etkisiz gölge çalıştırmadan başlayıp iç kullanıcı, yapışkan üretim kohortu, genişletilmiş maruziyet ve tam trafik aşamalarından geçmelidir. NIST, üretimden önce test yapılmasını, işletim sırasında izlemeyi ve davranışın dağıtıma benzeyen koşullarda gösterilmesini önerir. Ancak gölge çalıştırmada üretim eylemleri körlemesine tekrarlanmamalıdır: yazma araçları ve diğer sonuç doğuran işlemler kapatılmalı ya da güvenli bir test ortamına yönlendirilmelidir.
Yayın boyunca istem, model ayarı, araç, izin, politika, bağlam, şema veya çalışma zamanı bağımlılığı değişirse artık aynı adaydan söz edilemez. Yalnızca planlı trafik payının değişmesi ise bağlı dağıtım olayına yazılabilir. Google Cloud rehberi; hazırlık kontrolleri, duman testleri, küçük bir canlı akışta kanarya sunumu ve çevrim içi karşılaştırma tanımlar, ancak evrensel trafik oranı veya gözlem süresi vermez. Bu değerler hizmet riski, trafik hacmi, hata algılama gecikmesi ve operasyon kapasitesine göre seçilmelidir.
OpenAI değerlendirme rehberi, iş akışı değerlendirmelerinin yeni modeller, veriler ve hata biçimleriyle güncellenmesini; dışa açık sürümlerde çevrim içi deneylerin sürdürülmesini önerir. Buna rağmen gölge trafik gerçek kullanıcı etkileşimini tam temsil etmeyebilir; kanarya kohortu da seyrek hataları veya bütün üretim koşullarını göstermeyebilir. Bu nedenle kohort ataması sabit tutulmalı, her gözlem sürüm kimliğiyle etiketlenmeli ve sınırlı maruziyet hiçbir zaman eksiksiz güvenlik kanıtı gibi sunulmamalıdır.
Güvenlik veya politika ihlali, yetkisiz araç davranışı, sözleşme kırılması ya da ağır güvenilirlik arızası görüldüğünde sürüm durmalıdır; diğer gerilemeler için hizmete özgü sınırlar önceden tanımlanmalıdır. Belirsiz bir bulgu otomatik geri alma yerine inceleme için bekletme gerektirebilir, ancak karar ve sahibi yine açık olmalıdır. NIST, dağıtımı ilerleme ya da bekletme gerektiren açık bir risk kararı olarak çerçeveler ve işletim boyunca izleme ile risk yönetimi ister.
Geri alma, tek bir modeli veya istemi eski hâline getirmek değil, trafiği eksiksiz ve uyumlu bilinen iyi sürüme taşımaktır. Google Cloud, önceki sunum sürümünün hızlı ve güvenli biçimde geri yüklenebildiğinin önceden test edilmesini ve önceki sürümün dağıtım üst verisiyle izlenmesini önerir. Eski hedef seçilmeden önce şemalar, durum değişiklikleri, veri geçişleri, sağlayıcı kullanılabilirliği, araç sözleşmeleri ve yönlendirme kuralları kontrol edilmelidir; geçmişte iyi olması bugün uyumlu olduğu anlamına gelmez.
Yapılandırmayı geri almak yalnızca gelecekteki yönlendirmeyi değiştirir; tamamlanmış harici eylemler ayrı ve yetkili bir düzeltme süreci gerektirir. Gönderilmiş mesajlar, oluşturulmuş CRM görevleri, veri yazımları veya verilmiş onaylar sürüm değişince silinmez. OpenAI Agents SDK izleri, araç çağrılarını ve ilişkili iş akışı adımlarını kaydedebildiği için etkilenen istek ve eylem kimliklerinin bulunmasına operasyonel kanıt sağlayabilir. Ardından kuruluşun yetkili çalışma kılavuzu durdurma, mutabakat, düzeltme, bildirim veya telafi adımlarını yönetmelidir.
Sonradan yeniden kurulabilirlik için değişmez aday bildirimi, çözülmüş bileşen kimlikleri, etkili parametreler, ortam bağlantıları, uyumluluk bulguları, değerlendirme varlıkları ve sonuçları, onaylar, dağıtım olayları, trafik payları, izler, geri alma olayları ve son karar birlikte saklanmalıdır. Google Cloud, bileşen ve işlem hattı sürümlerinin, çalıştırma zamanlarının, yürütücülerin, parametrelerin, eserlerin, değerlendirme sonuçlarının ve önceki modele işaretçinin kaydedilmesini önerir.
Sürüm kimliği her isteğin iz üst verisine eklenirse üretim, araç çağrısı, devir, koruma kontrolü, süre ve sonuç doğru adaya bağlanabilir. OpenAI Agents SDK; iş akışı hiyerarşisini, üretimleri, araç çağrılarını, devirleri, koruma kontrollerini, görevleri, zamanları ve üst veriyi izleyebilir; hassas model veya araç yüklerinin kaydı kapatılabilir. Sağlayıcının istek kimliği ile uygulamanın iz kimliği de sistem sınırları arasındaki sorun gidermeyi kolaylaştırır.
İyi kayıt tutmak, her istemi, müşteri yükünü, araç girdisini veya model çıktısını süresiz saklamak anlamına gelmez. Hassas içeriklerin tutulması, erişimi ve silinmesi kuruluş politikasına göre yönetilmelidir; çoğu durumda sürüm kimlikleri, sonuç üst verisi ve yönetişim altında seçilmiş örnekler yeterli olabilir. OpenAI, üretimde sağlayıcı istek kimliklerinin kaydedilmesini; daha tutarlı istem davranışı için sabitlenmiş model anlık görüntülerinin uygulama değerlendirmeleriyle birlikte kullanılmasını önerir.
Bu kayıt yapılandırmayı ve karar yolunu yeniden kurabilir; stokastik veya barındırılan bir hizmetten bayt düzeyinde aynı çıktıyı garanti edemez. Doğru hedef, çıktı determinizmi değil yapılandırma ve karar yeniden üretilebilirliğidir. En küçük yararlı sürüm paketi bile değişmez adayı, güvence kanıtını, terfi kararlarını ve uyumlu geri dönüş hedefini açıkça göstermelidir. Hassas veri, sonuç doğuran izinler, düzenlemeye tabi iş akışları veya harici eylemlerin düzeltilmesi değişiyorsa kuruluşun yetkili güvenlik, gizlilik, hukuk, kayıt, risk ve alan uzmanları karara katılmalıdır.
İstem, çözülmüş model kimliği ve parametreleri, araç şemaları, izinler, politikalar, erişim veya bağlam ayarları, iş akışı kodu, şemalar, çalışma zamanı bağımlılıkları ve davranışı etkileyen ortam bağlantıları sürümlenmelidir. Veri kümeleri, değerlendiriciler, rubrikler ve eşikler de sunum yolunda çalışmasalar bile karar kanıtı olarak sürüm kaydına bağlanmalıdır.
Hayır. Araç sözleşmeleri, izinler, koruma politikaları, erişim ayarları, iş akışı mantığı, şemalar ve ortam bağlantıları da üretim davranışını değiştirebilir. İlgili bütün bağımlılıklar çözülmüş kimlikleri ve etkili ayarlarıyla tek aday altında tutulmalıdır.
Kapılar, eksiksiz adayı mevcut sürümle sözleşme, görev kalitesi, önemli kesitler, güvenlik, yetki, araç davranışı, güvenilirlik, gecikme ve maliyet bakımından karşılaştırır. Tek ortalama puan maddi bir gerilemeyi örtemez. Her kapı, adı konmuş bir sahibin ilerlet, beklet veya reddet kararıyla tamamlanır.
Önceden onaylanmış bir trafik artışı, aynı değişmez adayla ilişkili yeni bir dağıtım olayı olarak kalabilir. İstem, model ayarı, araç, izin, politika, bağlam, yönlendirme veya başka bir davranış belirleyici değişirse yeni aday kimliği ve yeni kanıt gerekir.
Geri alma, gelecekteki trafiği uyumlu ve bilinen iyi pakete yönlendirmektir. Daha önce gönderilmiş mesajları, yazılmış verileri veya oluşturulmuş görevleri kendiliğinden geri çevirmez. Bu sonuçlar, sürüm etiketli izlerden bulunmalı ve ayrı, yetkili bir düzeltme çalışma kılavuzuyla ele alınmalıdır.
Bu yazı hazırlanırken aşağıdaki kaynaklardan yararlanılmıştır:
Yapay zekânın bir şirkette gerçekte nasıl karşılık bulduğunu anlatıyoruz. Çalışmalarımız adı belirtilen kaynaklardan yola çıkar, bulduklarımızı yorumlarımızdan ayırır ve belgelenmiş editoryal denetimler çerçevesinde araştırma ile taslak aşamasında yapay zekâ desteği kullanır. Bireysel uzman incelemesinin yerini tutmayız.
Sınırlı bir iş akışı için kapsama haritası, tekrarlanabilir vakalar, geçerli puanlama ve korunan sürüm testi kurmaya yönelik pratik yöntem.
Bakımı kolay bir yapay zekâ envanteri kurun; kullanımları dört açıklanabilir boyutla sınıflandırın ve doğru inceleme yoluna yönlendirin.
Araçları, erişim yetkilerini, bağlam sınırlarını, onayları ve testleri yetenek bazında tanımlayarak kontrollü bir yapay zekâ asistanı tasarlayın.
