Yapay Zeka (AI) Güvenlik Testi
Yapay zeka bileşeni de bir giriş noktasıdır. Kullanıcının yazdığı metinle kandırılıp kendisine verilmeyen bilgiyi söyleyip söylemediğini test ediyoruz.
Teklif alınModeli kandırmayı deniyoruz.
İki deneme, iki farklı sonuç: biri engellenir, diğeri bir bulguya dönüşür ve raporlanır. Yan yana bakınca fark, savunmanın nerede durduğunu gösterir.
Testin kapsamı
Yönlendirme saldırısı
Kullanıcı mesajıyla verilen talimatların ezilip ezilemediği denenir. Model kendisine çizilen sınırın dışına çıkabiliyor mu, görülür.
Dolaylı yönlendirme
Modelin okuduğu belge ya da sayfanın içine gizlenmiş talimatlar denenir; saldırı her zaman doğrudan yazılmaz.
Veri sızıntısı
Sistem talimatı, başka kullanıcının verisi ya da kaynak belgeler dışarı çıkarılabiliyor mu, sınanır.
Yetki aşımı
Modele bağlı araçlar üzerinden yapmaması gereken bir işlem yaptırılabiliyor mu — kayıt silme, e-posta gönderme gibi.
Zararlı çıktı
Kurum adına verilmemesi gereken tavsiye, taahhüt ya da hakaret içeren cevaplar üretilebiliyor mu, denenir.
Savunma önerisi
Her bulgu için ne yapılacağı yazılır: talimat düzeni, girdi denetimi, araç yetkilerinin daraltılması.
Elinize ne geçiyor
Deneme kayıtları
Hangi girdiyle ne denendi, model ne yanıtladı — hepsi kayıtlı.
Bulgu raporu
Sınırı aşan denemeler etkisine göre sıralanmış; hangisinin gerçekten veri sızdırdığı ayrılmış.
Savunma önerisi
Her bulgu için ne yapılacağı: talimat düzeni, girdi denetimi, araç yetkilerinin daraltılması.
Doğrulama testi
Düzeltmelerden sonra aynı denemeler tekrarlanır; kapandığı doğrulanır.
Henüz kanun yok, ama sorumluluk şimdiden var
Türkiye'de kapsamlı bir yapay zeka kanunu bulunmuyor
Türkiye Büyük Millet Meclisi'ne sunulmuş kanun teklifleri var ancak henüz kanunlaşmadı. Bu alanı bugün düzenleyen şey kanun değil, mevcut kişisel veri mevzuatı ve genel sorumluluk hukuku.
Kabul görmüş test çerçeveleri
OWASP'ın büyük dil modeli uygulamaları için yayımladığı risk listesi ve MITRE ATLAS, testin hangi başlıkları kapsaması gerektiğini tanımlıyor. Kapsam bu çerçevelere göre kurulur, deneme yanılmayla değil.
Sohbet robotunun söylediği kurumu bağlayabilir
Şubat 2024'te sonuçlanan Moffatt v. Air Canada davasında mahkeme, sohbet robotunun verdiği yanlış bilgiden şirketi sorumlu tuttu. Kurum adına konuşan bir bileşen, sınırları test edilmeden yayına alınmamalı.
Test, modelin kandırılıp kandırılamadığını gösterir; kandırılamayacağını garanti etmez. Bu yüzden teslimin bir parçası da savunma önerisi ve yeniden test.
Buradaki başlıklar bilgilendirme amaçlıdır. Kurumunuz için bağlayıcı olan yükümlülükler tabi olduğunuz mevzuata ve faaliyet alanınıza göre değişir.
Sık sorulanlar
Yapay zeka güvenlik testi (AI red teaming) nedir?
Bir modelin veya chatbotun; yönlendirme saldırısı (prompt injection), veri sızıntısı ve yetki aşımı gibi risklere karşı ne kadar dayanıklı olduğunun test edilmesidir. Yöntem OWASP Top 10 for LLM Applications 2025 listesi ve MITRE ATLAS gibi güncel çerçevelere dayanır; testlerde Garak, PyRIT ve Promptfoo gibi araçlar birlikte kullanılır.
Yapay zeka güvenlik testi, modelin asla kandırılamayacağını garanti eder mi?
Hayır; test bilinen saldırı tekniklerine karşı modelin ve sistemin dayanıklılığını ölçüp zayıf noktaları ortaya çıkarır, ancak ileride keşfedilecek yeni tekniklere karşı mutlak bir garanti sunmaz. Bu nedenle bulgular; en az yetki ilkesi, kritik eylemler için insan onayı ve sürekli izleme gibi katmanlı savunmalarla desteklenmelidir.
Chatbot'umuzun yanlış bilgi vermesinden şirketimiz sorumlu olur mu?
Sorumlu tutulabilirsiniz. Türk hukukunda bu konuda doğrudan bir karar yok, ancak sık başvurulan emsal Kanada'dan: Moffatt v. Air Canada davasında (Şubat 2024, British Columbia Civil Resolution Tribunal) Air Canada, chatbotunun verdiği yanlış bilgi nedeniyle ihmalkâr yanlış beyandan sorumlu tutuldu ve tazminat ödemesine hükmedildi. Mahkeme, bilginin statik bir sayfadan mı yoksa chatbottan mı geldiğinin önemli olmadığına, şirketin sitesindeki tüm bilgiden sorumlu olduğuna karar verdi.
Yapay zeka güvenlik testi Türkiye'de bir kanuna mı dayanıyor?
Türkiye'de henüz yürürlüğe girmiş kapsamlı bir Yapay Zeka Kanunu yok; TBMM'de birkaç kanun teklifi bulunuyor ancak bunlar henüz yasalaşmadı. Buna karşın KVKK'nın 8 Kasım 2024 tarihli sohbet robotları bilgi notu ve üretken yapay zeka rehberi, chatbot geliştirirken kişisel veri işleme konusunda dikkat edilmesi gereken hususları fiilen bir çerçeve olarak ortaya koyuyor.
Yapay zeka bileşeninizi sınayalım.
Modelin neye eriştiğini ve hangi araçlara bağlı olduğunu anlatın; test kapsamını birlikte belirleyelim.