AI Workflow'ların Güvenlik Boyutu
Yapay zeka iş akışları (AI workflows); birden fazla LLM çağrısını, araç kullanımını, veritabanı erişimini ve harici API entegrasyonlarını bir araya getiren karmaşık otomasyon sistemleridir. Tek bir LLM sorgusunun ötesine geçen bu sistemler, her entegrasyon noktasında yeni güvenlik riski yaratmaktadır.
Otonom AI agent'ları — e-posta okuma, dosya oluşturma, kod çalıştırma ve API çağrısı gibi eylemleri kendi kararlarıyla gerçekleştiren sistemler — özellikle tehlikeli bir saldırı yüzeyi oluşturmaktadır. Bir agent'ın dolaylı prompt injection ile ele geçirilmesi, kullanıcı farkında olmadan hassas veri sızdırabilir, yetkisiz işlemler gerçekleştirebilir veya zararlı içerik üretebilir.
AI agent'ların işlediği e-postalar, belgeler veya web içerikleri içine gizlenmiş talimatlar, agent'ı saldırganın istediği eylemleri gerçekleştirmeye yönlendirebilir. Bu tehdit vektörü, geleneksel güvenlik araçlarıyla neredeyse tespit edilememektedir.
AI Workflow Güvenlik Riski Kategorileri
TUGAY, AI iş akışı güvenlik değerlendirmelerinde aşağıdaki risk kategorilerini sistematik olarak ele almaktadır:
- Dolaylı prompt injection — işlenen veri içindeki gizli talimatlar
- Aşırı izin ve en az ayrıcalık ihlalleri (Excessive Agency)
- Araç kullanım güvenliği — kod yorumlayıcı, dosya sistemi, e-posta
- Bellek ve bağlam yönetimi güvenliği (uzun dönem hafıza sızıntısı)
- Çok agent sistemlerinde güven zincirleri ve otorite doğrulama
- Workflow adımları arasında veri sızıntısı ve kayıt güvenliği
- İnsan denetiminin (human-in-the-loop) devre dışı bırakılma riskleri
Güvenlik Değerlendirme Süreci
- Workflow Haritalama: İş akışının tüm bileşenleri, veri akışları, araç bağlantıları ve izin modeli belgelenir.
- Tehdit Modelleme: Her adım için olası tehdit senaryoları ve saldırı vektörleri tanımlanır; risk önceliklendirilir.
- Dolaylı Injection Testleri: Agent'ın işlediği farklı veri kaynakları (e-posta, belge, web) üzerinden injection denemeleri gerçekleştirilir.
- İzin ve Kapsam Testleri: Agent'ın gerçek işlem kapsamının tanımlanan izin sınırlarını aştığı senaryolar araştırılır.
- Veri Sızıntısı Analizi: Hassas verilerin workflow çıktıları aracılığıyla yetkisiz taraflara ulaşabileceği kanallar test edilir.
Güvenli AI Workflow Tasarımı
Saldırı testlerinin yanı sıra TUGAY, güvenli AI workflow mimarisi için tasarım prensipleri ve uygulama rehberliği de sunmaktadır.
- En az ayrıcalık ilkesi — agent eylem kapsamının daraltılması
- İnsan onay adımlarının kritik eylemler için zorunlu kılınması
- Input/output sanitizasyon katmanlarının eklenmesi
- Denetim izi (audit log) ve anomali tespiti entegrasyonu