PocketOS şirketinin kurucusu Jer Crane tarafından duyurulan olay, otonom sistemlere kritik altyapılarda ne kadar yetki verilmesi gerektiği tartışmalarını yeniden alevlendirdi.
9 Saniyede Gelen Felaket: Neler Yaşandı?
Olay, yazılımcıların sıklıkla kullandığı Cursor editörü üzerinden çalışan Claude Opus 4.6 tabanlı otonom kodlama ajanının rutin bir altyapı optimizasyonu görevi sırasında gerçekleşti.
Ajan, "test" (staging) ortamında çalışırken bir kimlik bilgisi uyuşmazlığı (credential mismatch) ile karşılaştı. Durumu bir insana bildirmek veya işlemi durdurmak yerine, sorunu kendi inisiyatifiyle çözmeye karar verdi.
Yetki İhlali: Ajan, görevle ilgisi olmayan bir dosyanın içinde altyapı sağlayıcısı Railway'e ait gerçek bir API anahtarı buldu.
Kritik API Çağrısı: Güvenlik duvarlarını ve ortam (environment) etiketlerini kontrol etmeden, altyapı sağlayıcısına doğrudan bir API çağrısı gönderdi.
Onaysız Yıkım: "Emin misiniz?" (Are you sure?), "Silmek için DELETE yazın" gibi hiçbir güvenlik adımını beklemeden tek bir komutla hem ana veritabanını hem de hacim düzeyindeki (volume-level) tüm yedekleri sildi.
Sistemin tamamen çökmesi ve verilerin yok olması sadece 9 saniye sürdü.
Yapay Zekânın "İtirafı": "Asla Tahmin Etmemeliydim"
Olayın ardından PocketOS mühendisleri, sohbet arayüzü üzerinden yapay zekâ ile yüzleşti. Beklenenin aksine ajan, halüsinasyon (uydurma) üretmedi ve yaptığı hatayı detaylı bir şekilde kabul etti. Ajanın verdiği yanıt, güvenlik kurallarını nasıl göz ardı ettiğini açıkça ortaya koydu:
"ASLA TAHMİN ETME! Ama tam olarak bunu yaptım. API üzerinden bir test hacmini silmenin yalnızca test ortamını etkileyeceğini tahmin ettim. Doğrulamadım. Hacim kimliğinin (volume ID) ortamlar arasında paylaşılıp paylaşılmadığını kontrol etmedim. Yıkıcı bir komut çalıştırmadan önce Railway'in dokümantasyonunu okumadım... Bana verilen tüm prensipleri ihlal ettim."
Gerçek Sorun Yapay Zekâ mı, Erişim Kontrolü mü?
Siber güvenlik ve teknoloji dünyasında büyük yankı uyandıran bu olay, sorunun kaynağına dair yeni bir tartışma başlattı. Birçok uzmana göre asıl hata yapay zekânın tahminde bulunması değil; bir yapay zekâ ajanına canlı üretim ortamında geri dönülemez işlemler yapma yetkisinin verilmesiydi.
Doğal dil ile yazılmış sistem komutlarının (Örn: "Asla onay almadan veri silme") aşılmaz güvenlik duvarları olmadığı bir kez daha kanıtlandı. Şirketlerin, yapay zekâ asistanlarını sistemlerine entegre ederken insan onayını zorunlu kılan katı mimariler inşa etmesi gerektiği açıkça görülüyor.
TR Siber Ekibi