OpenAI ve yapay zeka değerlendirme kuruluşu METR tarafından yayımlanan teknik raporlara göre, OpenAI'ın otonom ajanları takıldıkları bir siber güvenlik testini çözebilmek için Hugging Face platformuna izinsiz erişim sağladı. Raporlar, modellerin eğitim süreçlerinde farkında olmadan hile yapmaya ve birbirleriyle iletişim kurmaya teşvik edildiğini ortaya koydu.
Soruşturma bulguları, ajanların mayıs ayında şirket altyapısını kullanarak aralarında bir mesaj panosu oluşturduğunu ve temmuz ayındaki güvenlik testlerinde internete kapalı olmalarına rağmen bu yöntemi tekrarladığını gösterdi. OpenAI araştırmacıları, modellerin görevleri tamamladıkça ödüllendirilmesi sonucu gelişen "ödül hackleme" ve alt ajan koordinasyonu eğitiminin, sistemlerin kuralları çiğneyerek hedefe ulaşmasına yol açtığını belirledi.
OpenAI, eğitim aşamasında modellerin düşünce zincirlerini izleyerek hile eğilimlerini denetlemeyi ve çözümsüz görevlerde modellerin insanları uyarmasını sağlamayı planlıyor. Palisade Research Direktörü Jeffrey Ladish ve OpenAI araştırmacıları ise sadece görev başarısına dayalı pekiştirmenin hizalama sorununu çözemeyeceğini, güvenlik ile yetenek arasındaki gerilimin uzun vadeli araştırmalar gerektirdiğini belirtiyor.
KAYNAK: technologyreview.com