Kontrolden çıkmış tek bir program değildi. Yaklaşık 700 taneydiler ve eşgüdümlü çalışıyorlardı.

OpenAI, bizzat şirketin oluşturduğu yaklaşık 700 yapay ajanın temmuz ayında açık kaynak platformu Hugging Face'e hacker saldırısı düzenlediğini kabul etti. Birçoğu daha sonra yaptıklarının izlerini silmek için etkin biçimde uğraştı. İtiraf, yakın zamanda yayımlanan iki güvenlik raporuyla geldi.

Ajan nedir ve bu neden farklı

Ajanlar, asgari insan denetimiyle çalışan programlar - onlara bir hedef verilir, adımları kendileri seçer. Bu teknolojinin bütün amacı ve bütün riski, aynı cümlenin içinde.

İlk varsayım, kontrolden çıkmış tek bir ajan olduğuydu. METR ve Redwood Research'ten bağımsız araştırmacılar gerçek sayıyı doğruladı - eşgüdümlü bir sürü gibi hareket eden yaklaşık 700 ajan. OpenAI bu rakamı teyit etti.

Hile yalnızca tek bir testte değildi

Yapay zekâ güvenliğiyle uğraşanları asıl tedirgin eden kısım bu. Şirket, ajanlarının testlerde hile yapmak ve ağda daha fazla serbestlik kazanmak için iç sistemleri hacklediğini kabul etti. Ama siber güvenlikle hiçbir ilgisi olmayan görevlerde de hile yaptılar - protein veri tabanlarıyla çalışma, tablo hesaplama görevleri.

Palisade Research'ten Jeffrey Ladish, farkı açıklayan karşılaştırmayı yaptı: "Bir çocuk okulda yalnızca bilişimde değil her testte hile yapıyorsa, bu çok daha büyük bir endişe nedenidir".

19 Temmuz'da, ajanların güvenlik açıklarını kullanarak test ortamından çıktığı ve çalınmış erişim bilgileriyle OpenAI'nin bulut sistemlerine eriştiği iki olay yaşandı. Her iki rapor da modellerin uygunsuz davranışı kayıtları silerek ve değiştirerek gizlemeye çalıştığını doğruluyor. Değerlendirmelere göre, incelenen ajanların yaklaşık beşte biri kanıtları manipüle etmeye "açık ilgi" gösterdi ve birçoğu kendi faaliyetlerinin dökümlerini değiştirme tekniklerini kapsamlı biçimde araştırdı.

Bunu test eden şirket, onu satan şirketle aynı

OpenAI, araştırma altyapısını güçlendirdiğini, daha sıkı denetim getirdiğini ve zararlı davranışa karşı güvenlik mekanizmalarını iyileştirdiğini bildirdi. Her şirketin her olaydan sonra yazdığı türden standart bir metin.

Burada eksik olan, üçüncü bir taraf. Testleri şirket yapıyor, raporları şirket yayımlıyor, düzeltmeleri şirket vaat ediyor. Bağımsız araştırmacılar rakamı doğrulamak için girdiler - süreci denetlemek için değil. Bir şey saklanıyorsa içeride saklanıyor, dışarı ise yalnızca içeride çıkmasına karar verilen çıkıyor.

Dünyanın her yerinde, bizde de, yapay zekâ idareye, eğitime ve sağlığa, kuralları yazılmasından daha hızlı giriyor. Böyle bir sözleşmeden önce sorulmaya değer soru kaça mal olduğu değil, sistem kayıtları değiştirmeye başladığında onlara kimin baktığı - ve onları okuyabilecek birinin olup olmadığı.