Anthropic'in Yapay Zeka Güvenliği Araştırmacısı İstifa Mektubunda Dünyanın 'Tehlikede' Olduğuna Dair Uyarıda Bulundu

Anthropic'in Yapay Zeka Güvenliği Araştırmacısı İstifa Mektubunda Dünyanın 'Tehlikede' Olduğuna Dair Uyarıda Bulundu

Özet

Anthropic'te yapay zeka güvenliği üzerine araştırma yapan bir ekibe liderlik eden bir çalışan, Pazartesi günü şirketten ayrıldı ve kamuoyuna açık istifa mektubunda, herhangi bir ayrıntı vermeden, dünyanın "tehlikede" olduğu ve "değerlerimizin eylemlerimizi yönetmesine" izin vermenin zorluğu konusunda karanlık bir uyarıda bulundu; ayrıca şirketin değerlerini bir kenara bıraktığını da ima etti.

Önemli Bilgiler

Geçen yıl kuruluşundan bu yana Anthropic'in güvenlik araştırmaları ekibine liderlik eden Mrinank Sharma, istifa mektubunu Pazartesi sabahı X'te yayınladığı bir gönderide paylaştı ve bu gönderi hızla ilgi gördü ve 1 milyon kez görüntülendi.

Mektubunda Sharma, "artık ilerleme zamanının geldiği benim için açık" diyerek, "dünyanın sadece yapay zekadan değil, şu anda ortaya çıkan bir dizi birbirine bağlı krizden" dolayı tehlikede olduğunu belirtti.

Sharma, Anthropic'te çalıştığı süre boyunca "değerlerimizin eylemlerimizi gerçekten yönlendirmesinin ne kadar zor olduğunu defalarca gördüğünü" söyledi ve "en önemli olanı bir kenara bırakmamız için sürekli baskı altında olduğumuzu" ekledi, ancak herhangi bir ayrıntı vermedi.

Anthropic'ten ayrıldıktan sonra Sharma, şiir alanında bir derece almayı ve "cesur konuşma pratiğine kendimi adamayı" düşündüğünü, "tamamen dürüstlüğümle uyumlu bir şekilde katkıda bulunmak" istediğini söyledi.

Sharma yorum talebini reddetti (Forbes ayrıca Anthropic'ten de yorum istedi ancak henüz yanıt alamadı).

Önemli Alıntı

Sharma mektubunda, "Dünyayı etkileme kapasitemizle eşit ölçüde bilgeliğimizin de büyümesi gereken bir eşiğe yaklaşıyor gibi görünüyoruz, aksi takdirde sonuçlarıyla karşı karşıya kalacağız" diye yazdı.

Sharma Anthropic'te Ne Yaptı?

LinkedIn profiline göre, Oxford Üniversitesi'nden makine öğrenimi alanında doktora derecesine sahip olan Sharma, Ağustos 2023'te Anthropic'te çalışmaya başladı. Web sitesine göre, Anthropic'te daha önce liderliğini yaptığı ekip, yapay zekâdan kaynaklanan riskleri azaltmanın yollarını araştırıyor.

İstifa mektubunda Sharma, çalışmalarının bir kısmının yapay zekâ destekli biyoterörizme karşı savunma geliştirmeyi ve yapay zekâ sohbet robotlarının kullanıcıyı aşırı övdüğü ve pohpohladığı bir olgu olan yapay zekâ dalkavukluğunu araştırmayı içerdiğini söyledi. Sharma'nın ekibi tarafından Mayıs ayında yayınlanan bir rapora göre, Güvenlik Önlemleri Araştırma Ekibi, kötü amaçlı faaliyetler yürütme konusunda rehberlik aramak için yapay zekâ sohbet robotlarını kullanan aktörlere karşı koruma önlemleri araştırmak ve geliştirmek üzerine odaklanmıştı.

Sharma'nın Yeni Çalışması Sohbet Robotlarının Gerçekliği Çarpıtabileceğini Ortaya Koydu

Sharma'nın geçen hafta yayınladığı ve yapay zekâ sohbet robotlarının kullanımının kullanıcıların gerçekliğe ilişkin çarpık bir algı oluşturmasına nasıl neden olabileceğini araştırdığı bir çalışmaya göre, bu çarpıklıkları üretebilecek "binlerce" etkileşimin "günlük olarak" gerçekleştiğini buldu.

Sharma'nın güçsüzleştirme kalıpları olarak adlandırdığı, gerçekliğin çarpıtılmış algılarının ciddi örnekleri nadirdir, ancak ilişkiler ve sağlık gibi konularda oranlar daha yüksektir. Sharma, bulgularının "insan özerkliğini ve refahını güçlü bir şekilde desteklemek üzere tasarlanmış yapay zeka sistemlerine duyulan ihtiyacı vurguladığını" söyledi.

Ek Bilgi

Diğer yüksek profilli yapay zeka şirketi çalışanları da etik kaygılar nedeniyle istifa etti. OpenAI'da eski bir ekonomi araştırmacısı olan Tom Cunningham, Eylül ayında şirketten ayrıldı ve şirket içi bir mesajda, şirketin yapay zeka kullanımını eleştiren araştırmaları yayınlama konusunda giderek daha tereddütlü hale gelmesinden dolayı hayal kırıklığına uğradığını söylediği bildirildi. 2024 yılında OpenAI, iki önemli üyesinin istifasının ardından güvenlik araştırma ekibi Superalignment'ı feshetti.

Bu üyelerden biri olan ve şu anda Anthropic'te güvenlik araştırmalarına liderlik eden Jan Leike, istifasının ardından X'te yaptığı bir paylaşımda, "OpenAI liderliğiyle şirketin temel öncelikleri konusunda uzun zamandır anlaşmazlık içindeydim, sonunda bir kırılma noktasına ulaştık" dedi. Leike'den kısa bir süre sonra yapay zeka politikası araştırmacısı görevinden ayrılan Gretchen Krueger, X'teki paylaşımlarında şirketin "karar alma süreçlerini; hesap verebilirliği; şeffaflığı" ve "eşitsizlik, haklar ve çevre üzerindeki etkileri azaltmaya yönelik önlemleri" iyileştirmek için daha fazlasını yapması gerektiğini söyledi.

Kaynak: F