GPT-5 lansmanı öncesinde yapılan başka bir test, insanların sohbet testinde ChatGPT'yi bir insandan ayırt edemediğini gösteriyor

GPT-5 lansmanı öncesinde yapılan başka bir test, insanların sohbet testinde ChatGPT'yi bir insandan ayırt edemediğini gösteriyor

Bu, yapay zeka için bir dönüm noktası mı?

GPT-4 gibi popüler yapay zeka araçları akıcı, insana benzer metinler üretiyor ve çeşitli dil görevlerinde o kadar iyi performans gösteriyor ki, konuştuğunuz kişinin insan mı yoksa makine mi olduğunu söylemek giderek zorlaşıyor.

Bu senaryo, Alan Turing'in ünlü düşünce deneyini yansıtıyor; burada bir makinenin insan benzeri davranışlar sergileyip sergileyemeyeceğini, bir insan yargıcın artık yalnızca tepkilerine dayanarak insan ve makine arasında güvenilir bir şekilde ayrım yapamayacağı ölçüde değerlendirecek bir test önerdi.

UC San Diego Bilişsel Bilimler Bölümü, modern yapay zeka sistemlerinin ne kadar başarılı olduğunu görmeye karar verdi ve ELIZA'yı (deneye temel olarak dahil edilen 1960'lardan kalma basit kurallara dayalı bir sohbet robotu), GPT-3.5 ve GPT-4'ü kontrollü bir şekilde değerlendirdi. Turing Testi. Katılımcılar bir insanla ya da bir yapay zekayla beş dakikalık bir konuşma yaptı ve ardından konuşma partnerlerinin insan olup olmadığına karar vermek zorunda kaldı.

Şanstan daha iyi değil

GPT-4 ve GPT-3.5'e mesajlara nasıl yanıt verileceği anlatıldı. Araştırmacılar modele "çok kısa ve öz konuşan, oyunu fazla ciddiye almayan, argo kullanan ve ara sıra yazım hataları yapan bir gencin kişiliğini benimsemesi" talimatını verdi. Ek olarak bilgi isteminde "oyunun kurulumu hakkında genel bilgiler ve modelin eğitim kesintisinden sonra meydana gelen son haberler hakkında bilgiler" yer alıyordu. İki modele sıcaklık 1'e ayarlanmış şekilde OpenAI API aracılığıyla erişildi ve yapay zekanın çok hızlı yanıt vermesini önlemek için mesajları, mesajdaki karakter sayısına bağlı olarak bir gecikmeyle gönderildi.

Araştırmada 500 katılımcı beş gruptan birine atandı. Bir insanla ya da üç yapay zeka sisteminden biriyle konuşmaya başladılar. Oyunun arayüzü tipik bir mesajlaşma uygulamasına benziyordu. Beş dakika sonra katılımcılar, sohbet arkadaşlarının insan mı yoksa yapay zeka mı olduğuna inandıklarını değerlendirdiler ve kararlarının gerekçelerini sundular.

Sonuçlar ilginçti. GPT-4, GPT-3.5'in (%50) önünde, %54 oranında insan olarak tanımlandı; her ikisi de ELIZA'dan (%22) önemli ölçüde daha iyi performans gösterdi ancak gerçek insanların (%67) gerisinde kaldı. Katılımcılar GPT-4'ü yapay zeka olarak tanımlama konusunda şanstan öteye gidemedi; bu da mevcut yapay zeka sistemlerinin insanları insan olduklarına inandıracak şekilde aldatabileceğini gösteriyor.

Sonuçların analizi, sorgulayıcıların bir insanla mı yoksa bir makineyle mi konuştuklarına karar vermek için sıklıkla dil stiline, sosyo-duygusal faktörlere ve bilgiye dayalı sorulara güvendiklerini gösterdi.

Kaynak: TechRadar Pro