Sinir ağları nasıl öğrenir? Matematiksel bir formül, ilgili kalıpları nasıl tespit ettiklerini açıklar

Sinir ağları nasıl öğrenir? Matematiksel bir formül, ilgili kalıpları nasıl tespit ettiklerini açıklar

Yapay zekada çığır açan gelişmelere, finans, insan kaynakları ve sağlık hizmetleri gibi çok çeşitli uygulamalarda kullanılan büyük dil modelleri de dahil olmak üzere, sinir ağları güç veriyor. Ancak bu ağlar, mühendislerin ve bilim insanlarının iç işleyişini anlamakta zorlandığı bir kara kutu olmaya devam ediyor.

Şimdi, Kaliforniya San Diego Üniversitesi'ndeki veri ve bilgisayar bilimcileri tarafından yönetilen bir ekip, sinir ağlarına aslında nasıl öğrendiklerini ortaya çıkarmak için bir röntgenin eşdeğerini verdi.

Araştırmacılar, istatistiksel analizde kullanılan bir formülün, ChatGPT'nin öncüsü olan GPT-2 gibi sinir ağlarının verilerdeki ilgili desenleri, yani özellikleri nasıl öğrendiğine dair basitleştirilmiş bir matematiksel açıklama sağladığını buldular. Bu formül ayrıca sinir ağlarının bu ilgili desenleri tahminlerde bulunmak için nasıl kullandığını da açıklıyor.
"Sinir ağlarını ilk prensiplerden anlamaya çalışıyoruz," diyor UC San Diego Bilgisayar Bilimi ve Mühendisliği Bölümü'nde doktora öğrencisi ve çalışmanın ortak ilk yazarı olan Daniel Beaglehole. "Formülümüzle, ağın tahminlerde bulunmak için hangi özellikleri kullandığını kolayca yorumlayabiliriz."

Bu neden önemli? Yapay zeka destekli araçlar artık günlük hayatta yaygın. Bankalar bunları kredileri onaylamak için kullanıyor. Hastaneler bunları röntgen ve MRI gibi tıbbi verileri analiz etmek için kullanıyor. Şirketler bunları iş başvurularını taramak için kullanıyor. Ancak şu anda sinir ağlarının karar almak için kullandığı mekanizmayı ve bunu etkileyebilecek eğitim verilerindeki önyargıları anlamak zor.

"Sinir ağlarının nasıl öğrendiğini anlamazsanız, sinir ağlarının güvenilir, doğru ve uygun yanıtlar üretip üretmediğini belirlemek çok zordur," diyor makalenin ilgili yazarı ve UC San Diego Halicioglu Veri Bilimi Enstitüsü'nde profesör olan Mikhail Belkin. "Bu, makine öğrenimi ve sinir ağı teknolojisinin son zamanlardaki hızlı büyümesi göz önüne alındığında özellikle önemlidir."

Çalışma, Belkin'in araştırma grubunun sinir ağlarının nasıl çalıştığını açıklayan bir matematiksel teori geliştirme yönündeki daha büyük çabasının bir parçasıdır. "Teknoloji, teoriyi çok geride bıraktı," diyor. "Yakalamamız gerekiyor."

Ekip ayrıca, sinir ağlarının nasıl öğrendiğini anlamak için kullandıkları istatistiksel formülün, yani Ortalama Gradient Dış Ürün (AGOP) olarak bilinen formülün, sinir ağlarını içermeyen diğer makine öğrenimi mimarilerinde performansı ve verimliliği artırmak için uygulanabileceğini gösterdi.

Belkin, "Sinir ağlarını yönlendiren temel mekanizmaları anlarsak, daha basit, daha verimli ve daha yorumlanabilir makine öğrenimi modelleri inşa edebilmeliyiz" dedi. "Bunun yapay zekanın demokratikleşmesine yardımcı olacağını umuyoruz."

Belkin'in öngördüğü makine öğrenimi sistemlerinin çalışması için daha az hesaplama gücüne ve dolayısıyla şebekeden daha az güce ihtiyaç duyacak. Bu sistemler ayrıca daha az karmaşık olacak ve bu nedenle anlaşılması daha kolay olacak.

Yeni bulguları bir örnekle açıklıyoruz

(Yapay) sinir ağları, veri özellikleri arasındaki ilişkileri öğrenmek için hesaplama araçlarıdır (yani bir görüntüdeki belirli nesneleri veya yüzleri tanımlamak). Bir göreve örnek olarak, yeni bir görüntüde bir kişinin gözlük takıp takmadığını belirlemek verilebilir. Makine öğrenimi bu soruna, sinir ağına "gözlük takan bir kişi" veya "gözlük takmayan bir kişi" olarak etiketlenen birçok örnek (eğitim) görüntüsü sağlayarak yaklaşır.

Sinir ağı, görüntüler ile etiketleri arasındaki ilişkiyi öğrenir ve bir karar vermek için odaklanması gereken veri desenlerini veya özelliklerini çıkarır. Yapay zeka sistemlerinin kara kutu olarak kabul edilmesinin nedenlerinden biri, sistemlerin tahminlerini yapmak için gerçekte hangi ölçütleri kullandığını matematiksel olarak tanımlamanın genellikle zor olmasıdır; buna olası önyargılar da dahildir. Yeni çalışma, sistemlerin bu özellikleri nasıl öğrendiğine dair basit bir matematiksel açıklama sağlar.

Özellikler, verilerdeki ilgili desenlerdir. Yukarıdaki örnekte, sinir ağlarının öğrendiği ve ardından bir fotoğraftaki kişinin gerçekten gözlük takıp takmadığını belirlemek için kullandığı çok çeşitli özellikler vardır.

Bu görev için dikkat etmesi gereken özelliklerden biri yüzün üst kısmıdır. Diğer özellikler, gözlüklerin sıklıkla durduğu göz veya burun bölgesi olabilir. Ağ, öğrendiği özelliklere seçici bir şekilde dikkat eder ve ardından yüzün alt kısmı, saç vb. gibi görüntünün diğer kısımlarını atar.

Özellik öğrenme, verilerdeki ilgili kalıpları tanıma ve ardından bu kalıpları tahminlerde bulunmak için kullanma yeteneğidir. Gözlük örneğinde, ağ yüzün üst kısmına dikkat etmeyi öğrenir. Yeni Science makalesinde, araştırmacılar sinir ağlarının özellikleri nasıl öğrendiğini açıklayan bir istatistiksel formül belirlediler.

Alternatif sinir ağı mimarileri: Araştırmacılar, bu formülün sinir ağlarına dayanmayan hesaplama sistemlerine eklenmesinin bu sistemlerin daha hızlı ve daha verimli bir şekilde öğrenmesini sağladığını göstermeye devam ettiler.

"Gerekli olmayan şeyleri nasıl görmezden gelirim? İnsanlar bunda iyidir," dedi Belkin. "Makineler de aynı şeyi yapıyor. Örneğin, Büyük Dil Modelleri bu 'seçici dikkat'i uyguluyor ve bunu nasıl yaptıklarını bilmiyoruz. Science makalemizde, sinir ağlarının 'seçici dikkat' etmelerinin en azından bir kısmını açıklayan bir mekanizma sunuyoruz."

Kaynak: Phys