Şu yazıyı okuyorsunuz: Google LaMDA: Diyalog uygulamaları için dil modeli nasıl çalışır?
Google’ın bir dil modeli oluşturması yeni bir şey değil; Aslında Google LaMDA, makinelerin kullanıcının amacını daha iyi anlamasını sağlamak için BERT ve MUM’a katılıyor.
Google araştırdı Temel olarak herhangi bir konuda mantıklı ve anlayışlı bir konuşma gerçekleştirebilecek bir model yetiştirme umuduyla birkaç yıldır dil tabanlı modeller.
Şu ana kadar Google LaMDA bu dönüm noktasına ulaşmaya en yakın olan gibi görünüyor.
Google LaMDA nedir?
Diyalog Uygulaması için Dil Modelleri anlamına gelen LaMDA, yazılımın akıcı ve doğal bir konuşmaya daha iyi katılmasını sağlamak için oluşturuldu.
LaMDA, BERT ve GPT-3 gibi diğer dil modelleriyle aynı transformatör mimarisini temel alır.
Ancak LaMDA, aldığı eğitim sayesinde birçok farklı konuyu kapsayan incelikli soruları ve konuşmaları anlayabiliyor.
Diğer modellerde, konuşmaların açık doğası nedeniyle, başlangıçta tek bir konuya odaklanmış olsanız bile, sonunda tamamen farklı bir şey hakkında konuşmaya başlayabilirsiniz.
Bu davranış, çoğu konuşma modelinin ve sohbet robotunun kolayca kafasını karıştırabilir.
Sırasında geçen yılki Google I/O duyurusu, LaMDA’nın bu sorunların üstesinden gelmek için yaratıldığını gördük.
Gösteri, modelin rastgele verilen bir konu üzerinde doğal olarak nasıl bir konuşma yürütebildiğini gösterdi.
Birbiriyle gevşek bir şekilde bağlantılı olan soru akışına rağmen, konuşma yolunda gitti ve bunu görmek şaşırtıcıydı.
LaMDA nasıl çalışır?
LaMDA, Google’ın açık kaynak sinir ağı üzerine kurulmuştur. TrafoDoğal dili anlamak için kullanılır.
Model, cümlelerdeki kalıpları, bu cümlelerde kullanılan farklı kelimeler arasındaki korelasyonları bulmak ve hatta bir sonraki kelimeyi tahmin etmek için eğitildi.
Bunu, tek tek kelimeler yerine diyaloglardan oluşan veri kümelerini inceleyerek yapıyor.
Konuşmaya dayalı yapay zeka sistemi chatbot yazılımına benzese de ikisi arasında bazı önemli farklar var.
Örneğin, sohbet robotları belirli, sınırlı veri kümeleri üzerinde eğitilir ve eğitildikleri kesin verilere ve sorulara dayalı olarak yalnızca sınırlı bir konuşma yapabilirler.
Öte yandan LaMDA birden fazla farklı veri seti üzerinde eğitildiğinden açık görüşmeler yapabilirsiniz.
Eğitim süreci sırasında açık diyaloğun nüanslarını yakalar ve uyum sağlarsınız.
Konuşmanın akışına göre pek çok farklı konudaki soruları yanıtlayabilirsiniz.
Bu nedenle, sohbet robotlarının çoğu zaman sağlayabileceğinden çok daha fazla insan etkileşimine benzeyen konuşmalara olanak tanır.
LaMDA nasıl eğitilir?
Google, LaMDA’nın ön eğitim ve ayarlamayı içeren iki aşamalı bir eğitim sürecine sahip olduğunu açıkladı.
Toplamda model, 137 milyar parametreyle 1,56 trilyon kelimeyle eğitilmiştir.
Egzersiz öncesi
Eğitim öncesi aşama için Google ekibi, çeşitli genel web belgelerinden 1,56T kelimeden oluşan bir veri kümesi oluşturdu.
Bu veri seti daha sonra modelin başlangıçta eğitildiği 2,81T jetonlara tokenleştirilir (cümleler oluşturmak için bir karakter dizisine dönüştürülür).
Ön eğitim sırasında model şunları kullanır: genel ve ölçeklenebilir paralelleştirme Gördüğünüz önceki jetonlara dayanarak konuşmanın bir sonraki bölümünü tahmin etmek için.
İnce ayar
LaMDA, devreye alma aşamasında üretim ve sınıflandırma görevlerini gerçekleştirmek üzere eğitilmiştir.
Temel olarak diyaloğun bir sonraki bölümünü tahmin eden LaMDA oluşturucu, ileri geri konuşmaya dayalı olarak birkaç ilgili yanıt üretir.
LaMDA sınıflandırıcıları daha sonra her olası yanıt için güvenlik ve kalite puanlarını tahmin edecek.
Düşük güvenlik puanına sahip herhangi bir yanıt, konuşmaya devam etmek için en yüksek puana sahip yanıt seçilmeden önce filtrelenir.
Puanlar güvenliğe, duyarlılığa, özgüllüğe ve ilgi çekici yüzdelere dayanmaktadır.
Amaç, en alakalı, yüksek kaliteli ve sonuçta en güvenli yanıtın sağlanmasını sağlamaktır.
LaMDA Temel Ölçümleri ve Hedefleri
Modelin eğitimine rehberlik edecek üç ana amaç model için tanımlanmıştır.
Bunlar kalite, güvenlik ve topraklamadır.
Kalite
Bu, insan değerlendiricisinin üç boyutuna dayanmaktadır:
- Akıl sağlığı.
- özgüllük
- İlginç.
Kalite puanı, bir cevabın kullanıldığı bağlamda anlamlı olmasını, sorulan soruya özel olmasını ve daha iyi diyalog oluşturacak kadar anlayışlı olmasını sağlamak için kullanılır.
Güvenlik
Güvenliği sağlamak için model, sorumlu yapay zeka standartlarını takip ediyor. Modelin davranışını yakalamak ve incelemek için bir dizi güvenlik hedefi kullanılır.
Bu, çıktının herhangi bir istenmeyen geri bildirim sağlamamasını sağlar ve herhangi bir önyargıyı önler.
topraklama
Topraklama şu şekilde tanımlanır: “Dış dünyayla ilgili ifadeler içeren yanıtların yüzdesi.”
Bu, yanıtların mümkün olduğu kadar doğru olmasını sağlamak için kullanılır ve kullanıcıların, kaynağın güvenilirliğine dayalı olarak bir yanıtın geçerliliğini değerlendirmesine olanak tanır.
Değerlendirme
İlerlemenin sürekli olarak ölçülmesi süreci aracılığıyla, önceden eğitilmiş modelden, ince ayarlı modelden ve insan değerlendiricilerden gelen yanıtlar, yukarıda belirtilen kalite, güvenlik ve temel ölçütlere göre yanıtları değerlendirmek üzere gözden geçirilir.
Şu ana kadar şu sonuca varabildiler:
- Kalite metrikleri parametre sayısıyla birlikte gelişir.
- İnce ayar ile güvenlik artar.
- Model boyutu arttıkça topraklama iyileşir.
LaMDA nasıl kullanılacak?
Kesin bir çıkış tarihi olmayan bir çalışma devam etse de, LaMDA’nın gelecekte müşteri deneyimini geliştirmek ve sohbet robotlarının daha insani bir konuşma sağlamasına olanak sağlamak için kullanılması bekleniyor.
Ek olarak, Google arama motorunda gezinmek için LaMDA’yı kullanmak gerçek bir olasılıktır.
LaMDA’nın SEO için Etkileri
Google, dile ve konuşma modellerine odaklanarak, aramanın geleceğine ilişkin vizyonuna ilişkin bilgiler sunuyor ve ürünlerinin geliştirilme biçimindeki değişimi vurguluyor.
Sonuçta bu, arama davranışında ve kullanıcıların ürün veya bilgi arama biçiminde bir değişiklik olabileceği anlamına gelir.
Google, SERP’lerde en yararlı ve alakalı sonuçları almalarını sağlamak amacıyla kullanıcıların arama amacına ilişkin anlayışını geliştirmek için sürekli çalışmaktadır.
LaMDA modeli şüphesiz arama motorlarının sorabileceği soruların anlaşılmasında önemli bir araç olacaktır.
Tüm bunlar, içeriğin arama motorları yerine insanlar için optimize edilmesini sağlama ihtiyacını daha da vurguluyor.
İçeriğin konuşmaya dayalı olmasını ve hedef kitleniz göz önünde bulundurularak yazılmasını sağlamak, Google ilerledikçe bile içeriğin iyi performans gösterebileceği anlamına gelir.
Ayrıca, zaman içinde gelişmesini ve güncel kalmasını sağlamak için her zaman yenilenen içeriğin düzenli olarak güncellenmesi de önemlidir.
Google araştırma mühendisleri başlıklı bir makalede, LaMDA gibi yapay zeka ilerlemelerinin “uzmanlarla sohbet olarak aramayı” daha da geliştireceğini nasıl öngördüklerini paylaştılar.
Arama sorusuyla ilgili bir örnek paylaştılar: “Kırmızı şarabın sağlığa yararları ve riskleri nelerdir?”
Şu anda Google, bu sorunun yanıtları olarak madde işaretli yanıt kutularının bir listesini görüntüleyecektir.
Ancak gelecekte bir cevabın, kırmızı şarabın faydalarını ve risklerini açıklayan, kaynak bilgilere bağlantılar içeren bir paragraf olabileceğini öne sürüyorlar.
Bu nedenle, gelecekte Google LaMDA’nın arama sonuçları üretmesi durumunda içeriğin uzman kaynaklar tarafından desteklenmesini sağlamak her zamankinden daha önemli olacaktır.
Zorlukların üstesinden gelmek
Her yapay zeka modelinde olduğu gibi ele alınması gereken zorluklar var.
O iki ana zorluk Mühendislerin Google LaMDA ile karşılaştığı sorunlar güvenlik ve temeldir.
Güvenlik: önyargıdan kaçının
Web’in herhangi bir yerinden yanıt alabildiğiniz için, çıktının çevrimiçi olarak paylaşılan kavramları yansıtarak önyargıyı artırma olasılığı vardır.
Öngörülemeyen veya zararlı sonuçlara yol açmayacağından emin olmak için Google LaMDA konusunda sorumluluğu ilk sıraya koymak önemlidir.
Bunun üstesinden gelmeye yardımcı olmak için Google, verileri analiz etmek ve eğitmek için kullanılan kaynakları açtı.
Bu, çeşitli grupların modeli eğitmek için kullanılan veri setlerinin oluşturulmasına katılmasına, mevcut önyargının belirlenmesine yardımcı olmasına ve zararlı veya yanıltıcı bilgilerin paylaşımını en aza indirmesine olanak tanır.
Gerçek Temelleme
Kaynaklar web’in her yerinden toplandığı için yapay zeka modellerinin ürettiği yanıtların güvenilirliğini doğrulamak kolay değildir.
Bu zorluğun üstesinden gelmek için ekip, doğru sonuçlar sağlamak üzere modelin, bilgi alma sistemleri ve hatta bir hesap makinesi dahil olmak üzere birden fazla harici kaynağı sorgulamasına izin veriyor.
Yukarıda paylaşılan Temellik metriği aynı zamanda yanıtların bilinen kaynaklara dayanmasını da sağlar. Bu kaynaklar, kullanıcıların sağlanan sonuçları doğrulamasına olanak sağlamak ve yanlış bilgilerin yayılmasını önlemek için paylaşılmaktadır.
Google LaMDA’da sırada ne var?
Google, LaMDA gibi açık diyalog modellerinin yararları ve riskleri olduğu konusunda açıktır ve daha güvenilir ve tarafsız bir deneyim sağlamak için güvenliği ve temelleri iyileştirmeye kararlıdır.
LaMDA modellerini görüntüler veya videolar da dahil olmak üzere farklı veriler üzerinde eğitmek, gelecekte düşünebileceğimiz başka bir şeydir.
Bu, konuşma istemlerini kullanarak web’de daha da fazla gezinme olanağını açar.
Google CEO’su Sundar Pichai LaMDA diyor ki“LaMDA’nın konuşma yeteneklerinin bilgiyi ve bilgi işlemi çok daha erişilebilir ve kullanımı daha kolay hale getirme potansiyeline sahip olduğuna inanıyoruz.”
Çıkış tarihi henüz teyit edilmemiş olsa da LaMDA gibi modellerin Google’ın geleceği olacağına şüphe yok.
Daha fazla kaynak:
