Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi

08:49 EDT – Bugünün en büyük haberlerinden bazıları, derin öğrenme için gofret ölçeğinde 1.2 trilyon transistör çözümünü açıklayan Cerebras. Bugünkü konuşma, teknoloji hakkında detaylı olarak ele alınmaktadır.

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 1

08:51 EDT – Gofret ölçekli yonga, 46,225 mm2'den fazla, 1,2 trilyon transistör, 400k AI çekirdeği, 18GB çip üzerinde SRAM beslenir

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 2

08:51 EDT – TSMC 16nm

08:51 EDT – 215mm x 215mm – Yan başına 8,5 inç

08:51 EDT – Bugünün en büyük GPU'sundan 56 kat daha büyük

08:52 EDT – Derin Öğrenme İçin Geliştirildi

08:52 EDT – DL eğitimi zor (ed: bu bir understatement)

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 3

08:52 EDT – Peta-exa ölçeği hesaplama aralığı

08:53 EDT – Sorunun şeklini ölçeklendirmek zor

08:53 EDT – İnce taneli çok paralellik vardır

08:53 EDT – Kaba tahıl doğal olarak seri haldedir

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 4

08:53 EDT – Eğitim, seri olarak küçük değişikliklerin uygulanması sürecidir.

08:53 EDT – Sorunun boyutu ve şekli NN eğitimini gerçekten zorlaştırıyor

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 5

08:53 EDT – Bugün yoğun vektör hesaplama işlemimiz var

08:54 EDT – Kaba Taneli için, çoklu örnekleri çalıştırmak için yüksek hızlı bağlantı gerektirir. Hala sınırlı

08:54 EDT – Ölçeklendirme sınırlı ve maliyetlidir

08:54 EDT – Uzmanlaşmış hızlandırıcılar cevaptır

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 6

08:55 EDT – NN: doğru mimari nedir

08:55 EDT – NN ilkelleri için optimize edilmiş bir çekirdeğe ihtiyacım var

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 7

08:55 EDT – Programlanabilir bir NN çekirdeğine ihtiyacınız var

08:55 EDT – Seyrek hesaplama hızlı yapmak gerekiyor

08:55 EDT – Hızlı yerel hafızaya ihtiyaç var

08:55 EDT – Tüm çekirdekler hızlı bir ara bağlantıya bağlanmalıdır

08:56 EDT – Cerebras esnek çekirdek kullanıyor. Kontrol işleme için esnek genel operasyonlar

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 8

08:56 EDT – Çekirdek tensör operasyonlarını çok verimli bir şekilde ele almalı

08:56 EDT – Herhangi bir sinir ağındaki hesaplamanın kütlesini oluşturur

08:56 EDT – Birinci sınıf operand olarak tansörler

08:57 EDT – fmac yerli op

08:57 EDT – NN doğal olarak seyrek ağlar yaratır

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 9

08:58 EDT – Çekirdeğin donanımda veri akışı zamanlaması olan doğal seyrek işleme özelliği var

08:58 EDT – Tüm hesaplamalar veri tarafından tetiklenir

08:58 EDT – Tüm seyrek sıfırları filtreler ve işi filtreler

08:58 EDT – güç ve enerjiden tasarruf sağlar ve bir sonraki işe yarar işe devam ederek performans ve ivme kazanır

08:58 EDT – Etkin, kemer iyi ayarlanmış yürütme veriyollarına sahip olduğundan etkin

08:58 EDT – Bağımsız talimatlara sahip birçok küçük çekirdek

08:59 EDT – Çok düzgün çalışma için izin verir

08:59 EDT – Sıradaki hafıza.

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 10

08:59 EDT – Geleneksel bellek mimarileri DL için optimize edilmemiş

08:59 EDT – Geleneksel bellek, performans için yüksek veri kullanımı gerektirir

09:00 PM EDT – Normal matris çarpımının düşük uçlu veri yeniden kullanımı var

09:00 PM EDT – Mat * Vec'in Mat * Mat'a çevrilmesi, ancak eğitim dinamiklerini değiştirir

09:00 PM EDT – Cerebras, çekirdeklerinin yanında yüksek performanslı, tamamen dağıtılmış yonga SRAM'a sahip

09:01 EDT – Daha yüksek bant genişliğine sahip siparişler almak

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 11

09:01 EDT – ML olmak istediği gibi yapılabilir

09:01 EDT – Yüksek bant genişliği, düşük gecikmeli ara bağlantı

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 12

09:01 EDT – hızlı ve tamamen yapılandırılabilir kumaş

09:01 EDT – tüm hw tabanlı iletişim yükü engeller

09:02 EDT – 2D örgü topolojisi

09:02 EDT – küresel topolojilerden daha yüksek yararlanma ve verimlilik

09:02 EDT – Tek bir kalıptan daha fazlasına ihtiyacınız var

09:02 EDT – Solition bir gofret ölçeğidir

09:03 EDT – Büyük cips inşa

09:03 EDT – Tek bir çip üzerinde küme ölçeği perf

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 13

09:03 EDT – GB'den hızlı bellek (SRAM) Çekirdekten 1 saat döngüsü

09:03 EDT – Çip dışı bellek ile bu imkansız

09:03 EDT – Tam çipli ara bağlantı kumaşı

09:03 EDT – Model paralel, doğrusal performans ölçeklendirme

09:04 EDT – Tüm sinir ağını bir kerede çip üzerine eşleyin

09:04 EDT – Bir NN örneği, küme ölçeği perf elde etmek için parti boyutunu artırmak zorunda değilsiniz

09:04 EDT – Çok daha düşük güç ve daha az alan

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 14

09:04 EDT – TensorFlow ve PyTorch kullanabilir

09:05 EDT – Sinir ağı katmanlarını kumaşa eşlemek için yerleştirme ve yönlendirme yapar

09:05 EDT – Tüm gofret, tek sinir ağında çalışır

09:05 EDT – Gofret ölçeğinin zorlukları

09:05 EDT – Kalıplar arası bağlantı, verim, ısıl genleşme ihtiyacı

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 15

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 16

09:06 EDT – Yazma çizgisi kalıbı ayırır. Yazma çizgisinin üstünde teller oluşturun

09:07 EDT – 2D örgü kumaşı tüm kalıp boyunca uzatır

09:07 EDT – Çekirdekler arasında ve kalıp arasında aynı bağlantı

09:07 EDT – Çipten daha verimli

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 17

09:07 EDT – Kalıp seviyesinde tam BW

09:08 EDT – Yedeklilik verime yardımcı olur

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 18

09:08 EDT – Yedekli çekirdekler ve yedekli kumaş bağlantıları

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 19

09:08 EDT – Kumaşı bağlantılarla yeniden bağlayın

09:08 EDT – Tahrik yüksek verim

09:09 EDT – Yazılım şeffaf

09:09 EDT – Termal Genleşme

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 20

09:09 EDT – Normal teknoloji, termal genleşme yoluyla çok fazla mekanik stres

09:09 EDT – Özel konektör geliştirildi

09:09 EDT – Konektör ısıl genleşmedeki değişimi emer

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 21

09:10 EDT – Tüm bileşenlerin hassas şekilde hizalanması gerekir – özel paketleme araçları

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 22

09:10 EDT – Güç ve Soğutma

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 23

09:11 EDT – Güç uçakları çalışmıyor – PCB'de bu şekilde yapmak için yeterli bakır yok

09:11 EDT – Doğrudan hava soğutması için ısı yoğunluğu çok yüksek

09:12 EDT – Gofrete dik akım getirin. Su da dikey olarak soğutulur

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 24

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 25

09:14 EDT – Sorular ve Cevaplar

Hot Chips 31 Canlı Bloglar: Cerebras'ın 1.2 Trilyon Transistörlü Derin Öğrenme İşlemcisi 26

09:14 EDT – S ve A

09:14 EDT – Çoktan kullanımda? Evet

09:15 EDT – Yuvarlak bir çip yapabilir misin? Kare daha uygun

09:15 EDT – Yol ver? Olgun süreçler oldukça iyi ve tekdüze

09:16 EDT – Bir evden daha mı pahalı? Her şey gofret boyunca itfa edilir

09:17 EDT – Temizlik için düzenli işlemci? Hepsi yapabilir

09:17 EDT – Tamamen senkronize mi? Yok hayır

09:20 EDT – Saat oranı? Açıklanmamış

09:20 EDT – Bu bir şal. Sıradaki Habana