Nvidia, 20 Milyar Dolarlık Groq Anlaşmasının Ardından Rack Sistemlerini Bu Yıl Devreye Alacak

Nvidia (NVDA), Groq teknolojisini ticarileştirme sürecinde önemli bir aşamaya geçti. Şirket, Groq 3 LPX rack sisteminin tam ölçekli üretime başladığını ve sistemlerin bu yıl içinde kullanıma sunulacağını açıkladı. 🚀

Groq 3 LPX, Vera merkezi işlemcileri ve Rubin grafik işlemcileriyle birlikte neocloud şirketi Nebius (NBIS) altyapısında konuşlandırılacak. Nvidia yöneticilerinin açıklamasına göre sistem yıl sonuna kadar çevrimiçi olacak.

Groq 3 LPX düşük gecikmeli yapay zeka çıkarımına odaklanıyor

Nvidia'nın Groq teknolojisini hızla üretime taşıması, özellikle kodlama gibi uygulamalarda yapay zeka ajanlarının daha hızlı yanıt vermesini sağlayan düşük gecikmeli inference teknolojisinin artan önemine işaret ediyor.

• Nvidia, Aralık ayında çip girişimi Groq'nun varlıklarını 20 milyar dolara satın aldı. Bu işlem şirket tarihindeki en büyük satın alma oldu.
• Groq mimarisi, bellek kaynaklı darboğazları azaltmak amacıyla çip üzerinde 500 megabayt yüksek hızlı SRAM barındırıyor.
• Groq çiplerinin üretimini Samsung gerçekleştirirken Nvidia'nın GPU'ları Taiwan Semiconductor Manufacturing Co. (TSM) tarafından üretiliyor.
• Nvidia, tek bir Groq 3 LPX rack sistemi içinde 256 adet Groq 3 çipi kullanıyor.
• Şirketin paylaştığı benchmark verisine göre Groq 3 LPX saniyede 3.400 token üretebiliyor. ⚡

Nvidia, düşük gecikmeli sistemlerin GPU'ların yerini almasını değil, farklı iş yüklerinde tamamlayıcı işlemciler olarak kullanılmasını hedefliyor. Groq gibi çipler özellikle modellerin çalıştırılmasındaki “decode” aşamasına odaklanıyor.

AMD ve Cerebras da düşük gecikmeli inference alanında ilerliyor

Düşük gecikmeli yapay zeka çıkarım pazarı giderek daha rekabetçi hale geliyor. Advanced Micro Devices (AMD), bu yıl rack ölçekli sistemlerini kısa süre önce halka açılan Cerebras (CBRS) çipleriyle entegre edeceğini duyurdu.

• Cerebras'ın desteklediği OpenAI Ultrafast modu saniyede 750 token hız vadediyor.
• Nvidia'nın Groq 3 LPX sistemi için açıkladığı benchmark ise saniyede 3.400 token seviyesinde.
• Nvidia, aynı zamanda bu yıl üretime başlayan Vera Rubin sistemlerinin sevkiyatlarını artırıyor. 📊
• Nvidia CEO'su Jensen Huang, Blackwell ve yeni Vera Rubin sistemlerinin 2027'ye kadar toplam 1 trilyon dolarlık satış oluşturacağını öngördü.
• Huang, kodlama uygulamalarına ayrılan veri merkezi alanının dörtte birini Groq çiplerine tahsis edeceğini belirtirken kalan kapasitenin Vera Rubin sistemlerinden oluşacağını söyledi.

Nvidia'nın Groq teknolojisini aynı yıl içinde üretime ve müşteri altyapısına taşıması, şirketin yapay zeka altyapısında GPU'ların yanında iş yüküne özel işlemcileri de konumlandırma stratejisini güçlendiriyor. Şirketin finansal sonuçlarını çarşamba günü açıklaması planlanıyor. 💻