🎮 Projeye Genel Bakış
Decart AI tarafından Etched ile işbirliği içinde geliştirilen Oasis AI Minecraft, AI oyun teknolojisinde çığır açan bir başarıyı temsil ediyor. Bir transformatör tarafından kare kare uçtan uca oluşturulan etkileşimli bir video oyunudur.
Geleneksel oyunların aksine Oasis, kullanıcı klavyesi ve fare girdisini alır ve fizik, oyun kuralları ve grafikleri dahili olarak simüle ederek gerçek zamanlı oyun üretir. Model, kullanıcıların doğrudan oyunu izleyerek hareket etmelerine, zıplamalarına, öğeleri toplamalarına, blokları kırmalarına ve daha fazlasına olanak sağlamayı öğrendi.
Bu devrim niteliğindeki proje, en son yapay zeka araştırmalarını gelişmiş donanım optimizasyonuyla birleştirerek daha karmaşık etkileşimli dünyaları simüle eden temel modellere doğru ilk adımı atıyor ve potansiyel olarak yapay zeka odaklı bir gelecekte klasik oyun motorlarının yerini alıyor.
⚡ Teknik Mimari
🔄 Yeni Bir Etkileşimli Mimari Oluşturmak
Hızlı otoregresif etkileşimli video üretimi için en iyi mimariyi belirlemek amacıyla yüzlerce mimari ve veri deneyi gerçekleştirdik. Geleneksel çift yönlü modellerden farklı olarak mimarimiz, kullanıcı girişi koşullandırmasıyla gerçek zamanlı, kare kare oluşturma için özel olarak tasarlanmıştır.
Oasis'in Transformer tabanlı varyasyonel otomatik kodlayıcı ve hızlandırılmış uzay-zamansal dikkat içeren ViT DiT mimarisi
🎯Temel Özellikler
- Kullanıcı girdisine bağlı olarak kare kare oluşturma
- Transformatör tabanlı değişken otomatik kodlayıcı (ViT VAE)
- Hızlandırılmış eksenel, nedensel uzay-zamansal dikkat mekanizması
💡Teknik Yenilikler
- Daha fazla kararlılık için çıkarım zamanında dinamik gürültü
- Gerçek zamanlı performans için optimize edilmiş çıkarım çekirdekleri
- Çerçeve bağlamı için ek zamansal dikkat katmanları
🧠 Yapay Zeka Modeli Teknolojisi
Oasis, gelişmiş geniş dil modellerinden (LLM'ler) esinlenerek, yayılma eğitimi ve transformatör modellerinin bir kombinasyonunu kullanır. Model, her andaki kullanıcı eylemlerine göre koşullandırılan, kare kare video üretiyor.
Mimari, hızlandırılmış eksenel, nedensel uzay-zamansal dikkat mekanizmasının yanı sıra görüntü boyutunu sıkıştırmak ve difüzyonun daha yüksek düzeydeki özelliklere odaklanmasını sağlamak için Transformer tabanlı bir varyasyonel otomatik kodlayıcıya (ViT VAE) sahiptir.
🎯 Difüzyon Modeli Yeniliği
Çift yönlü modellerden farklı olarak Oasis, her kareyi oyun girdisine göre koşullandırma yeteneğiyle kareleri otoregresif olarak oluşturur. Bu, kullanıcıların videoları geriye dönük olarak oluşturmak yerine dünyayla gerçek zamanlı olarak etkileşime girmesine olanak tanır.
Model, yayılmayı zorlayan teknikleri kullanıyor ve önceki karelerden bağlam sağlamak için mekansal dikkat katmanları arasına serpiştirilmiş ek zamansal dikkat katmanları içeriyor.
⚙️ Performans
🚀 Mevcut Yetenekler
- Decart'ın tescilli çıkarım çerçevesini kullanarak kare başına 47 ms çıkarım süresine ulaşır
- NVIDIA H100 GPU'larda 20 fps'de 360p çözünürlükte çalışır
- Minimum gecikmeyle gerçek zamanlı web tarayıcısı oyunu için optimize edildi
💫 Gelecekteki Optimizasyonlar
- Etched'in Sohu çipi 4K çözünürlüklü oynanışı mümkün kılacak
- Aynı fiyat ve güç tüketimiyle mevcut donanıma göre 10 kat daha fazla kullanıcıya hizmet verebilir
- Yapay zeka tarafından oluşturulan yüksek kaliteli oyunları daha erişilebilir ve uygun maliyetli hale getirmeyi hedefliyor
📊 Sohu 10 Kat Daha Fazla Kullanıcı Sağlıyor
🔮 Gelecekteki Gelişim
🎯 Güncel Zorluklar
- Kareler arasında ayrıntıların daha iyi korunması için model belleğinin iyileştirilmesi
- Belirli durumlarda çıktı netliğini artırma ve bulanıklığı azaltma
- Modelin eğitim dağıtımı dışındaki uç durumların ve girdilerin ele alınması
🌟 Gelecek Vizyonu
Ekip, verimli büyük ölçekli eğitim sağlamak için ek optimizasyon teknikleri geliştirmenin yanı sıra modeli ve veri kümelerini ölçeklendirmek için aktif olarak çalışıyor.
Oasis, oyunun ötesinde, dijital içerik ve eğlence platformlarıyla etkileşim şeklimizde potansiyel olarak devrim yaratarak tam etkileşimli, çok modlu video üretimine doğru genişlemeyi hedefliyor.