🎮 Projekta pārskats
Oasis AI Minecraft, ko Decart AI izstrādāja sadarbībā ar Etched, ir revolucionārs sasniegums AI spēļu tehnoloģijā. Tā ir interaktīva videospēle, ko no gala līdz galam ģenerē transformators pa kadram.
Atšķirībā no tradicionālajām spēlēm, Oasis izmanto lietotāja tastatūras un peles ievadi un ģenerē reāllaika spēli, iekšēji simulējot fiziku, spēles noteikumus un grafiku. Modelis iemācījās ļaut lietotājiem pārvietoties, lēkt, paņemt priekšmetus, lauzt blokus un veikt citas darbības, tieši skatoties spēli.
Šis revolucionārais projekts apvieno progresīvu AI pētniecību ar progresīvu aparatūras optimizāciju, iezīmējot pirmo soli ceļā uz pamata modeļiem, kas simulē sarežģītākas interaktīvās pasaules, potenciāli aizstājot klasiskos spēļu dzinējus AI vadītā nākotnē.
⚡ Tehniskā arhitektūra
🔄 Jaunas interaktīvas arhitektūras veidošana
Mēs veicām simtiem arhitektūras un datu eksperimentu, lai noteiktu labāko arhitektūru ātrai autoregresīvai interaktīvai video ģenerēšanai. Atšķirībā no tradicionālajiem divvirzienu modeļiem, mūsu arhitektūra ir īpaši izstrādāta reāllaika, kadru pa kadram ģenerēšanai ar lietotāja ievades regulēšanu.
Oasis ViT DiT arhitektūra ar transformatora bāzes variācijas automātisko kodētāju un paātrinātu telpisko un laika uzmanību
🎯Galvenās iezīmes
- Kadru pēc kadra ģenerēšana ir atkarīga no lietotāja ievades
- Uz transformatoriem balstīts variācijas automātiskais kodētājs (ViT VAE)
- Paātrināts aksiālais, cēloņsakarības spatiotemporālais uzmanības mehānisms
💡Tehniskās inovācijas
- Dinamisks troksnis secinājuma laikā, lai palielinātu stabilitāti
- Optimizēti secinājumu kodoli reāllaika veiktspējai
- Papildu laika uzmanības slāņi kadra kontekstam
🧠 AI modeļu tehnoloģija
Oasis izmanto difūzijas apmācības un transformatoru modeļu kombināciju, ko iedvesmojuši uzlaboti lielo valodu modeļi (LLM). Modelis ģenerē video pa vienam kadram, ko nosaka lietotāja darbības katrā mirklī.
Arhitektūrai ir uz transformatoriem balstīts variācijas autokodētājs (ViT VAE), lai saspiestu attēla izmēru un ļautu difūzijai koncentrēties uz augstāka līmeņa raksturlielumiem, kā arī paātrinātu aksiālo, cēloņsakarības telpisko un temporālo uzmanības mehānismu.
🎯 Difūzijas modeļa inovācija
Atšķirībā no divvirzienu modeļiem, Oasis ģenerē kadrus autoregresīvi, ar iespēju katru kadru pielāgot spēles ievadei. Tādējādi lietotāji var mijiedarboties ar pasauli reāllaikā, nevis tikai atveidot videoklipus ar atpakaļejošu datumu.
Modelis izmanto difūzijas piespiešanas paņēmienus un ietver papildu laika uzmanības slāņus, kas ir iejaukti starp telpiskās uzmanības slāņiem, lai nodrošinātu kontekstu no iepriekšējiem kadriem.
⚙️ Performance
🚀 Pašreizējās iespējas
- Sasniedz 47 ms secinājumu laiku vienā kadrā, izmantojot Decart patentēto secinājumu sistēmu
- Darbojas ar 360p izšķirtspēju ar ātrumu 20 kadri sekundē uz NVIDIA H100 GPU
- Optimizēta reāllaika tīmekļa pārlūkprogrammas spēlei ar minimālu latentumu
💫 Nākotnes optimizācijas
- Etched's Sohu mikroshēma nodrošinās 4K izšķirtspējas spēli
- Var apkalpot 10 reizes vairāk lietotāju nekā pašreizējā aparatūra par tādu pašu cenu un enerģijas patēriņu
- Mērķis ir padarīt augstas kvalitātes mākslīgā intelekta radītas spēles pieejamākas un rentablākas
📊 Sohu nodrošina 10x vairāk lietotāju
🔮 Nākotnes attīstība
🎯 Pašreizējie izaicinājumi
- Modeļa atmiņas uzlabošana, lai labāk saglabātu detaļas visos kadros
- Izvades skaidrības uzlabošana un neskaidrības samazināšana noteiktās situācijās
- Malu gadījumu un ievades apstrāde ārpus modeļa apmācības izplatīšanas
🌟 Nākotnes vīzija
Komanda aktīvi strādā pie modeļa un datu kopu mērogošanas, kā arī izstrādā papildu optimizācijas metodes, lai nodrošinātu efektīvu liela mēroga apmācību.
Papildus spēlēm Oasis mērķis ir paplašināties līdz pilnīgai interaktīvai multimodāla video paaudzei, potenciāli mainot mūsu mijiedarbību ar digitālo saturu un izklaides platformām.