„Meta“ išleido naują AI modelių kolekciją, „Llam 4“, savo lamos šeimoje – šeštadienį ne mažiau.
Iš viso yra keturi nauji modeliai: „Llam 4 Scout“, „Llam 4 Maverick“ ir „Llama 4 Begemoth“. Visi buvo išmokyti „dideliais kiekiais nepaženklinto teksto, vaizdo ir vaizdo duomenų“, kad jie suteiktų „plačią vaizdinį supratimą“, sako Meta.
Kinijos AI laboratorijos „Deepseek“, kurie veikia lygiai ar geriau nei ankstesni „Meta“ flagmanų „Llam“ modeliai, sėkmė, kaip pranešama, kad „Llama“ plėtra pradėjo „Overdrive“. Teigiama, kad meta turi iššifravusio karo kambarius, kad iššifruotų, kaip „Deepseee“ sumažino modelių, tokių kaip R1 ir V3, bėgimo ir dislokavimo išlaidas.
„Scout“ ir „Maverick“ yra atvirai prieinami llama.com ir iš „Meta“ partnerių, įskaitant AI dev platformą, apkabinančią veidą, o Behemotas vis dar mokosi. „Meta“ sako, kad „Meta AI“, jos AI varomas asistentas visose programose, įskaitant „WhatsApp“, „Messenger“ ir „Instagram“, buvo atnaujintas naudoti „Lla 4“ 40 šalių. Multimodalinės savybės kol kas apsiriboja JAV anglų kalba.
Kai kuriems kūrėjams gali kilti problemų dėl „Lama 4“ licencijos.
Vartotojams ir įmonėms „gyvenamosios vietos“ arba su „pagrindine verslo vieta“ ES draudžiama naudoti ar platinti modelius, greičiausiai dėl regiono AI ir duomenų privatumo įstatymų nustatytų valdymo reikalavimų. (Anksčiau „Meta“ šį įstatymus nutarė kaip pernelyg apsunkintus.) Be to, kaip ir ankstesniuose „Llam“ leidimuose, įmonės, turinčios daugiau nei 700 milijonų mėnesinių aktyvių vartotojų, turi paprašyti specialios „Meta“ licencijos, kurią „Meta“ gali suteikti ar paneigti savo nuožiūra.
„Šie„ Llam 4 “modeliai žymi naujos„ Llam “ekosistemos eros pradžią“, – rašė Meta tinklaraščio įraše. „Tai tik„ Llam 4 “kolekcijos pradžia“.
„Meta“ sako, kad „Llam 4“ yra pirmoji modelių kohorta, kurioje naudojama ekspertų (MOE) architektūros mišinys, kuris yra labiau skaičiavimo požiūriu efektyvus mokymui ir atsakymui už klausimus. MOE architektūros iš esmės suskaido duomenų apdorojimo užduotis į užduotis ir tada perduokite jas į mažesnius, specializuotus „ekspertų“ modelius.
Pavyzdžiui, „Maverick“ turi 400 milijardų parametrų, tačiau tik 17 milijardų aktyvus parametrai 128 „Ekspertai“. (Parametrai apytiksliai atitinka modelio problemų sprendimo įgūdžius.) Skautas turi 17 milijardų aktyvių parametrų, 16 ekspertų ir 109 milijardų parametrų.
Remiantis „Meta“ vidiniu bandymu, „Maverick“, kuris, pasak bendrovės, yra geriausia „bendrojo asistento ir pokalbių“ naudojimo atvejams, tokiems kaip kūrybinis rašymas, viršija tokius modelius kaip „Openai“ GPT-4O ir „Google“ „Gemini 2.0“ apie tam tikrą kodavimą, samprotavimus, daugiakalbį, ilgalaikį ir vaizdo etalonus. Tačiau „Maverick“ nelabai įvertina naujausius modelius, tokius kaip „Google“ „Gemini 2.5 Pro“, „Anthropic“ „Claude 3.7 Sonnet“ ir „Openai“ GPT-4.5.
„Scout“ stipriosios pusės yra tokiose užduotyse kaip dokumentų apibendrinimas ir pagrindimai dėl didelių kodų bazių. Vienareikšmiškai, jis turi labai didelį konteksto langą: 10 milijonų žetonų. („Žetonai“ atspindi neapdoroto teksto dalis, pvz., Žodis „fantastiškas“ padalijamas į „ventiliatorių“, „TAS“ ir „tic“.) Paprastai angliškai skautė gali imtis vaizdų ir iki milijonų žodžių, leisdama jam apdoroti ir dirbti su ypač ilgais dokumentais.
Remiantis „Meta“ skaičiavimais, skautas gali veikti vienoje „NVIDIA H100 GPU“, o „Maverick“ reikalauja NVIDIA H100 DGX sistemos arba ekvivalento.
Meta neišleistas behemoth reikės dar jautresnės aparatūros. Anot bendrovės, „Behemoth“ turi 288 milijardus aktyvių parametrų, 16 ekspertų ir beveik du trilijonus parametrų. „Meta“ vidinis etalonas yra „Behemoth“ pralenkdamas GPT-4.5, Claude 3.7 sonet ir „Gemini 2.0 Pro“ (bet ne 2.5 Pro) keliuose vertinimuose, matuojančiuose STEM įgūdžius, tokius kaip matematikos problemų sprendimas.
Pažymėtina, kad nė vienas iš „Llam 4“ modelių nėra tinkamas „samprotavimo“ modelis pagal „Openai“ O1 ir O3-mini. Priežiūros modeliai Faktai tikrina savo atsakymus ir paprastai patikslina į klausimus, tačiau dėl to atsakymai prireikia ilgiau nei tradiciniai, „nepagrįstai“ modeliai.
Įdomu tai, kad „Meta“ sako, kad ji sureguliavo visus savo „Llam 4“ modelius, kad atsisakytų atsakyti į „ginčytinus“ klausimus. Anot bendrovės, „Llam 4“ reaguoja į „diskutuojamas“ politines ir socialines temas, kurių nebūtų ankstesni lamos modelių derliai. Be to, bendrovė sako, kad „Lama 4“ yra „dramatiškai labiau subalansuota“, su kuria ragina jį išlaisvinti.
„(Y) gali tikėtis („ Lllama 4 “), kad pateiktų naudingų, faktinių atsakymų be sprendimo“, – „TechCrunch“ pasakojo meta atstovas. „(W) ir toliau daro lamą reaguojančią, kad ji atsakytų į daugiau klausimų, galėtų atsakyti į įvairius skirtingus požiūrius (…) ir nepritarti kai kurioms nuomonėms prieš kitus“.
Tie pataisymai būna, kai kai kurie Baltųjų rūmų sąjungininkai kaltina AI pokalbių programas, kad yra per daug politiškai „pabudo“.
Daugelis artimųjų prezidento Donaldo Trumpo patikėtinių, įskaitant milijardierių Eloną Muską ir Crypto bei AI „CZAR“ Davidą Sacksą, teigė, kad populiarios AI pokalbių cenzūros cenzūros požiūriai. „Sacks“ istoriškai išskiria Openai Chatgptą kaip „užprogramuotą pabudimą“ ir netiesą apie politinius dalykus.
Tiesą sakant, AI šališkumas yra neišspręsta techninė problema. Savų Musko AI kompanija „Xai“ stengėsi sukurti pokalbių programą, kuri nepritaria kai kurioms politinėms nuomonėms prieš kitus.
Tai nesustabdė įmonių, įskaitant „Openai“, koreguoti savo AI modelius, kad atsakytų į daugiau klausimų, nei jie būtų anksčiau, ypač klausimai, susiję su prieštaringai vertinamais dalykais.
