TechSpot bo kmalu praznoval svojo 25. obletnico. TechSpot pomeni tehnično analizo in nasvet, ki mu lahko zaupate.
V kontekstu: Veliki jezikovni modeli prevladujejo v ciklu novic brez znakov upočasnitve. Vsi se želijo soočiti s pritličjem tehnologije, zato trenutno vlada zlata mrzlica za izdajo naslednjega odličnega klepetalnega robota z umetno inteligenco. Na žalost so modeli, kot je ChatGPT, pregrešno dragi za izdelavo in usposabljanje. Manjši modeli so veliko cenejši, vendar se zdijo bolj nagnjeni k temu, da se spremenijo v zmešnjavo, podobno Microsoftovemu Tayu iz leta 2016.
Prejšnji teden so raziskovalci Univerze Stanford objavili svojo različico klepetalnega robota, ki temelji na Metinem LLaMa AI, imenovanem „Alpaca”, vendar so ga hitro odstranili iz povezave, potem ko je začel imeti „halucinacije”. Nekateri v industriji velikih jezikovnih modelov (LLM) so se odločili, da je halucinacija dober evfemizem za primere, ko umetna inteligenca izda lažne informacije, kot da bi bile resnične. Univerza je dodala, da so bili pri njegovi odstranitvi dejavniki tudi naraščajoči stroški gostovanja in skrbi za varnost.
„Prvotni cilj izdaje predstavitve je bil razširiti naše raziskave na dostopen način,” je za The Register povedal tiskovni predstavnik Inštituta za umetno inteligenco, osredotočeno na človeka, Univerze Stanford. „Menimo, da smo večinoma dosegli ta cilj, in glede na stroške gostovanja in neustreznosti naših vsebinskih filtrov smo se odločili ukiniti predstavitev.”
„Glede na … neustreznosti naših vsebinskih filtrov …” je koda za „internet je uničil naš model,” kar ni presenetljivo, saj internet uniči vse.
Seveda so LLM-ji nagnjeni k domišljijskim razmišljanjem, ki jih predstavljajo na povsem verjeten način. Raziskovalci so opozorili na to slabost pri skoraj vseh nedavnih chatbotih, ki so bili sproščeni v divjino. Obstajajo številni primeri ChatGPT in drugih, ki lažne informacije predstavljajo kot resnične in vedno znova zagovarjajo svojo zgodbo, ko jih o tem pokličejo.
Poleg tega je Stanford vedel, da je Alpaca ustvarila neprimerne odzive, ko je predstavila interaktivno predstavitev.
„Alpaka kaže tudi več pogostih pomanjkljivosti jezikovnih modelov, vključno s halucinacijami, strupenostjo in stereotipi,” so prejšnji teden povedali raziskovalci v svojem sporočilu za javnost. „Zdi se, da je zlasti halucinacija pogost način napake pri Alpaki, tudi v primerjavi z text-davinci-003 (GPT-3.5 OpenAI). Uvedba interaktivne predstavitve za Alpako predstavlja tudi potencialna tveganja, kot je širše razširjanje škodljive vsebine in znižanje ovire za neželeno pošto, goljufije ali dezinformacije.”
Kljub temu, da spletna stran, ki gosti predstavitev Alpaca, ne deluje, lahko uporabniki še vedno pridobijo model iz njenega GitHub repo za zasebno eksperimentiranje, kar Stanford spodbuja. Uporabnike je prosila, naj „označijo” napake, ki niso navedene v sporočilu za javnost, ko je prvotno objavila model.
Ena od težav z Alpaco je, da je razmeroma majhen model, kot gre za LLM, vendar je to po zasnovi. Meta je namenoma ustvarila LLaMA kot dostopen jezikovni model, ki ne bi potreboval dragega superračunalnika za usposabljanje. Stanford ga je uporabil za razvoj modela parametrov s sedmimi milijardami za približno 600 dolarjev. Primerjajte to s 3 milijardami dolarjev (ali več), ki jih je Microsoft vložil v svoj model, ki temelji na ChatGPT s stotinami milijard parametrov.
V tej luči ni presenetljivo, da je Alpaca tako hitro propadla, ko je bila objavljena v javnosti. Celo ChatGPT in Bing Chat sta imela veliko nesreč, napak in polemik, ko sta debitirala, in to po razmeroma dolgih zaprtih različicah beta.
Vendar to ne pomeni, da Alpaka nikoli ne bo primerna za javno porabo. Koda GitHub je na voljo šele en teden in ljudje so jo implementirali v telefone Raspberry Pi in Pixel. Ti podvigi so mogoči le zaradi majhne velikosti Alpake. Glavna ovira bo pridobiti tako majhen model, da se bo obnašal, kar je Stanford preučeval že več kot tri leta (video zgoraj). To je področje, kjer je treba delati tudi pri velikih LLM-jih, kot je ChatGPT.