Google Brain ja DeepMind rakentavat biljoonan parametrin kielimallia
Google Brain ja DeepMind rakentavat biljoonan parametrin kielimallia
Lisäksi: Spekulaatiota OpenAI:sta kuluttajainternet yrityksenä
Huomenta! ☕
Transistori on arkiaamuisin ilmestyvä teknologiauutisiin ja internet-kulttuuriin keskittyvä uutiskirje, jota sponsoroi ohjelmisto- ja datakonsultointipalveluja tarjoava Three Point Consulting. Klikkaa Transistori tilaukseen ja pysy kartalla teknologiamaailman tuoreimmista käänteistä!
Uutiset 🗞️
Google Brain ja DeepMind rakentavat biljoonan parametrin kielimallia
The information raportoi, että Googlen kaksi johtavaa tekoälyryhmää, Google Brain ja Deepmind, ovat vuosien sisäisen kilpailun jälkeen alkaneet työskennellä yhteisen tekoälyprojektin parissa. Syy tiiviimpään yhteistyöhön on uutistoimiston mukaan OpenAI:n viimeaikaiset läpimurrot.
Googlella on aloitettu Gemini -niminen projekti, jossa tarkoituksena on luoda biljoonan parametrin iso kielimalli. Google Brain johtaja (legendaarinen) Jeff Dean on projektissa myös mukana teknisessä roolissa.
OpenAI’s success in overtaking Google with an artificial intelligence–powered chatbot has achieved what seemed impossible in the past: It has forced the two AI research teams within Google’s parent, Alphabet, to overcome years of intense rivalry to work together.
Software engineers at Google’s Brain AI group are working with employees at DeepMind, an AI lab that is a sibling company within Alphabet, to develop software to compete with OpenAI, according to two people with knowledge of the project. Known internally as Gemini, the joint effort began in recent weeks, after Google stumbled with Bard, its first attempt to compete with OpenAI’s chatbot.
…
Reflecting Gemini’s importance, Jeff Dean, Brain’s leader and the most senior AI research executive at Google, has taken a technical role in the project, writing code to help make a machine-learning model that would try to match the capabilities of OpenAI’s GPT-4, the model that powers ChatGPT, one of these people said.
…
The Gemini project aims to develop a large-language model—a computer program that can understand and generate human-like language—that would have up to 1 trillion parameters, a measure of calculations in a machine-learning model, said one of the people briefed about it. GPT-4 also has around 1 trillion parameters, Semafor reported. Google’s effort requires tens of thousands of tensor processing units. The company’s equivalent to Nvidia’s graphical processing units, TPU microchips are particularly well suited to training large machine-learning models, this person said. Still, the Gemini effort may take months to complete, this person said.
Artikkelissa mainitaan myös, että Googlen Bard-tekoälymallin rakentamisvaiheessa oltaisiin käytetty opetusmateriaalina ChatGPT:een keskusteluja käyttäjien kanssa. Google kielsi nämä väitteet The Vergelle.
Mainokset tulevat uuteen Bingiin
Microsoft kertoi mainosten tulevan yhtiön uudistettuun Bing-hakupalveluun. Yhtiö sanoo uskovansa vahvasti mainosmalliin internetliiketoiminnan kivijalkana ja kertoo, että sen kokeilujen perusteella uusi Bing on parantanut mainosten kohdentamista aikaisempaan verrattuna:
Let’s start with our goals. First, we want to drive more traffic to publishers in this new world of search. It is a top goal for us, and we measure success in part by how much traffic we are sending from the new Bing/Edge. Second, we want to increase revenue to publishers. We seek to do this by both driving more traffic to them through new features like chat and answers and by also pioneering the future of advertising in these new mediums as I will describe below. Lastly, we want to go about this in collaborative fashion working with the industry to continue to foster a healthy ecosystem.
The early progress is encouraging. Based on our data from the preview, we are driving more traffic from all types of users. We have brought more people to Bing/Edge for new scenarios like chat and we are seeing increased usage. Then, we have uniquely implemented ways to drive traffic to publishers including citations within the body of the chat answers that are linked to sources as well as citations below the chat results to “learn more” with links to additional sources
Netflixin pelit laajentuvat TV:ihin
Mainitaan vielä, että Bloombergin mukaan Netflix saattaa pian laajentaa pelitarjontaansa peleihin jotka pyörivät myös yhtiön sovelluksissa TV:issä. Uutistoimiston lähteiden mukaan Netflixin pelejä voisi pelata TV:ssä ja ohjata älypuhelimella.
Netflix Inc. is working to bring its nascent video-game service to television sets for the first time, moving beyond smartphones and tablets in a sign of its growing ambitions.
Code hidden within Netflix’s app includes references to games played on TVs, signaling that such a plan is in motion. The code also mentions using phones as video-game controllers.
“A game on your TV needs a controller to play. Do you want to use this phone as a game controller?” one line reads. The code was discovered by app developer Steve Moser, who shared the findings with Bloomberg News.
Suosittelut 🕵️
Spekulaatiota OpenAI:sta kuluttajateknologia yhtiönä
OpenAI:n viime viikolla ChatGPT:lle julkaisema lisäosaominaisuus on luonnollisesti herättänyt paljon keskustelua koko alustan tulevaisuudesta.
ChatGPT oli alunperin ymmärtääkseni lähinnä demo, jolla OpenAI halusi näyttää mihin kielimallit ovat kykeneviä ja antaa suuren yleisön testata niitä. Sovelluksen suosio yllätti tutkimuslaboratoriona profiloituneen yrityksen ja avasi melkein vahingossa yritykselle mahdollisuuden toimia myös kuluttajateknologian puolella ja lisäosat vahvistavat entisestään tätä vaihtoehtoa.
Yhtiöllä vaikuttaa olevan mahdollisuus rakentaa ensimmäinen länsimainen “supersovellus”. Supersovelluksista varmaankin paras esimerkki lienee Kiinan WeChat, jonka kanssa voi tehdä lähes kaikkea mitä nykyisillä selaimilla ja sovelluksilla voi tehdä: tilata ruokaa, tehdä verkko-ostoksia ja varata vaikka lääkäriajan. Lisäosien kanssa ChatGPT kykenee integroitumaan muihin sovelluksiin ja toimia tavallaan “liimana” niiden välillä. Puhumattakaan siitä, että kielimallin voi laittaa etsimään asioita netistä.
ChatGPT:een yhteydessä puhutaan paljon siitä miten palvelu tulee vaikuttamaan Googlen liiketoimintaan, mutta jos OpenAI tuo lisäosien lisäksi ryhmäkeskustelut myös sovellukseen, niin voisin nähdä sen myös haasteena Metalle. WhatsAppin yhtenä valttina on ns. päästä päähän -salaus (end-to-end encryption), mutta miten paljon se painaa vaakakupissa jos voin keskustella kavereiden kanssa yhdessä ChatGPT:lle? Entä miten vaikea Metan olisi integroida oma kielimalli WhatsAppiin vahvan salauksen takia?
En osaa tähän vastata, mutta ChatGPT oli sitä mieltä, että yhtiön pitäisi todennäköisesti ladata kielimallit käyttäjien laitteille. Jatkokysymykseni tuolle idealle onkin, että mitä jos Apple ja Google eivät sitä salli? Tähän ChatGPT vastasi, että Meta voisi käyttää esimerkiksi hajautettua oppimista. ChatGPT oli tosin myös sitä mieltä, että se on itse suurempi uhka Facebookille kuin WhatsAppille. Jaoin keskustelumme ShareGPT-nimisessä palvelussa.
Analyysiä ChatGPT:een lisäosista voi lukea lisää Ben Thompsonin Stratecherystä ja Packy McCormickin Not Boringissa, jotka molemmat kirjoittivat aiheesta tällä viikolla. Thompsonilta:
This is the first reason why I thought last week’s launch of ChatGPT plugins was so important: to me it signaled a major shift in ambition. ChatGPT may have started out as a fun demo, but now it is well on its way to being the next major consumer tech platform. And yes, that may have been obvious — those usage numbers don’t lie — but I think this launch was meaningful for what it signaled about OpenAI’s acceptance of that reality.
Jos OpenAI keskittyy jatkossa entistä enemmän ChatGPT:hen, vähentäisi se myös todennäköisesti päällekkäistä tarjontaa Microsoftin kanssa, jota kiinnostaa pitkälti yritysasiakkaat ja OpenAI voisi keskittyä kuluttajien tekoälyyn totuttamiseen.
Nopeet 🚀
(€) Wall Street Journal raportoi siitä miten moni iso yhtiö on karsinut Metaverse-aloitteitaan, mukaan lukien Disney ja Microsoft.
(€) Yllä olevaan liittyen, Bloombergin mukaan Sonyn PSVR2 -virtuaalilasit ovat myyneet heikosti.
Instagram julkaisi uuden kirjanmerkkiominaisuuden.
Asianometryltä hyvä historiikki Mooren laista.
Myös Electronic Arts irtisanoo työntekijöitä.
Vertailua avoimen lähdekoodin isojen kielimallien välillä.
Applen kehittäjäkonferenssi WWDC alkaa 5. kesäkuuta.
Googlelta on tulossa uusi puheesta-tekstiksi -malli.
Sam Altman lähtee maailmankiertueelle.
Twitter julkisti uuden API-hinnoittelunsa.