OpenAI ja Microsoft kertoivat virallisesti uudesta sijoituksesta

Lisäksi: Upotteiden ja isojen kielimallien yhdistelyä

Giorgio Trovato / Unsplash

Huomenta! ☕

Transistori on arkiaamuisin ilmestyvä teknologiauutisiin ja internet-kulttuuriin keskittyvä uutiskirje, jota sponsoroi ohjelmisto- ja datakonsultointipalveluja tarjoava Three Point Consulting. Klikkaa Transistori tilaukseen ja pysy kartalla teknologiamaailman tuoreimmista käänteistä!

Uutiset 🗞️

OpenAI ja Microsoft kertoivat virallisesti uudesta sijoituksesta

Microsoft ja OpenAI ovat kertoneet virallisesti tiivistävänsä yhteistyötään, uudella Microsoftin sijoituksella OpenAI:hin. Tarkkaa summaa ei virallisesti kerrottu, vaan sijoituksen kerrottiin olevan useita miljardeja dollareita usean vuoden ajalle. OpenAI:lta:

We’re happy to announce that OpenAI and Microsoft are extending our partnership.

This multi-year, multi-billion dollar investment from Microsoft follows their previous investments in 2019 and 2021, and will allow us to continue our independent research and develop AI that is increasingly safe, useful, and powerful.

Bloomberg taas raportoi lähteidensä pohjalta, että sijoituksen määrä olisi kymmenen miljardia dollaria.

Microsoft Corp. is investing $10 billion in OpenAI, whose artificial intelligence tool ChatGPT has lit up the internet since its introduction in November, amassing more than a million users within days and touching off a fresh debate over the role of AI in the workplace.

…

While Microsoft didn’t give details of the new investment, a person familiar with the discussions, who asked not to be identified because the information isn’t public, said it totals $10 billion over multiple years. The shares gained 1% to $242.58 in New York on Monday. 

---

Spotify irtisanoo 6 % työntekijöistään

Spotify kertoi eilen irtisanovansa 6 % työvoimastaan. Daniel Ekin viesti Spotifyn työntekijöille julkaistiin myös yhtiön blogissa. Ekin mukaan yhtiön juoksevat kulut kasvoivat kaksi kertaa nopeammin kuin yhtiön liikevaihto vuonna 2022, tuo suhde oli yhtiön johdolle kestämättömällä pohjalla.

Lisäksi Ek myönsi, monen muun teknologiayrityksen johtajan tavoin, olleen liian optimistinen tulevaisuuden kasvunäkymien suhteen pandemian aikana. Spotifyltä:

That brings me to the second update. As part of this effort, and to bring our costs more in line, we’ve made the difficult but necessary decision to reduce our number of employees.

…

To offer some perspective on why we are making this decision, in 2022, the growth of Spotify’s OPEX outpaced our revenue growth by 2X. That would have been unsustainable long-term in any climate, but with a challenging macro environment, it would be even more difficult to close the gap. As you are well aware, over the last few months we’ve made a considerable effort to rein-in costs, but it simply hasn’t been enough. So while it is clear this path is the right one for Spotify, it doesn’t make it any easier—especially as we think about the many contributions these colleagues have made. 

Like many other leaders, I hoped to sustain the strong tailwinds from the pandemic and believed that our broad global business and lower risk to the impact of a slowdown in ads would insulate us. In hindsight, I was too ambitious in investing ahead of our revenue growth. And for this reason, today, we are reducing our employee base by about 6% across the company. I take full accountability for the moves that got us here today.

Bloombergin mukaan, Spotifyn tapauksessa tuo 6 % tarkoittaa noin 600 henkilöä.

---

Amazon ja Stripe laajentavat yhteistyötään

Mainitaan vielä, että maksupalvelu Stripe ja verkkokauppajätti Amazon kertoivat eilen laajentavansa yhteistyötään. Uuden sopimuksen mukaisesti, Stripe saa prosessoitavakseen entistä enemmän Amazonin maksuja, ml. Prime, Audible, Kindle ja Amazon Pay palveluista. Stripe taas sitoutuu laajentamaan Amazonin pilvipalvelun AWS:n käyttöä. Stripeltä:

• Amazon and Stripe sign an expanded global agreement, deepening the two companies’ long-standing partnership.

• Under the new agreement, Stripe will become a strategic payments partner for Amazon in the US, Europe, and Canada, processing a significant portion of Amazon’s total payments volume across its businesses, including Prime, Audible, Kindle, Amazon Pay, Buy With Prime, and more.

• Stripe will expand its use of Amazon Web Services, Stripe’s long-standing cloud infrastructure provider, to run and grow its business while reliably serving millions of internet companies.

---

Suosittelut 🕵️

Upotteiden ja isojen kielimallien yhdistelyä

Simon Willison kuvailee uudessa blogikirjoituksessaan mielenkiintoisen ja suoraviivaisen tavan yhdistellä upotteita ja isoja kielimalleja, jotta joukosta dokumentteja (eli tekstidatasta) voi esittää kysymyksiä.

Prosessi menee suurin piirtein näin:

0. (Muodosta upotteita tekstimuotoisesta datasta)

1. Hae/suodata upotteista kyselyä varten relevantit dokumentit

2. Yhdistä kaikkien relevanttien upotteiden dokumentit yhdeksi merkkijonoksi

3. Luo ohjeistus kielimallille, liittämällä dokumenteista muodostettu merkkijono ja itse kysymys (taas) yhdeksi merkkijonoksi

4. Lähetä tuo ohjeistus isolle kielimallille (eli GPT-3:lle) ja arvioi sen palauttama vastaus.

Willison rakensi demon blogikirjoitustensa päälle (joita löytyy 20 vuoden ajalta) ja tätä menetelmää käyttämällä vastaukset ovat ihan vaikuttavia:

I’ve implemented this pattern against my blog—3,000 posts going back over twenty years. I built it using some custom SQLite SQL functions that call the OpenAI APIs.

First, some examples of questions and answers I ran against my blog:

What does shot scraper do?

Shot-scraper is a command-line tool that helps automate the process of taking screenshots of web pages and scraping data from them using JavaScript. It can be used to take one-off screenshots or take multiple screenshots in a repeatable way by defining them in a YAML file. It can also be used to execute JavaScript on a page and return the resulting value.

shot-scraper is a tool I released in 2022—after the 2021 GPT-3 training cut-off date. This is a very good summary—better I think than anything I’ve written about shot-scraper myself.

Iso rajoite tuossa tekniikassa on, että OpenAI:n GPT-3 API:n maksimi ns. tokenien¹ määrä on 4000 mikä vastaa suurin piirtein samaa määrää sanoja. Willison on tosin kuullut GPT-4:ään liittyviä huhuja, joiden mukaan tulevalle mallille voi syöttää huomattavasti suurempia määriä tokeneita.

• Hold out for GPT-4: I’ve heard rumours that the next version of the model will have a significantly larger token limit, which should result in much better results from this mechanism.

Jos minulla olisi aikaa, kokeilisin tuota tekniikkaa eduskunnan täysistuntojen puhevuoroihin, joita löytyy eduskunnan avoimen datan portaalista. Veikkaan, että tekniikka toimii huonommin suomeksi, mutta itse ChatGPT:n ymmärrys suomen kielestä ylitti omat odotukset, joten nuo OpenAI:n upotemallitkin saattavat olla yllättävän hyviä.

Willisonin kuvaama esimerkki on suhteellisen suoraviivainen ja käytännössä kuka tahansa, joka osaa hieman pythonia, pystyy sen kanssa tekemään ohjelman, joka tuntui vielä muutama vuosi sitten mahdottomalta. OpenAI on julkaissut myös prosessista oman notebookin, jonka voi löytää yhtiön Github-reposta.

---

Nopeet 🚀

• (€) Nokia ja Samsung sopuun 5G-patenteista.

• Rakennusalan tuottavuus on laskenut Yhdysvalloissa 40 % viimeisen 50 vuoden ajan.

• Meta alkaa näyttämään joitain NBA-pelejä Quest-laitteissa.

• (€) Kiina alkaa sääntelemään deepfakejen käyttöä.

• Donald Trump suunnittelee ilmeisesti paluuta Twitteriin.

• (€) Osakkeiden viime aikainen nousu² kuvastaa sijoittajien uskoa siitä, että inflaatio tulee vauhdilla alas.

• The Verge profiloi Sonyn ja Hondan yhteistä (tulevaa) automerkkiä, Afeelaa.

• ChatGPT näyttää myös läpäisevän Yhdysvalloissa lääkärilupaan vaadittavan kokeen.

• 20 % n. 4500:sta kyselyyn osallistuneesta Stanfordin opiskelijasta myönsi käyttäneensä ChatGPT:tä viime lukukauden tenteissä.

1. Yhden “tokenin” voi mieltää merkkijonoksi joka on “keskimääräisen” sanan pituinen. Tokenien määrää lauseessa tai pitkässä merkkijonossa voi laskea käyttämällä vaikka tätä OpenAI:n työkalua.

2. Nasdaq on kivunnut n. 8,6 % tätä kirjoittaessa