OpenAI julkaisi GPT-4:n
OpenAI julkaisi GPT-4:n
Lisäksi: OpenAI:n kehittäjille suunnattu GPT-4 esittely
Huomenta! ☕
Huh huh mikä Piin päivä.
Transistori on arkiaamuisin ilmestyvä teknologiauutisiin ja internet-kulttuuriin keskittyvä uutiskirje, jota sponsoroi ohjelmisto- ja datakonsultointipalveluja tarjoava Three Point Consulting. Klikkaa Transistori tilaukseen ja pysy kartalla teknologiamaailman tuoreimmista käänteistä!
Uutiset 🗞️
OpenAI julkaisi GPT-4:n
OpenAI julkaisi (vihdoin) eilen GPT-4:n. Malli on multimodaalinen, eli sille voi antaa myös kuvia syötteeksi. Lisäksi se yltää mm. “simuloidussa” Yhdysvaltojen asianajajakokeessa (Bar Exam) ylimpään 10 %:iin vastaajista. Itse malli on ollut valmis viime vuoden elokuussa, mutta yhtiö on käyttänyt kuusi kuukautta GPT-4:n hienosäätöön. Yhtiö julkaisi eilen pääsyn malliin ChatGPT+ asiakkaille ja jonotuslistan mallin API:iin. OpenAI:lta:
We’ve created GPT-4, the latest milestone in OpenAI’s effort in scaling up deep learning. GPT-4 is a large multimodal model (accepting image and text inputs, emitting text outputs) that, while less capable than humans in many real-world scenarios, exhibits human-level performance on various professional and academic benchmarks. For example, it passes a simulated bar exam with a score around the top 10% of test takers; in contrast, GPT-3.5’s score was around the bottom 10%. We’ve spent 6 months iteratively aligning GPT-4 using lessons from our adversarial testing program as well as ChatGPT, resulting in our best-ever results (though far from perfect) on factuality, steerability, and refusing to go outside of guardrails.
…
We are releasing GPT-4’s text input capability via ChatGPT and the API (with a waitlist). To prepare the image input capability for wider availability, we’re collaborating closely with a single partner to start. We’re also open-sourcing OpenAI Evals, our framework for automated evaluation of AI model performance, to allow anyone to report shortcomings in our models to help guide further improvements.
Hämmästyttävästi malli suoriutuu todella hyvin joukossa standardoituja (Yhdysvaltalaisia) lukion ja yliopiston kokeita ja sen matemaattinen päättely on parantunut huomattavasti (ks. kansikuva).
Mallin multimodaaliset ominaisuudet ovat myös hämmästyttäviä. Malli osaa esimerkiksi selittää miksi alla oleva kuva on hauska:
OpenAI ei juurikaan paljastanut yksityiskohtia itse mallin arkkitehtuurista, vedoten kaupallisiin salaisuuksiin:
Given both the competitive landscape and the safety implications of large-scale models like GPT-4, this report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar.
Ohessa vielä linkki OpenAI:n julkaisemaan esittelyvideoon mallista.
Google julkisti joukon tekoälypäivityksiä tuotteisiinsa
Google julkisti eilen joukon tekoälypäivityksiä niin sen Google Cloud -pilvipalveluun, kuin yhtiön Workspaces -tuottavuusohjelmistoihin. Google Cloudissa on nyt (rajallinen) pääsy yhtiön isoon kielimalliin PaLM:iin, rajapinnan kautta:
For developers who are experimenting with AI, we’re introducing the PaLM API, an easy and safe way to build on top of our best language models. Today, we’re making an efficient model available, in terms of size and capabilities, and we’ll add other sizes soon. The API also comes with an intuitive tool called MakerSuite, which lets you quickly prototype ideas and, over time, will have features for prompt engineering, synthetic data generation and custom-model tuning — all supported by robust safety tools. Select developers can access the PaLM API and MakerSuite in Private Preview today, and stay tuned for our waitlist soon.
Workspacesiin kuuluvat Google Docs ja Gmail saavat myös tekoälyominaisuuksia, kuten kyvyn tiivistää sähköpostikeskusteluja ja luoda tekstiä syötekehotteista:
Meta irtisanoo vielä 10 000 työntekijää
Mainitaan vielä, että Metan Mark Zuckerberg ilmoitti eilen yhtiön suunnitelmista irtisanoa lisää työntekijöitä, tällä kertaa n. 10 000 henkilöä. Lisäksi yhtiö aikoo olla palkkaamatta 5000 tällä hetkellä avoimena olevaan rooliin. Metalta:
Our efficiency work has several parallel workstreams to improve organizational efficiency, dramatically increase developer productivity and tooling, optimize distributed work, garbage collect unnecessary processes, and more. I’ve tried to be open about all the work that’s underway, and while I know many of you are energized by this, I also recognize that the idea of upcoming org changes creates uncertainty and stress. My hope is to make these org changes as soon as possible in the year so we can get past this period of uncertainty and focus on the critical work ahead.
Here’s the timeline you should expect: over the next couple of months, org leaders will announce restructuring plans focused on flattening our orgs, canceling lower priority projects, and reducing our hiring rates. With less hiring, I’ve made the difficult decision to further reduce the size of our recruiting team. We will let recruiting team members know tomorrow whether they’re impacted. We expect to announce restructurings and layoffs in our tech groups in late April, and then our business groups in late May. In a small number of cases, it may take through the end of the year to complete these changes. Our timelines for international teams will also look different, and local leaders will follow up with more details. Overall, we expect to reduce our team size by around 10,000 people and to close around 5,000 additional open roles that we haven’t yet hired.
Suosittelut 🕵️
OpenAI:n kehittäjille suunnattu GPT-4 esittely
OpenAI:n presidentti Greg Brockman esitteli GPT-4:ää yhtiön järjestämässä livestriimillä, jossa mallilla mm. toteutettiin selvityksiä veroilmoitukseen ja tehtiin muistikirjan sivussa olevasta luonnoksesta oikea verkkosivu. Mallin 32 000 tokenin muisti on erityisen hyödyllinen ominaisuus, koska sille voi antaa hyvinkin pitkiä tekstipätkiä.
Annoin itse ChatGPT:ssä olevalle GPT-4 mallille edellisvuoden lääketieteellisen pääsykokeessa olevan kysymyksen ja se vastasi siihen hämmästyttävän hyvin:
Harmillisesti ChatGPT:ssä olevaa GPT-4:lle ei ole laitettu päälle vielä kuvien ymmärtämistä, olisi ollut hauska testata miten hyvin malli osaisi vastata kuvantunnistustehtäviin.
Nopeet 🚀
New York Times profiloi OpenAI:ta.
Apple lykkää bonusten maksamista ja asettaa osittaisen palkkausten jäädyttämisen.
Anthropicin Claude -malli on nyt Early Access -moodissa.
Microsoft vahvisti uuden Bingin toimivan GPT-4:llä.
TikTok on lisäämässä syötteen pelkästään matematiikka- ja tiedevideoille.
Google julkisti Open Health Stack -nimisen avoimeen lähdekoodiin perustuvia kehitystyökaluja, joiden kanssa pitäisi olla helpompaa tehdä sovelluksia terveydenhuololle.
TikTok varautuu eriytymään ByteDancesta.
Khan Academy integroi GPT-4:n palveluunsa. Lisäksi Duolingo esitteli 30 dollaria kuukaudessa maksavan kielenopetuspalvelun, jossa on GPT-4 integraatio.
lol.
Ja toinen lol.