Johtavat tutkijat ja liikejohtajat pyytävät taukoa isojen kielimallien kehityksessä
Lisäksi: Onko Kiina jäämässä jälkeen kielimallien kanssa?
Huomenta! ☕
Transistori on arkiaamuisin ilmestyvä teknologiauutisiin ja internet-kulttuuriin keskittyvä uutiskirje, jota sponsoroi ohjelmisto- ja datakonsultointipalveluja tarjoava Three Point Consulting. Klikkaa Transistori tilaukseen ja pysy kartalla teknologiamaailman tuoreimmista käänteistä!
Uutiset 🗞️
Johtavat tutkijat ja liikejohtajat pyytävät taukoa isojen kielimallien kehityksessä
Joukko johtavia tutkijoita ja liikejohtajia allekirjoitti Future of Life instituutin vetoomuksen, siitä että GPT-4:ää tehokkaampien mallien kehitys keskeytettäisiin seuraavan kuuden kuukauden ajaksi. Vetoomuksessa todetaan, että tämä aika pitäisi käyttää isojen kielimallien turvallisuuden parantamiseen.
Therefore, we call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4. This pause should be public and verifiable, and include all key actors. If such a pause cannot be enacted quickly, governments should step in and institute a moratorium.
AI labs and independent experts should use this pause to jointly develop and implement a set of shared safety protocols for advanced AI design and development that are rigorously audited and overseen by independent outside experts. These protocols should ensure that systems adhering to them are safe beyond a reasonable doubt.[4] This does not mean a pause on AI development in general, merely a stepping back from the dangerous race to ever-larger unpredictable black-box models with emergent capabilities.
AI research and development should be refocused on making today's powerful, state-of-the-art systems more accurate, safe, interpretable, transparent, robust, aligned, trustworthy, and loyal.
Allekirjoittaneisiin kuuluu mm. Elon Musk, neuroverkoista Turing-palkinnon voittaneisiin kuulunut Yoshua Bengio, Stability AI:n perustaja Emad Mostaque, historoitsija Yuval Harari ja Applen perustajiin kuulunut Steve Wozniak. Myös OpenAI:n Sam Altmanin nimi näyttäisi olevan allekirjoittaneiden listalla, tosin tässä vaiheessa lienee parasta odottaa Altmanin kommenttia asiasta ennen kuin tuon voi verifioida oikeaksi.
Vetoomus sai arvatenkin myös kritiikkiä. Bengion kanssa samaan aikaan Turing-palkinnon voittanut Yann LeCun, joka johtaa Metalla tekoälytutkimusta sanoi olevansa vetoomuksen olettamusten kanssa eri mieltä:
Myös Tyler oli skeptinen vetoomusta kohtaan ja kritisoi sitä konkreettisuuden puutteesta.
Replit ja Google Cloud kertoivat uudesta kumppanuudesta
Pilvessä pyörivä kehittäjäalusta Replit ilmoitti eilen uudesta kumppanuudesta Google Cloudin kanssa. Replit aikoo jatkossa käyttää Googlen isoja kielimalleja yhtiön koodinmuokkaustyökalu Ghostwriterissa, joka on kilpailija Microsoftin omistaman Githubin Copilotille. Vastaavasti Replitiä pystyy jatkossa käyttämään Google Cloudissa. Googlelta:
Leading cloud software development platform Replit today announced a new strategic partnership with Google Cloud. Under the new partnership, Replit developers will now get access to Google Cloud infrastructure, services, and foundation models via Ghostwriter, Replit's software development AI, while Google Cloud and Workspace developers will get access to Replit’s collaborative code editing platform.
The collaboration will accelerate the creation of generative AI applications and underscores Google Cloud's commitment to nurturing the most open ecosystem for generative AI. For Replit, already 20 million developers strong, this partnership with Google Cloud is its next move in realizing its mission to empower the next 1 billion software creators.
Tämä on mielestäni mielenkiintoinen kumppanuus, sillä Googlelta puuttuu arsenaalistaan tällä hetkellä selkeä kilpailija Githubille ja Copilotille. Sen sijaan voisin kuvitella, että Replitiä huolestuttaa Copilotin lisäksi mahdollisuus ajaa Python-koodia ChatGPT:een sisällä. Asiasta voi lukea lisää mm. Bloombergilta.
Apple Pay Later on nyt saatavilla Yhdysvalloissa
Mainitaan vielä, että Apple on vihdoin julkaissut Klarnan kanssa kilpailevan Apple Pay Later -palvelun, joka on aluksi saatavilla vain Yhdysvalloissa. Pay Laterin käyttäjät voivat hakea Applelta ns. Pay Later -lainoja, joiden suuruus vaihtelee 50 dollarin ja 1000 dollarin väillä. Tätä lainaa voi käyttää joko App Storessa tai Apple Paytä tukevissa nettikaupoissa. Laina maksetaan takaisin kuuden viikon aikana, neljässä erässä. Applelta:
Apple today introduced Apple Pay Later in the U.S. Designed with users’ financial health in mind, Apple Pay Later1 allows users to split purchases into four payments, spread over six weeks with no interest and no fees.2 Users can easily track, manage, and repay their Apple Pay Later loans in one convenient location in Apple Wallet. Users can apply for Apple Pay Later loans of $50 to $1,000, which can be used for online and in-app purchases made on iPhone and iPad with merchants that accept Apple Pay.3 Starting today, Apple will begin inviting select users to access a prerelease version of Apple Pay Later, with plans to offer it to all eligible users in the coming months.
Suosittelut 🕵️
Onko Kiina jäämässä jälkeen kielimallien kanssa?
Eräs teema minkä narratiivissa on tapahtunut iso muutos lyhyessä ajassa on Kiinan asema tekoälyn toisena mahtimaana.
Isojen kielimallien hyödyntäminen maassa on ilmeisesti sensuurin takia rajoitettua ja mallien kouluttaminen on merkittävästi työläämpää kuin lännessä. OpenAI, Google ja Meta voivat syöttää malleilleen käytännössä kaiken mitä netistä löytävät, mutta sama ei pidä paikkansa kiinalaisille teknologiajäteille jotka joutuvat varmistamaan, että yhtiöiden valmistamat mallit ovat linjassa kommunistisen puolueen kanssa.
Tyler Cowen spekuloi asiasta jo tammikuussa, ja kiinalaisen kuluttajateknologiajätti Baidun tässä kuussa esittelemä ChatGPT-kilpailija Ernie oli niin iso pettymys, että yhtiön markkina-arvosta suli 6,4 % yhden päivän aikana. Baidu ilmoitti myös aikaisemmin tällä viikolla peruvansa suunnitellun avoimen Ernie-botin esittelytilaisuuden.
Yhden anekdootin tilanteesta jakoi maaliskuun alussa startup-yrittäjä Siqi Chen (pyörittää fintech-yritys Runwayta), joka kertoi tekoälystä käymästään keskustelusta kiinalaisen teknologiayrityksen toimitusjohtajan kanssa. Toimitusjohtajan mukaan kiinankielisiä kielimalleja ei ilmeisesti saa pyytää laskemaan lukuja ykkösestä kymmeneen, koska siinä ei voi välttyä lukujen kahdeksan ja yhdeksän laittamisesta peräkkäin. Asia on valtion toimesta paheksuttua, koska vuosi 1989 on poliittisesti maassa niin arkaluontoinen.
Ei nyt tietenkään kannata laittaa hirveästi painoarvoa yhteen satunnaiseen twiittiin, mutta kiinalaisten yritysten reagointi uusiin tekoälyteknologioihin on itselleni yksi mielenkiintoisimmista sivujuonista nykyisen luovan tekoälyn käyttöönotossa. Teknisestä kyvykkyydestä maan tekoälyjohtajuus ei ole kiinni, sillä esimerkiksi Huawei julkaisi viime viikolla paperin uudesta biljoonan parametrin kielimallista. Samaan aikaan maassa on vilkas musta pörssi jossa myydään pääsyä ChatGPT:hen.
Nopeet 🚀
(€) WSJ:n mukaan Disney lopettaa Metaverse-yksikkönsä.
(€) Asiakkaat vetivät eilen maanantaina kahden miljardin dollarin edestä varoja Binancesta, sen jälkeen kun CFTC kertoi yritystä vastaan nostetusta kanteesta.
Nintendo julkaisi 11 minuuttia pelimateriaalia seuraavasta Zelda-pelistä.
Microsoft julkisti Copilot-työkalun tietoturva-asiantuntijoille.
Erinomainen profiili Talebista. Ote: The blockchain? “Explain to me why you’d ever do business with somebody you don’t trust.”
Hämmentävän yksityiskohtainen visualisointi pyöräilystä ja pyöräilyn vektorisuureista.
Pixarin seuraavan elokuvan Elementalin ensimmäinen traileri.
Chromebookit ovat suosittuja opiskelijoiden keskuudessa, mutta Google toivoo saavansa opettajatkin niiden käyttäjiksi.
Alibaba hajoaa kuudeksi eri yritykseksi.
Lisää uusia GPT-3:n tasoisia avoimen lähdekoodin kielimalleja.