Metan tekoälyinvestoinnit mietityttävät sijoittajia
Lisäksi: Millaisissa ongelmissa kielimallit ovat huonoja?
Huomenta! ☕
Transistori on arkiaamuisin ilmestyvä teknologiauutisiin ja internet-kulttuuriin keskittyvä uutiskirje, jota kirjoittaa data-ammattilaisena toimiva Robert Siipola harrastuksenaan. Klikkaa Transistori tilaukseen ja pysy kartalla teknologiamaailman tuoreimmista käänteistä!
Uutiset 🗞️
Metan tekoälyinvestoinnit mietityttävät sijoittajia
Meta kertoi osavuosikatsauksessaan ennätyksellisestä liikevaihdon kasvusta, mutta yhtiön osake laski jälkipörssissä lähes 15 % sen jälkeen kun se kertoi investoivansa peräti 10 miljardia dollaria kuluvan vuoden aikana tekoälymallien vaatimaan infrastruktuuriin.
Metan liikevaihto oli vuoden ensimmäisen neljänneksen aikana n. 36,5 miljardia dollaria ja kasvoi peräti 27 %. Kyseessä oli kolmas perättäinen neljännes kun Metan liikevaihto kasvaa yli 20 %. Sijoittajia eivät silti ole täysin vakuuttuneita tekoälysijoitusten tuotosta. Meta myös uskoo investointikulujensa nousevan entisestään vuonna 2025. Wall Street Journalilta (WSJ):
Meta Platforms on Wednesday reported record first-quarter revenue as the company’s advertising business grew at a rapid clip even as investors soured on forecasts of rising costs related to artificial intelligence.
Shares initially fell by more than 15% after Meta said it would increase its spending levels for the year by up to $10 billion to support infrastructure investments to support its AI investments.
The decline came despite an increase in sales to $36.5 billion, up more than 27% compared with a year prior—a record for the January-to-March period, exceeding analyst expectations. The revenue growth was up slightly compared with a quarter prior, when Facebook-parent Meta reported annual revenue growth of 25%.
…
In the past nine months, the pace of Meta’s revenue growth has far outstripped that of those big tech peers, rivaling the pandemic-induced heights of Apple, Microsoft, Google and Amazon. Meta’s 27.6% increase in quarterly sales is the fastest growth rate in more than three years and represents the third consecutive quarter of year-over-year increases that exceeded 20%, according to FactSet data.
Meta on Wednesday announced that it had increased its capital expenditures projections for 2024 to between $35 billion and $40 billion, up from between $30 billion and $37 billion. The company attributed the increase to its investments in its AI strategy. Meta said it expects its capital expenditures to increase in 2025 as well.
Biden allekirjoitti TikTok -lain
Nyt se on virallista: Yhdysvaltain presidentti Joe Biden allekirjoitti ja virallisti eilen lakipaketin, joka sisältää TikTokin maassa kieltävän lain, jos yhtiön emoyhtiö ByteDance ei myy TikTokia jollekin kolmannelle osapuolelle seuraavan 12 kuukauden aikana. TikTokin tiedottajan mukaan yhtiö aikoo taistella lakia vastaan oikeudessa. The Vergeltä:
President Joe Biden signed a foreign aid package that includes a bill that would ban TikTok if China-based parent company ByteDance fails to divest the app within a year.
The divest-or-ban bill is now law, starting the clock for ByteDance to make its move. The company has an initial nine months to sort out a deal, though the president could extend that another three months if he sees progress.
…
TikTok spokesperson Alex Haurek said in a statement that the company plans to challenge the law in the courts, which could ultimately extend the timeline should the courts delay enforcement pending a resolution. There also remains the question of how China will respond and whether it would let ByteDance sell TikTok and, most importantly, its coveted algorithm that keeps users coming back to the app.
IBM ostaa Hashicorpin 6,4 miljardilla dollarilla
Mainitaan vielä, että IBM ja pilvi-infran provisointiin työkaluja valmistava Hashicorp kertoivat eilen yrityskaupasta, jossa IBM ostaa Hashicorpin n. 6,4 miljardilla dollarilla. Kaupan odotetaan toteutuvan vuoden lopussa, jos sääntelijät sen hyväksyy. WSJ:ltä:
International Business Machines agreed to buy cloud-software company HashiCorp in a deal with an enterprise value of $6.4 billion, extending the tech company’s push into cloud and artificial intelligence as those offerings drive growth.
IBM would pay $35 a share for HashiCorp in cash, giving the company access to HashiCorp’s roster of some 4,400 clients, IBM said.
…
San Francisco-based HashiCorp makes products to help customers set up cloud infrastructure.
The deal is expected to boost business for IBM’s existing segments, Chief Financial Officer Jim Kavanaugh said in an interview. He noted HashiCorp’s already strong growth would buoy the rest of IBM.
Suosittelut 🕵️
Millaisissa ongelmissa kielimallit ovat huonoja?
Sijoittaja Rohit Krishnan julkaisi Strange Loop Canon -nimisessä substackissaan analyysiä siitä mitä kielimallit eivät (näytä) kykenevän oppimaan. Mikään nykyisistä kielimalleista ei näytä oppivan esimerkiksi pelaamaan Wordlea tai ennustamaan soluautomaattien tiloja, tämä ilmeisesti siksi, että tällaisten pulmien ratkomiseen tarvitaan pitkiä järkeilyketjuja.
Malleja on mahdollista ohjeistaa syötteillä järkeilemään paremmin tiettyjä ongelmia, mutta jos joudut jokaista tehtävää varten antamaan hyvin yksityiskohtaisen syötteen, kärsii niiden yleinen hyödyllisyys.
So, here’s what we have learnt.
There exists certain classes of problems which can’t be solved by LLMs as they are today, the ones which require longer series of reasoning steps, especially if they’re dependent on previous states or predicting future ones. Playing Wordle or predicting CA are examples of this.
With larger LLMs, we can teach it reasoning, somewhat, by giving it step by step information about the problem and multiple examples to follow. This, however, abstracts the actual problem and puts the way to think about the answer into the prompt.
This gets better with a) better prompting, b) intermediate access to memory and compute and tools. But it will not be able to reach generalisable sentience the way we use that word w.r.t humans. Any information we’ve fed the LLM can probably be elicited given the right prompt.
Therefore, an enormous part of using the models properly is the prompt them properly per the task at hand. This might require carefully constructing long sequences of right and wrong answers for computational problems, to prime the model to reply appropriately, with external guardrails.
This, because ‘attention’ suffers from goal drift, is really hard to make reliable without significant external scaffolding. The mistakes LLMs make are far more instructive than their successes.
I think to hit AGI, to achieve sufficient levels of generalisation, we need fundamental architectural improvements. Scaling up existing models and adding new architectures like Jamba etc will make them more efficient, and work faster, better and more reliably. But they don’t solve the fundamental problem of lacking generalisation or ‘goal drift’.
Nopeet 🚀
(€) Yhdysvallat tutkii konsulttiyritys McKinseyn roolia opioidikriisissä.
Adobe esitteli uutta videoresoluutiota parantavaa tekoälymallia.
Augment on uusi koodausavustaja jota tukee mm. Googlen entinen toimitusjohtaja Eric Schmidt.
(€) 1,6 nanometrin prosessoreita on odotettavissa TSMC:ltä vuonna 2026.
Redditissä alkaa pian näkyä tuotemainoksia.
Rabbit R1 näyttää saavan paremman vastaanoton kuin Humanen AI Pin.
Reid Hoffman keskustelee itsensä kanssa.
Robotaksien katteet ovat yhden VC:n mukaan arviolta 5-7 % parempia kuin Uberilla.