Sug på den rubriken, en modell baserad på 280 miljarder parametrar. Hur är det ens möjligt? Eller hur är det ens möjligt att samla ihop testdata i tillräckligt stor mängd som fortfarande kan anses ”objektiv”/realistisk, för att kunna träna en modell på sådan här stor nivå? Galet, men så är det förstås Googles bolag DeepMind som ligger bakom det hela med en trolig kassa som säkert är några gånger större än hela Sveriges BNP.

Modellen som kallas Gopher, är en NLP-modell (natural language processing) och syftet är som vanligt att försöka tänja gränsen för vad AI kan hantera. Genom då att gå igenom massor av text tränades modellen till att skapa tydliga förbättringar av noggrannheten och förståelsen av textmassorna. Enligt DeepMind kommer modeller som Gopher att vara nycklar för hur människan ska kunna skapa stora språk-modeller i framtiden.

Modellen försöker hela tiden att förutspå nästa ord i sekvensen, och sedan använder det för att i nästa tur igen förutspå nästa ord etc etc. Metoden kallas för ”autoregressive”. Men allt är förstås inte glädje, det finns de förstås som hävdar att detta inte alls är AI men det kritiska ögat hör till all typ av forskning förstås.