Av: Patrick Beuth, Der Spiegel
Oversettelse og tilretteleggelse: Hans Jørn Næss
Ved første øyekast virker ikke kunstig intelligens som noe ekstraordinært. ChatGPT ser bare ut som enda et sted der man taster inn litt tekst på nettet. Og i hver eneste smarttelefon er det mye kunstig intelligens: ansiktsgjenkjenning for å åpne opp telefonen, karttjenester som Google Maps, oversettelses-apper og anbefalinger fra Spotify.
Denne formen for helt hverdagslig kunstig intelligens kommer gjerne som små ikoner på skjermen, i form av apper som kanskje har en størrelse på et par hundre megabyte.
Men før man kan forvandle en idé til et ikon på mobilen, er det nødvendig med enorme ressurser. ChatGPT trengte for eksempel ekstremt kostbar og helt spesiell programvare, som dessuten sluker enorme mengder energi.
Den som kontrollerer disse ressursene vil også dominere den videre utviklingen av kunstig intelligens – av KI.
Ressurs nr.1: Mennesker
Uten spesialiserte ingeniører og utviklere er det ikke mulig å få til noe som helst av kunstig intelligens. I tallene til selskapet OpenAI finner man da også solide sekssifrede dollarbeløp som honorarer for de beste utviklerne. I ett tilfelle ble det betalt 1,9 millioner dollar.
Noen er blitt lokket over fra Google, og de gjennomsnittlige personalkostnadene i Alphabets KI-datter DeepMind i London ligger på det samme sekssifrede nivået.
Med slike lønninger kan Google & Co. tømme universitetene fullstendig, og mange er derfor engstelige for at grunnlagsforskningen og open source-utviklerne vil slite med rekrutteringen.
Dette vil kunne bremse utviklingen av kunstig intelligens.
Den andre gruppen av mennesker som skal gjøre kunstig intelligens klar for markedet tjener langt mindre – som regel har de bare en timelønn på et par dollar.
Magasinet Time skrev i januar om kenyanske clickworkers som på oppdrag fra OpenAI kommenterte tekster som hadde detaljerte beskrivelser av misbruk, mord og tortur. Poenget var på den måten å unngå at chatboten GPT-3 selv kom opp med slike tekster.
De menneskelige kostnadene som må til for å gjøre KI-modellene klare for markedet er noe vi ikke ser så nøye på.Sandra Wachter
– Dette gjøres alltid i det skjulte, sier Sandra Wachter. Hun er professor for teknologi og regulering ved Oxford Internet Institute og ekspert på de etiske og rettslige aspektene ved KI-utviklingen.
Og hun er opptatt av hvordan mennesker takler en slik jobb. – Mange av dem som driver med dette lider av post-traumatiske stresslidelser.
Og de blir heller ikke kompensert skikkelig for dette. – Nei. De menneskelige kostnadene som må til for å gjøre KI-modellene klare for markedet er noe vi ikke ser så nøye på, sier Wachter.
Men alle disse tekstene er langt fra knyttet til like grusomt innhold. Som regel handler det bare om å beskrive hva som befinner seg på et bilde, eller å gjenta en setning flere ganger.
Dette arbeidet blir gjerne outsourcet og annonsert i form av såkalte mikrotasks på plattformer som Amazon Mechanical Turk – eller MTurk. Oppdragene går til personer over hele verden som ønsker å tjene et par ekstra dollar.
Men det går ikke an å leve av slikt arbeid.
Ressurs nr.2: Treningsdata
Christoph Schuhmann jobber som fysikk- og informatikklærer ved en videregående skole i Hamburg, men han har også vært med på å skape et av de mest spesielle KI-prosjektene i Tyskland.
Ved utgangen av 2021 diskuterte han på nettet, med andre KI-entusiaster, hva man trengte for å kopiere Dall-E. Dall-E er en tekst-til-bilde-generator som OpenAI har utviklet, det samme selskapet som står bak ChatGPT.
Her taster man inn en såkalt prompt, en tekst der man forteller hvilket bilde man vil at programmet skal generere. – Den gangen hadde ikke Dall-E fått så mye oppmerksomhet, men jeg ble skikkelig imponert, forteller Schuhmann.
Kildekoden, det vil si byggeplanen, til Dall-E var da ikke offentlig tilgjengelig. Men det fantes en replika som Schumann ville bruke som utgangspunkt. Hans versjon måtte da lære av flest mulig eksempler, før også den kunne klare å skape fornuftige motiver eller bilder. Den måtte finne store mengder med data der bildegeneratoren kunne “trene” på å finne og sette sammen bilder.
Schumann startet letingen etter treningsdata og fant frem til Common Crawl. Her startet man i 2008 med en kontinuerlig arkivering av HTML-kodene til nettsider ved hjelp av et søkemotor-lignende program.
Arkivet består nå av dataene til 3,15 milliarder nettsider, og disse er fritt tilgjengelige for bruk til forskning. I en del av Common Crawl-arkivet startet Schumann letingen etter linker til bildedata.
I tillegg til dette lagret han også kombinasjoner av bildelinker og bildebeskrivelser som passet sammen i henhold til en annen form for kunstig intelligens. Schuhmann forteller også at en eller annen gang kom et par personer og tilbød sin hjelp: – I løpet av tre måneder ble verdens største samling av par med bilde/tekst-kombinasjoner skapt, forteller han.
En 15-åring fra England skrev koden som koordinerte alle de frivillige, og han jobbet igjen på en gaming-PC som var plassert i stuen til en annen av de frivillige i Budapest.
På denne måten ble det til slutt skapt 400 millioner bilde/tekst-kombinasjoner. – Det er svært billig og overraskende enkelt å sette sammen slike datasett, sier læreren.
– Et selskap eller forskningsinstitutt med et par–tre dyktige ingeniører kan klare det i løpet av et halvt år, og materialkostnadene bør ikke komme på mer enn 10.000 euro.
Schuhmann og hans kampfeller etablerte til slutt organisasjonen LAION og skapte et enda større treningsdatasett: LAION-5B med 5,8 milliarder bilde/tekst-par. For dette arbeidet fikk teamet i fjor en pris på en av de viktigste internasjonale konferansene for kunstig intelligens.
Dr. Jenia Jitsev arbeider ved det tyske Jülich Supercomputing Centre, og han var også med på etableringen av LAION. Og han er stolt på vegne av alle som står bak denne organisasjonen. – Dette er forskning i toppklasse, som også har hatt stor nytte av de kraftige datamaskinene her ved senteret.
Ressurs nr.3: Superdatamaskiner og skyen
Akkurat nå bygger Meta en av verdens kraftigste superdatamaskiner som er skreddersydd for kunstig intelligens. Morselskapet til Facebook, Instagram og WhatsApp skal der koble sammen 16.000 kraftige prosessorer fra chip-produsenten Nvidia.
Microsoft har også en spesiell superdatamaskin som blant annet kjører KI-modellene til OpenAI, og på toppen av dette har Google utviklet egne prosessorer for maskinell læring av KI-modeller.
Det er ikke mulig å kjøpe disse, men man kan leie dem.
– Tech-selskapene tar seg selfølgelig godt betalt for dette, sier Andreas Herten, som også jobber ved Jülich Supercomputing Centre.
Kite er et KI-selskap som ble etablert i 2014, men der ambisjonene ble for store og kostbare. Kite mente de hadde funnet en nisje de ønsket å fylle med en KI-basert programvare som skulle hjelpe programmerere. Denne nisjen var imidlertid allerede fylt av Microsoft-datteren Github og OpenAI med løsningen Copilot.
Ved utgangen av 2022 var det slutt på pengene for Kite. 17 millioner dollar i risikokapital var for lite. Gründeren Adam Smith mente at det kanskje hadde vært mulig å lykkes med minst det seksdobbelte.
Likevel mener ikke Jülich-forskeren Herten at maskinene er en flaskehals. – Det er maskinene som skaper mulighetene. Bare ved bruk av superdatamaskiner kan man overhodet skape slike svært avanserte modeller.
Maskinene på det tyske senteret er også tilgjengelige. – To ganger i året kan forskere søke om å få bruke superdatamaskinene i sine arbeider. Maskinene er finansiert med offentlige midler og er på den måten tilgjengelig for hele det vitenskapelige fellesskapet, sier Herten.
Ressurs nr. 4: KI-chips
De såkalte KI-akseleratorene har sin opprinnelse i dataspillverdenen. Disse spillene må ha krystallklar grafikk, og for å klare dette var det nødvendig med nye algoritmer. På slutten av 1990-tallet kom California-selskapet Nvidia med en chip eller prosessor som rettet seg nettopp mot dette markedet, såkalte GPUer, og ble da en av gigantene i bransjen.
Det er ganske enkelt slik at den som ikke har tilgang til grafikkprosessorer fra Nvidia, heller ikke har den kraften som er nødvendig for kunstig intelligens.Jan-Peter Kleinhans
– På den tiden var det et risikabelt veddemål, sier Jan-Peter Kleinhans ved den tyske tenketanken SNV.
Takket være denne suksessen med dataspill fikk disse prosessorene stadig mer ytelse. Det er også takket være Nvidia at maskinlæring har nådd det nivået som vi kjenner i dag. De siste anslagene for markedsandeler for KI-prosessorer lå på 80 prosent, men enda mer aktuelle tall snakker til og med om en andel på 95 prosent for Nvidia– selv om prisen på en chip ligger på knapt 10.000 euro.
Ingen annen produsent når opp til Nvidia i denne delen av markedet. – Det er ganske enkelt slik at den som ikke har tilgang til grafikkprosessorer fra Nvidia, heller ikke har den kraften som er nødvendig for kunstig intelligens, sier Kleinhans. Han tror heller ikke at situasjonen vil endre seg stort de neste årene.
For å øke ytelsen til KI-akseleratorer må man få enda mer kraft ned på en chip, og i markedet for standard KI-prosessorer er TSMC fra Taiwan og Samsung helt dominerende.
Kleinhans mener at selv om USA og Europa tar i bruk lovverket og bidrar med pengestøtte, vil det være umulig å etablere reelle konkurrenter til disse to gigantene.
Ressurs nr.5: Energi
Superdatamaskiner sluker energi. Det å kunne trene en KI-modell som GPT-3 en gang, krever like mye strøm som 126 hus i Danmark eller en bil som er underveis i 700.000 kilometer.
Disse tallene stammer fra forskere ved universitetet i København, men fordi en enkelt treningsrunde ikke er nok, må tallet multipliseres flere ganger.
Den daglige bruken av skyen – the cloud – krever også mye strøm. – Kunstig intelligens har blitt en del av hverdagen for svært mange mennesker, og programmer som ChatGPT brukes nå til å gjøre skoleoppgaver slik at behovet for elektrisitet kommer til å øke kraftig, sier Christian Eichhorn. Han er en av gründerne av SpiNNcloud Systems.
Selskapet har som mål å forbedre energieffektiviteten i KI-skyen ved hjelp av prosessoren SpiNNaker 2.
Denne er blitt utviklet av et team som blir ledet av professor Christian Mayr ved universitetet i Dresden og Steve Furber fra University Manchester. Sistnevnte står også bak ARM-prosessoren, som i dag er på plass i nesten alt som finnes av smarttelefoner.
Problemet med dagens kunstige intelligens er at den undersøker hver eneste piksel i hvert enkelt bilde.Christian Mayr
Mayr har latt seg inspirere av den menneskelige hjernen. Han forklarer prinsippet med et KI-system som skal analysere videopptak i realtid. – Problemet med dagens kunstige intelligens er at den undersøker hver eneste piksel i hvert enkelt bilde. Men forskjellen fra bilde til bilde er kanskje bare på et par–tre prosent.
– Vår menneskelige hjerne er imidlertid ekstremt god på å begrense beregningene til bare det absolutt nødvendige, sier Mayr.
Det gjør også SpiNNaker 2, og da blir det mulig å spare 90 prosent av energien som brukes for å kjøre en tradisjonell superdatamaskin med Nvidia-prosessorer.
– Med vår prosessor vil driften av ChatGPT kunne bli langt mer energieffektiv, sier Mayr.
Ressurs nr.6: KI-modellene
Det aller viktigste innenfor kunstig intelligens er å utvikle de ferdige KI-modellene. GPT-3 og nå også GPT-4 fra OpenAI er nok de mest kjente. Disse danner grunnlaget for ChatGPT.
Men koden til GPT-3 er ikke fritt tilgjengelig. Teamet i LAION rundt Christoph Schuhmann vil derfor også selv utvikle modeller, trene dem og gjøre dem offentlig tilgjengelige for å “demokratisere” kunstig intelligens.
Det finnes ikke mange europeiske svar på GPT-3, som dukket opp på sommeren 2020. Men det finnes noen.
Aleph Alpha er et tysk selskap som med sine Luminous-modeller har utviklet en seriøs konkurrent. OpenGPT-X er et annet prosjekt der flere organisasjoner fra økonomi, vitenskap og mediebransjen samarbeider. Det tyske finansdepartementet har også bidratt med 15 millioner euro i støtte.
Alt dette er en god start. Men er det tilstrekkelig for å kunne by konsern som Google, Microsoft eller kinesiske Baidu på konkurranse?
