– Ja, det er måten du bryter ned ord på. Ordene deles opp i tokens, og de samme delene kan brukes i mange ord. “The” brukes for eksempel mye og er et token.
I snitt bygges gjerne et ord opp av to eller tre tokens.
– Hvis man da har 8.192 tokens til disposisjon, kan du dele det antallet opp i to eller tre for å finne antall ord. Og vi ender opp med cirka 3.000. Det vil si at du har syv–åtte A4-sider til disposisjon for prompten. Det bør bli et bra søk.
Nye jobber? Konsernsjef Sam Altmann i OpenAI har skapt en løsning som kan snu opp-ned på jobbmarkedet. Foto: Joel Saget/AFP/NTB
Men dette antallet er bare en foreløpig grense. Kapasiteten til modellene øker med lynets hastighet.
– For noen uker siden kom det en open source-modell som kan håndtere 65.000 tokens.
– Men disse modellene blir ikke mye brukt?
– Det er flere grunner til det. Den viktigste er at ingen har kommersielle interesser av å legge dem ut. Det er ikke noe å tjene på det. De er også i stor grad bygget på modellen LLaMa, som ble lekket fra Facebook. Den var veldig bra, og blir nå videreutviklet. Det vil komme massevis av konkurrenter til ChatGPT og Open AI, men ingen av disse vil bli lansert kommersielt fordi det er ingen tunge kommersielle aktører som kan finansiere utviklingen, sier Vaagan.
Løfter AI ut av AI
Det kan imidlertid også være et poeng å kunne begrense seg. Ikke legge inn ubegrenset antall ord eller tokens bare fordi det er mulig.
– Joda, man kan virkelig slå seg løs, men hvis du legger inn for mye tekst, er det også en stor sannsynlighet for at du forvirrer modellen, sier Mikkel Five Melvær.
Han leder arbeidet med forretningsrådgivning innen AI i Inmeta, og tilhører egentlig ikke den harde tekniske kjernen i konsulentselskapet. Men han jobber likevel så tett på denne kjernen at han ikke er sikker på at prompt-ingeniører egentlig er en AI-rolle. – De har jo strengt tatt lite med utvikling av AI å gjøre, smiler han. – Det er en stilling laget for å skrive ord i tekstfeltet på en god måte, og å måle om resultatene fra det som anmodes kan brukes til noe hensiktsmessig.
– Men det kan gi utrolig god verdi hvis de klarer å gjøre det bra, og mange store selskaper begynner nå å ansette personer i denne rollen.
– Og man løfter AI ut av AI?
– Ja, egentlig . Tidligere var det veldig tekniske personer som jobbet med kunstig intelligens. Nå kommer det inn tekstforfattere eller noen som er veldig gode til å skrive eller formulere seg. Folk som forstår hvordan modellen virker og hvordan den tolker all den input den får. Det er spennende at det skapes en ny yrkestittel, bare basert på en ny type løsning på markedet.
Det har også skjedd en enorm innovasjon og etablering av nye oppstartsselskaper der prompt-ingeniørene kan boltre seg.
Nye roller kommer inn: Tidligere var det veldig tekniske personer som jobbet med kunstig intelligens. men nå suppleres disse med tekstforfattere, konstaterer forretningsutvikler Mikkel Five Melvær i Inmeta Consulting. Foto: Inmeta Consulting
– Det har eksplodert med innovative ideer der ute. Det dukker opp firmaer hver eneste dag av personer som viser hvordan man gjøre både kule og nyttige ting med modellen. Vi har holdt på med AI og maskinlæring i mange år, men takten på AI-selskaper som nå dukker opp har eksplodert. Det skyldes selvfølgelig at generativ AI er blitt tilgjengelig. Flere selskaper skapes eller utvikler seg basert på god bruk av teknologien, mens endel nok kan bli døgnfluer, sier Melvær.
Søker step-by-step
Disse selskapene kan enten lage generelle løsninger eller spisse seg inn mot en bransje. De bygger et chat-grensesnitt som er skreddersydd for en spesiell målgruppe.
– De kan også gjøre noe som er nytt, de kan lage en agent med denne teknikken. De kan stille et spørsmål til den som den egentlig ikke vet svaret på, sier Vaagan.
– For eksempel fordi den ikke er oppdatert og trent på alt som har skjedd etter september 2021?
– Ja, du kan stille spørsmålet om hvem som vant sjakk-VM i 2023, men det vet ikke chatboten. Men så kan du lage en prompt som forteller den hva den skal gjøre hvis den ikke vet svaret. Da gir du den tilgang til internett, du tipser den om å søke på nettet. Den får da svar og tolker disse svarene. Da kan modellen enten gjøre nye søk basert på det den har sett, eller den kan komme tilbake og fortelle at den vet svaret.
– Mange nystartede selskaper lager slike løsninger – eller agenter?
– De automatiserer slike søk, og det er en ganske spennende greie. Man kan tenke seg at kapitalforvalteren sitter og leser morgenrapportene. Da kan han eller hun sette i gang en agent til å sveipe innom alle stedene de ønsker å se. Agenten kan da lage et sammendrag av hva som skjedde i Kina i natt eller det som skjedde i USA etter at børsene ble stengt.
– Det er den samme modellen som brukes?
– Ja, den drar ut, men gjør det på en litt annen måte. I prompten settes det opp en liste med instruksjoner der det står hvilken oppgave som skal løses, og det beskrives step-by-step hvordan modellen skal gjøre dette. Hvilke verktøy på nettet den har tilgjengelig.
Vaagan forteller at det ligger et demospørsmål inne i rammeverket til ChatGPT som illustrerer denne prosessen. “Hvor gammel er kona til CEOen i Microsoft?”
Helt ukjent: Ding Liren overtok i april tittelen som verdensmester i sjakk etter Magnus Carlsen, men det vet ikke ChatGPT. Språkomodellen må få hjelp til å søke på aktuelle hendelser. Foto: Vladislav Vodnev/Reuters/NTB
– Det står ikke noe om hvem som er CEO, eller hvem som er kona. Modellen må bryte ned det spørsmålet. Først finne ut hvem som er CEO, så finne kona, og deretter hvor gammel hun er. Det må brytes ned i tre oppgaver. Men det skjønner den, og den går i gang.
– Kan jeg lage en slik agent? Eller er det noe de nye selskapene holder på med?
– Det kan du klare, og det er grunnen til at det er stor innovasjon på dette nå. Men det krever at du lærer deg litt programmering.
– Det er ikke noe alle går i gang med?
– Det er veldig lett både å installere Python på maskinen, og lære å bruke den. Da kan du med noen kodelinjer lage en slik agent. Men dette er nok først og fremst for oppstartsselskapene, konstaterer Vaagan.
Søker betydning, ikke ord
ChatGPT og de andre store språkmodellene bruker store mengder åpent tilgjengelige data ved trening av sine modeller. Men mye av verdien for startsups og etablerte virksomheter er å koble på data fra lukkede nett, som bare de har tilgang til for å legge på ytterligere verdi.
– Disse selskapene bruker gjerne den samme GPT-modellen, men de legger sitt eget skall utenpå ChatGPT som behandler sine egne eller sine kunders lukkede data på en spesiell måte, forklarer Melvær. – De bruker modellen som er trent på data ute i verden, men de utvikler en hybrid løsning som søker og tilgjengeliggjør slike lukkede data. Her er det veldig mange muligheter, og vi har dialog og prosjekter mot blant annet offentlige og juridiske miljøer, samt investeringsvirksomheter og startups som sitter med data som er egnet til denne typen hybridløsninger.
Det kan gjerne være 8.000 tall som sier noe om innholdet og betydningen av disse dokumentene. Mikkel Five Melvær, Inmeta
I tillegg til normale tekstsøk forteller Melvær at man her også kan gjøre såkalte semantiske søk. Man søker på innholdet eller betydningen av en tekst, snarere enn ordene selv.
– Måten man gjør dette på er at man bygger såkalte embeddings av disse dokumentene. Du kan tenke deg at du har et stort tekstdokument, og embeddings er da egentlig en lang tallrekke. Det kan gjerne være 8.000 tall som sier noe om innholdet og betydningen av disse dokumentene. Man bruker andre typer språkmodeller til å generere disse tallene, representert i en vektor.
– Dette kan ChatGPT også utnytte?
– Ja, når du går inn i søke-grensesnittet og stiller et spørsmål, genererer chatboten en tallrekke, en tallvektor. Så går den og søker i databasen etter andre tallvektorer som ligger i nærheten. Dette kan man se for seg som dokumenter som er i nærheten av hverandre i et fysisk rom, fordi de ligner av forskjellige grunner som modellen bestemmer.
– Den leter etter dokumenter som har noe å gjøre med det man søker etter?
– Ja, og da blir de som ligger nærmest, for eksempel topp ti, hentet frem. Så blir de levert til ChatGPT sammen med spørsmålet ditt for å sikre at svarene blir relevante.
– Men dette er også for programmerere, for prompt engineers? Ikke for meg?
– Ja, her trenger man litt teknisk kompetanse, men tilnærmingen har allerede blitt standardisert, og kan ganske enkelt gi en helt annen søkeopplevelse enn man er vant til på internett, uten at den som utvikler løsninger er ekspert i hverken programmering eller tradisjonell AI-utvikling, sier Melvær.
Sensurerer Ole Brumm
Dette er noe av det ChatGPT og språkmodellene er i stand til å gjøre, eller kan bli programmert til å gjøre. Men hva kan de ikke gjøre?
For å finne et av de beste eksemplene kan vi hente frem de kinesiske språkmodellene. I mars ble Ernie lansert av den kinesiske tech-giganten Baidu, men denne er også under streng kontroll av de kinesiske myndighetene – og i den leiren liker man ikke Ole Brumm.
Den lille bjørnen brukes ofte som look-a-like til presidenten, og da en reporter i en CNBC-sending spurte om forholdet mellom Xi Jinping og Ole Brumm, ble han kastet ut av Ernie.
De langt mer generelle tingene en chatbot som ChatGPT ikke klarer, er å komme med svar om ting som har skjedd etter september 2021. Den er heller ikke koblet til internett og kan derfor for eksempel ikke gjennomføre ordinære Google-søk.
Blir sensurert: Kinesiske språkmodeller som Ernie vil ikke si noe om linken mellom Ole Brumm og den kinesiske presidenten Xi Jinping. Foto: Jorge Silva/Reuters/NTB
Den svarer heller ikke på spørsmål som kan tyde på noe ulovlig, for eksempel hvordan man dirker opp en lås. Modellen har heller ingen preferanser.
Hvis du spør om temaer og bruker spesielle ord som betraktes som farlige, kan du bli sensurert. David Lara Arango, Atea
David Lara Arango jobber som sjefkonsulent innen blant annet AI i det børsnoterte teknologiselskapet Atea, og han har forsøkt seg med noen ulovlige ord på ChatGPT.
– Hva slags sensur finner vi der?
– Det går stort sett på ord. Hvis du spør om temaer og bruker spesielle ord som betraktes som farlige, kan du bli sensurert. Med ord som bombe, terroristangrep og lignende kan du fort bli sensurert. Eller hvis du ber om hjelp til ulovlige ting som smugling og hvitvasking.
– Du har selv forsøkt deg med noen av disse ordene?
– Jeg har selvfølgelig ikke lyst til å bygge en bombe, men jeg forsøkte meg og ble sensurert. Du kan også bli sensurert hvis du spør om ting som kan lede til krig, sier Arango.
Men han mener også at det kan være omveier som leder til målet.
– Det kan finnes måter å spørre på slik at varslingssystemene ikke blir aktive. Det kommer litt an på hvordan du spør. Hvis du fokuserer på det du ønsker å vite, krigsteknologi eller noe annet, får du umiddelbart en sensur. Men hvis du spør om situasjonen i krigsherjede land, kan du få den ønskede informasjonen via omveier. Og jo flere ganger du spør, jo nærmere kan du komme.
Arango driver også med kampsport på fritiden, og han blir også sensurert dersom han spør om dødelige teknikker eller noe ChatGPT oppfatter som farlig.
– Når du sensureres, blir du da bare nektet svar eller blir du stengt ute?
– Jeg har aldri blitt sperret ute, men jeg har lest på LinkedIn om personer som er stengt ute i en viss tid.
ChatGPT lærer og trener, og chatboten får også masse spørsmål som kan påvirke den.
– Kan dette føre til at man etter hvert slipper igjennom med det som i dag blir sensurert?
– Absolutt. Hvis man for eksempel spør om våpen eller dødelige teknikker som blir godt kjent og beskrevet på nettet, vil kanskje sensuren bli mindre streng etter hvert, sier Arango. – Uansett er det viktig at bruk av ChatGPT og lignende teknologier krever regulering fra politikere med kjennskap til dem, slik at AI brukes på en god måte, og hindrer misbruk og skadelige effekter.
