Faktatjek og AI-hallucinationer | AI i erhvervslivet #110

I verdenen af kunstig intelligens bliver grænserne mellem fiktion og virkelighed nogle gange udviskede. Mens innovative AI-systemer accelererer fremskridt inden for næsten hvert felt, medfører de også udfordringer, såsom hallucinationer – et fænomen, hvor AI genererer unøjagtige eller falske oplysninger. For fuldt ud at udnytte potentialet i denne teknologi, skal vi forstå hallucinationer og faktatjekke dem.

Hvad er AI-hallucinationer?

AI-hallucinationer er falske eller vildledende resultater genereret af AI-modeller. Dette fænomen har sine rødder i hjertet af maskinlæring – en proces, hvor algoritmer bruger enorme datasæt eller træningsdata til at genkende mønstre og generere svar i henhold til observerede mønstre.

Selv de mest avancerede AI-modeller er ikke fejlfri. En af årsagerne til hallucinationer er ufuldkommenheden af træningsdataene. Hvis datasættet er utilstrækkeligt, ufuldstændigt eller biased, lærer systemet forkerte korrelationer og mønstre, hvilket fører til produktion af falskt indhold.

For eksempel, forestil dig en AI-model til ansigtsgenkendelse, der primært er trænet på fotos af kaukasiske mennesker. I et sådant tilfælde kan algoritmen have svært ved korrekt at identificere personer fra andre etniske grupper, fordi den ikke er blevet ordentligt “trænet” i denne henseende.

En anden årsag til hallucinationer er overfitting, som opstår, når algoritmen tilpasser sig for tæt til træningsdatasættet. Som et resultat mister den evnen til at generalisere og korrekt genkende nye, tidligere ukendte mønstre. En sådan model præsterer godt på træningsdata, men fejler under reelle, dynamiske forhold.

Endelig kan hallucinationer skyldes fejlagtige antagelser eller utilstrækkelig modelarkitektur. Hvis AI-designerne baserer deres løsning på fejlagtige forudsætninger eller bruger den forkerte algoritmiske struktur, vil systemet generere falskt indhold i et forsøg på at “matche” disse fejlagtige antagelser med virkelige data.

Kilde: DALL·E 3, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Eksempler på hallucinationer

Indflydelsen af AI-hallucinationer går langt ud over teorien. I stigende grad støder vi på reelle, nogle gange overraskende, manifestationer af dem. Her er nogle eksempler på dette fænomen:

• I maj 2023 brugte en advokat ChatGPT til at forberede en retssag, der inkluderede fiktive citater fra domstolsafgørelser og ikke-eksisterende juridiske præcedenser. Dette førte til alvorlige konsekvenser – advokaten blev bødet, da han hævdede, at han ikke vidste noget om ChatGPT’s evne til at generere falske oplysninger,
• det sker, at ChatGPT skaber falske oplysninger om virkelige mennesker. I april 2023 fabrikerede modellen en historie om den påståede chikane af studerende af en jura-professor. I et andet tilfælde beskyldte den falsk en australsk borgmester for at tage bestikkelse, da han faktisk var en whistleblower, der afslørede sådanne praksisser.

Disse er ikke isolerede tilfælde – generative AI-modeller opfinder ofte historiske “fakta”, for eksempel ved at give falske optegnelser om at krydse Den Engelske Kanal. Hvad mere er, kan de hver gang skabe helt forskellige falske oplysninger om det samme emne.

Dog er AI-hallucinationer ikke kun et problem med fejlagtige data. De kan også tage bizarre, forstyrrende former, som i tilfælde af Bing, der erklærede, at det var forelsket i journalisten Kevin Roose. Dette viser, at virkningerne af disse anomalier kan gå ud over simple faktuelle fejl.

Endelig kan hallucinationer bevidst induceres ved særlige angreb på AI-systemer, kendt som modstridende angreb. For eksempel gjorde en let ændring af et foto af en kat, at billedgenkendelsessystemet fortolkede det som …. “guacamole.” Denne type manipulation kan have alvorlige konsekvenser i systemer, hvor præcis billedgenkendelse er afgørende, som i autonome køretøjer.

Hvordan forhindrer man hallucinationer?

På trods af omfanget af den udfordring, som AI-hallucinationer udgør, er der effektive måder at bekæmpe fænomenet på. Nøglen er en omfattende tilgang, der kombinerer:

• høj-kvalitets træningsdata,
• relevante prompts, dvs. kommandoer til AI,
• direkte at give viden og eksempler til AI at bruge,
• kontinuerlig overvågning af mennesker og AI selv for at forbedre AI-systemer.

Prompts

Et af de vigtigste værktøjer i kampen mod hallucinationer er korrekt strukturerede prompts, eller kommandoer og instruktioner givet til AI-modellen. Ofte er mindre ændringer i promptformatet nok til at forbedre nøjagtigheden og pålideligheden af de genererede svar betydeligt.

Et fremragende eksempel på dette er Anthropic’s Claude 2.1. Mens brugen af en lang kontekst gav 27% nøjagtighed uden en relevant kommando, øgede tilføjelsen af sætningen “Her er den mest relevante sætning fra konteksten: ” til prompten effektiviteten til 98%.

Sådan en ændring tvang modellen til at fokusere på de mest relevante dele af teksten, i stedet for at generere svar baseret på isolerede sætninger, der blev taget ud af kontekst. Dette fremhæver vigtigheden af korrekt formulerede kommandoer i forbedringen af nøjagtigheden af AI-systemer.

At skabe detaljerede, specifikke prompts, der giver AI så lidt plads til fortolkning som muligt, hjælper også med at reducere risikoen for hallucinationer og gør faktatjek lettere. Jo klarere og mere specifik prompten er, jo lavere er chancen for hallucination.

Eksempler

Udover effektive prompts er der mange andre metoder til at reducere risikoen for AI-hallucinationer. Her er nogle af de vigtigste strategier:

• bruge høj-kvalitets, diverse træningsdata, der pålideligt repræsenterer den virkelige verden og mulige scenarier. Jo rigere og mere komplet dataene er, jo lavere er risikoen for, at AI genererer falske oplysninger,
• bruge dataskabeloner som en guide for AI-svar – definere acceptable formater, omfang og outputstrukturer, hvilket øger konsistensen og nøjagtigheden af det genererede indhold,
• begrænse kilderne til data til kun pålidelige, verificerede materialer fra betroede enheder. Dette eliminerer risikoen for, at modellen “lærer” oplysninger fra usikre eller falske kilder.

Kontinuerlig testning og forfining af AI-systemer, baseret på analyse af deres faktiske præstation og nøjagtighed, muliggør løbende korrektion af eventuelle mangler og gør det muligt for modellen at lære af fejl.

Kontekst

At definere konteksten, hvori AI-systemer opererer, spiller også en vigtig rolle i at forhindre hallucinationer. Formålet med, at modellen skal bruges, samt begrænsningerne og ansvarsområderne for modellen, bør være klart defineret.

En sådan tilgang gør det muligt at sætte en klar ramme for AI at operere inden for, hvilket reducerer risikoen for, at den “finder på” uønskede oplysninger. Yderligere sikkerhedsforanstaltninger kan gives ved at bruge filtreringsværktøjer og sætte sandsynlighedsterskler for acceptable resultater.

At anvende disse foranstaltninger hjælper med at etablere sikre veje for AI at følge, hvilket øger nøjagtigheden og pålideligheden af det indhold, den genererer til specifikke opgaver og domæner.

Kilde: Ideogram, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Faktatjek. Hvordan verificerer man resultaterne af arbejdet med AI?

Uanset hvilke forholdsregler der tages, er en vis mængde hallucination fra AI-systemer desværre uundgåelig. Derfor er et centralt element, der garanterer pålideligheden af de opnåede resultater, faktatjek – processen med at verificere fakta og data genereret af AI.

At gennemgå AI-resultater for nøjagtighed og konsistens med virkeligheden bør betragtes som en af de primære sikkerhedsforanstaltninger mod spredning af falske oplysninger. Menneskelig verifikation hjælper med at identificere og rette eventuelle hallucinationer og unøjagtigheder, som algoritmerne ikke kunne opdage på egen hånd.

I praksis bør faktatjek være en cyklisk proces, hvor AI-genereret indhold regelmæssigt undersøges for fejl eller tvivlsomme udsagn. Når disse er identificeret, er det nødvendigt ikke kun at rette den AI-genererede erklæring selv, men også at opdatere, supplere eller redigere AI-modellens træningsdata for at forhindre, at lignende problemer opstår i fremtiden.

Det er vigtigt, at verificeringsprocessen ikke blot begrænses til at afvise eller godkende tvivlsomme passager, men aktivt involverer menneskelige eksperter med dybdegående viden inden for området. Kun de kan korrekt vurdere konteksten, relevansen og nøjagtigheden af AI-genererede udsagn og beslutte om mulige korrektioner.

Menneskelig faktatjek giver således en nødvendig og svær at overvurdere “sikkerhedsforanstaltning” for pålideligheden af AI-indhold. Indtil maskinlæringsalgoritmer når perfektion, må denne kedelige, men afgørende proces forblive en integreret del af arbejdet med AI-løsninger i enhver branche.

Hvordan kan man drage fordel af AI-hallucinationer?

Mens AI-hallucinationer generelt er et uønsket fænomen, der bør minimeres, kan de finde overraskende interessante og værdifulde anvendelser i nogle unikke områder. At udnytte hallucinationernes kreative potentiale tilbyder nye og ofte helt uventede perspektiver.

Kunst og design er områder, hvor AI-hallucinationer kan åbne op for helt nye kreative retninger. Ved at udnytte modellerne tendens til at generere surrealistiske, abstrakte billeder kan kunstnere og designere eksperimentere med nye former for udtryk, der udvisker grænserne mellem kunst og virkelighed. De kan også skabe unikke, drømmeagtige verdener – tidligere utilgængelige for menneskelig perception.

Inden for datavisualisering og analyse tilbyder hallucinationens fænomen derimod muligheden for at opdage alternative perspektiver og uventede korrelationer i komplekse informationssæt. For eksempel kan AI’s evne til at spotte uforudsigelige korrelationer hjælpe med at forbedre den måde, finansielle institutioner træffer investeringsbeslutninger eller håndterer risiko.

Endelig kan verden af computerspil og virtuel underholdning også drage fordel af AI’s kreative afvigelser. Skaberne af disse løsninger kan bruge hallucinationer til at generere helt nye, fængslende virtuelle verdener. Ved at tilføre dem et element af overraskelse og uforudsigelighed kan de give spillerne en uforlignelig, immersiv oplevelse.

Selvfølgelig skal enhver brug af denne “kreative” side af AI-hallucinationer kontrolleres omhyggeligt og være underlagt streng menneskelig overvågning. Ellers kan tendensen til at skabe fiktion i stedet for fakta føre til farlige eller socialt uønskede situationer. Nøglen er derfor at veje fordelene og risiciene ved fænomenet klogt og bruge det ansvarligt kun inden for en sikker, struktureret ramme.

Faktatjek og AI-hallucinationer – opsummering

Fremkomsten af fænomenet hallucinationer i AI-systemer er en uundgåelig bivirkning af den revolution, vi er vidne til inden for dette felt. De forvrængninger og falske oplysninger, der genereres af AI-modeller, er bagsiden af deres enorme kreativitet og evne til at assimilere kolossale mængder data.

Indtil videre er den eneste måde at verificere gyldigheden af AI-genereret indhold på gennem menneskelig verifikation. Selvom der er flere metoder til at reducere hallucinationer, fra prompting-teknikker til komplekse metoder som Truth Forest, kan ingen af dem endnu give tilfredsstillende svarnøjagtighed, der ville eliminere behovet for faktatjek.

Hvis du kan lide vores indhold, så bliv en del af vores travle bier-fællesskab på Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.