AI skuffer fælt i stor test hos BBC
I disse dage skyller store mængder AI-genereret indhold ind over os. Noget er ren underholdning, mens andet er skabt i forbindelse med markedføring af produkter og serviceydelser. Perspektiverne er mange; men for nærværende også ret uoverskuelige. Derfor er det en god idé at teste sig lidt frem.
Det har man blandt andet gjort hos det hæderkronede mediehus BBC. Her fodrede man fire førende AI-tjenester – ChatGPT, Gemini, Copilot og Perplexity – med en masse indhold, skrevet og skabt af BBC’s egne journalister. Derefter bad man de fire tjenester præsentere indholdet igen, og lod derefter journalisterne faktatjekke outputtet.
Fire førende AI-tjenester dumper som journalister
Resultatet var mildt sagt foruroligende; som minimum særdeles nedslående.
- 51% af det AI-genererede materiale havde ifølge journalisterne signifikante fejl og mangler i forhold til det oprindelige indhold.
- 19% af materialet gengav BBC-indhold med faktuelle fejl, forkerte udtalelser, falske tal og forkerte datoer.
- 13% af materialet bragte citater fra BBC-artikler; men hvor citaterne enten var skrevet om, ude af kontekst eller direkte opdigtede.
BBC’s programdirektør for generativ AI hos BBC, Pete Archer, er som udgangspunkt positiv og nysgerrig i forhold til mulighederne for at bruge kunstig intelligens som journalistisk værktøj. Alligevel finder han resultatet af undersøgelsen tankevækkende:
“AI is bringing significant challenges for audiences. People may think they can trust what they’re reading from these AI assistants, but this research shows they can produce responses to questions about key news events that are distorted, factually incorrect or misleading,” udtaler han blandt andet i en BBC-artikel om testresultaterne.
“The use of AI assistants will grow, so it’s critical the information they provide audiences is accurate and trustworthy“.
Maner til omtanke og fortsat forsigtighed
Pete Archer vil gerne slå en foreløbig bremse i brugen af generativ AI i forbindelse med nyhedsformidling. Han foreslår i stedet, at mediehuse som BBC indgår nogle nære samarbejder med bestemte AI-udviklere, så man sammen kan skabe metoder og værktøjer, som journalisterne kan bruge, og som sikrer, at læserne kan stole på dét, medierne udsender.
For Archer handler det dog også om at kunne skærme det rettighedsbeskyttede indhold, som medierne og journalististerne hver dag producerer, mod AI-tjenesternes forvrængning og fejlbehæftede gengivelser.
“Publishers, like the BBC, should have control over whether and how their content is used, and AI companies should show how assistants process news along with the scale and scope of errors and inaccuracies they produce,” understreger han.
“This will require strong partnerships between AI and media companies and new ways of working that put the audience first and maximise value for all“.
Også danske medier er skeptiske
Det er dog ikke kun BBC, som forholder sig kritisk og yderst forsigtigt i forhold til AI og nyhedsdækning. En hurtig rundspørge til en håndfuld danske medier viser et nogenlunde sammenfaldende billede.
Hos den store regionale avis i Syd- og Sønderjylland, JydskeVestkysten, må journalisterne bruge ChatGPT som makker til ideudvikling og til give forslag til overskrifter. Man fastholder dog, at journalisten altid har sidste hånd på indhold, inden det bliver publiceret.
Hos Ritzaus Bureau, som er hele Danmarks samlende nyhedstjeneste, ser man et stigende antal pressemeddelelser, der tydeligt er skrevet mere eller mindre helt af kunstig intelligens. Da man ikke har tid til at faktatjekke disse pressetekster, arkiveres de ofte lodret.
Det gælder også hos fagbladet Ingeniøren, hvor man er langt fra at bruge AI-skabt indhold. Her lyder argumentet, at ingeniørfaget naturligt har tårnhøje krav til dokumentation, solide beregninger og ekstra faktatjek, at man hos redaktionen slet ikke tør stole på indhold skrevet af eksempelvis ChatGPT.
Ingen af de kontaktede mediehuse godkender, bruger eller bringer som udgangspunkt AI-skabt billedindhold.
Ifølge det internationale magasin Forbes signalerer godt sprog: ’Attention to detail’, ’Critical thinking’ og ’Intellectual aptitude’. Omvendt sjusker man med sproget, kan det ifølge Forbes være en karrierebremse og resultere i svigtende indtægt for en virksomhed.
