Sign in Subscribe
6 min read

BBC-onderzoek laat zien hoe slecht AI-chatbots omgaan met nieuws

De BBC publiceerde vorige week een onderzoek naar de kwaliteit van de antwoorden die chatbots geven op vragen over het nieuws.
BBC-onderzoek laat zien hoe slecht AI-chatbots omgaan met nieuws
Foto: Francisco De Legarreta C. / Unsplash

In deze nieuwsbrief wil ik het met je hebben over:

  • AI-chatbots maken continu fouten bij het samenvatten van nieuwsartikelen.
  • De livestream maakt een comeback bij de NOS.

AI-chatbots maken continu fouten bij het samenvatten van nieuwsartikelen

OpenAI heeft het afgelopen jaar een heleboel deals met mediabedrijven gesloten om hun content te mogen gebruiken. Daarbij gaat het niet enkel om het gebruik van artikelen voor het trainen van GPT-modellen, maar ook om het gebruik van informatie van websites om vragen over het nieuws en andere actuele zaken te kunnen beantwoorden. Dergelijke informatie is geen onderdeel van het taalmodel, maar wordt door ChatGPT direct bij de bron opgehaald en door het taalmodel herschreven en samengevat.

Ook andere techbedrijven hebben dergelijke deals gesloten of ze maken gewoon gebruik van de content waar ze toegang toe hebben. Als je de bots van AI-bedrijven niet blokkeert, kunnen ze de inhoud van je website gebruiken om vragen te beantwoorden.

De BBC publiceerde vorige week een onderzoek (pdf) naar de kwaliteit van de antwoorden die chatbots geven op vragen over het nieuws. Kloppen de antwoorden op basis van nieuwsartikelen wel? De BBC vroeg verschillende chatbots (ChatGPT van OpenAI, Copilot van Microsoft, Gemini van Google en Perplexity) naar samenvattingen van 100 verschillende artikelen. Speciaal daarvoor gaf de Britse omroep alle AI-bedrijven tijdelijk toegang tot zijn site, terwijl men dit normaal gesproken blokkeert.

Vervolgens hebben journalisten de antwoorden van de chatbots beoordeeld en op basis daarvan hebben de onderzoekers conclusies getrokken. De belangrijkste conclusie? Met de helft van alle samenvattingen van nieuwsartikelen was iets mis.

Enkel voorbeelden van fouten die er gemaakt werden:

Gemini incorrectly said the NHS did not recommend vaping as an aid to quit smoking.
ChatGPT and Copilot said Rishi Sunak and Nicola Sturgeon were still in office even after they had left.
Perplexity misquoted BBC News in a story about the Middle East, saying Iran initially showed "restraint" and described Israel's actions as "aggressive".

Bij 19 procent van de artikelen stonden er feitelijke onjuistheden, bijvoorbeeld verkeerde getallen of data. In 13 procent klopte er iets niet in quotes die door de chatbot werden aangehaald; deze waren aangepast of stonden zelfs helemaal niet in het originele artikel van de BBC, hoewel die wel als bron werd opgevoerd. Van de vier onderzochte chatbots waren de antwoorden van Gemini degene waar het vaakst iets mis mee was.

Bron: BBC RAI Research

Volgens de onderzoekers van de BBC gaan er bepaalde fundamentele dingen mis wanneer chatbots het nieuws samenvatten:

The AI assistants we tested struggled to differentiate between opinion and fact, editorialised, and often failed to include essential context. Even when each statement in a response is accurate, these types of issues can result in responses which are misleading or biased.
Bron: BBC RAI Research

Het onderzoek van de BBC volgt op een publieke strijd die de Britse omroep heeft gevoerd tegen de samenvattingen van pushberichten die Apple-producten maken met behulp van generatieve AI. Doordat verschillende pushberichten werden samengevat en samengevoegd, ontstonden er zeer vreemde headlines. Apple heeft hierop deze functionaliteit uitgeschakeld.

De omroep hoopt met dit onderzoek dat AI-bedrijven hier iets mee doen of dat overheden ingrijpen. De CEO van de BBC schrijft in een verklaring:

We’d like other tech companies to hear our concerns, just as Apple did. It’s time for us to work together – the news industry, tech companies - and of course government too has a big role to play here.
There is a wider conversation to be had around regulation to ensure that in this new version of our online world, consumers can still find clarity through accurate news and information from sources they know they can trust.

Tot nu toe is er echter nog weinig reactie gekomen vanuit de bedrijven die zijn meegenomen in dit onderzoek.

De livestream maakt een comeback bij de NOS

De livestream is terug van nooit echt weggeweest bij de NOS. De omroep wil meer live gaan doen via de site en app. Waar livestreams tot nu toe vooral bestonden uit persconferenties en sportwedstrijden, denkt de omroep nu ook na over livestream-formats die juist achtergrond en duiding bieden.

Zo presenteerde verslaggever Jeroen Gortworst afgelopen woensdag een livestream van een half uur waarin hij in eensoort HD-variant van een online meeting, waarin vier correspondenten vragen van kijkers beantwoordden over de situatie rondom Oekraïne. De volledige stream is terug te kijken en het is interessant om te zien hoe de NOS bij deze online uitzending kiest voor een veel informelere toon dan op tv. Wat verder opvalt is dat er voor het insturen van vragen wordt gevraagd om ze te e-mailen. Dat is zo ongeveer het meest onhandige communicatiekanaal tijdens een live-uitzending, als je het mij vraagt. Maar goed, het is dan ook nog een experiment.

Eerder maakte de NOS het al mogelijk om in livestreams (en dan in het bijzonder die van journaals en sportuitzendingen) terug te gaan naar specifieke onderdelen. Livestreams worden voorzien van zogeheten 'Momenten' waardoor je bijvoorbeeld snel een bepaald journaalitem kunt vinden. Daarnaast heeft de NOS sinds afgelopen zomer zijn app voor smart-tv's omgebouwd tot een app die zich helemaal focust op livestreams.

De NOS lijkt daarmee vol in te zetten op live. Niet in de vorm van een 24/7-nieuwskanaal, maar door steeds meer livestreams aan te bieden op momenten dat het relevant is. En dan niet slechts als een onhandige toevoeging aan de site en app, maar als een volwaardig liveproduct.

Kort