Googles genAI-zoekvenster leidt gebruiker direct naar internetbronnen
Google sleutelt flink door aan de integratie van generatieve AI in de eigen zoekmachine. De laatste toevoeging is een verwijzing naar de internetbronnen op basis waarvan de tekstrobot een samenvatting maakt van de resultaten van een zoekopdracht.
Links in zoekresultaten SGE
Google
Een van de belangrijke minpunten van generatieve AI is dat tekstrobots vaak wel een goed leesbaar en daarmee betrouwbaar ogend stukje tekst opleveren, maar dat het lastig is te controleren of de feiten die worden gepresenteerd wel kloppen. Het is bekend dat de technologie onder de huidige generatieve AI nogal eens de neiging heeft te hallucineren, ofwel zelf feiten te verzinnen die helemaal niet bestaan. Wil je die teksten gebruiken, dan moet je dus goed ingevoerd zijn in de inhoud om te kunnen beoordelen of de teksten kloppen.
Controleer de feiten
Maar juist bij zoeken op internet gaat het vaak om vragen waar je het antwoord niet op weet en wordt dat feiten controleren lastig omdat niet duidelijk is waar de tekstrobot informatie vandaan heeft gehaald. Uit onderzoek is al wel duidelijk geworden dat veel mensen minder geneigd zijn feiten te checken als de tekst waarin ze voorkomen goed leest en betrouwbaar overkomt.
Google geeft nu in een blog aan tegemoet te komen aan die tekortkoming van genAI. De testers die al gebruik kunnen maken van de genAI-integratie in de zoekmachine zien nu dat de tekst die wordt getoond als antwoord op een ingetypte zoekopdracht, voorzien wordt van links die direct leiden naar de bron van de informatie. Het blijft dan nog steeds de vraag of gebruikers ook de links volgen als die in een vlot lopend tekstje zijn weergegeven.
Reacties
Om een reactie achter te laten is een account vereist.
Inloggen Word abonneeEen antwoord van een AI-machine dien je op 2 aspecten te controleren: betrouwbaarheid en validiteit.
De betrouwbaarheid kun je controleren door de feiten en de gevolgde logica in het antwoord te controleren. Feiten kun je bijvoorbeeld controleren door de gegeven referenties in het antwoord na te trekken. Logica kun je controleren door de redenatie van de AI-machine in het antwoord te controleren. Als beide kloppen dan is het antwoord betrouwbaar.
Daarna moet je natrekken of het antwoord valide is. Dit kun je doen door te checken of het antwoord de gestelde vraag ook echt beantwoord. Merk op dat dit reeds geruime tijd mogelijk is in Bing Chat dat GPT4 gebruikt. Dit is blijkbaar een goed voorbeeld voor Google. Uitgebreide uitleg van het bovenstaande is te vinden op https://drive.google.com/file/d/1Uul7_38m1ugDx_5ZMZEbxG-1Zh8-UYVj/view
Een uitgewerkt voorbeeld van het bovenstaande is te vinden in https://www.agconnect.nl/tech-en-toekomst/artificial-intelligence/de-vijf-zussen-van-sally , zie het artikel en de reacties hierop.
Hierbij nog een ander controlevoorbeeld van het antwoord van een AI-machine. Een AI-machine gebruikt statistical inference, bijvoorbeeld door het gebruik van een zoekmachine welke statistical inference gebruikt om vragen te beantwoorden. Een algemene inleiding op dit gebied kun je vinden op https://vimeo.com/groups/504494 en https://drive.google.com/file/d/1z8sHUR1n_Qvu2XGISsV6s78wxT1WEFZd waar achtergrond info te vinden is bij de module Inferential Statistics van de Universiteit Twente. Merk op dat GPT versie 4 erg goed is in Statistical Inference. Dit kun je bijvoorbeeld controleren door GPT versie 4 (zoals bijvoorbeeld in Bing Chat) de excersises te laten maken in de hierboven gegeven referentie. Zoals je kunt vaststellen beantwoord GPT versie 4 deze excersises allemaal zeer goed. Statistical inference is ook een goede test om te kijken hoe goed een AI-machine is in de interpretatie van internetinformatie.
Voorbeeld: We laten het wiskundige probleem op https://www.accountant.nl/vaktechniek/2023/6/de-steekproefomvang-ontmaskerd---deel-4/ oplossen door GPT4 en Bard.
We stellen beide AI-Systemen achtereenvolgens de volgende vragen:
1. Wat is de kans dat k fouten voorkomen in n steekproeven volgens de binomiale verdeling?
2. Wat is n als k=0 en p = 5 procent?
3. Ik wil dat de kans dat er geen fouten voorkomen in n steekproeven kleiner is dan 5%, wat is dan n?
Antwoord GPT4 op vraag 3: "Dit betekent dat als je n steekproeven neemt met een foutkans van 5% per steekproef, en je wilt dat de kans dat er geen fouten voorkomen kleiner is dan 5%, dan moet je kiezen voor een waarde van n groter dan 59."
Antwoord Bard op vraag 3: "Als je wilt dat de kans dat er geen fouten voorkomen in n steekproeven kleiner is dan 5%, dan moet n groter zijn dan 30."
Het goede antwoord is 60. Je ziet dus dat Bing Chat dit statistical inference probleem goed oplost en Google Bard niet.
In de wetenschap zijn de spelregels simpel. Als je iets wetenschappelijk geaccepeteerd wilt krijgen dan moet je een reproduceerbaar bewijs leveren. Merk op dat vraag 2 in het hierboven gegeven voorbeeld een begripsvraag is. Wanneer je de vragen laat beantwoorden door Bing Chat en Google Bard dan zie je dat Bing Chat het begrijpt en Google Bard niet. Dit is bevestigd in het antwoord op controle vraag 3: Het antwoord van Bing Chat is correct en dat van Google Bard is fout.