Nieuwe Google AI-zoekopdracht levert na 11 maanden testen nog steeds feiten op

Eh, geen van deze cijfers klopt.

Het domme gedrag van Google is van belang omdat de AI naar uw zoekopdrachten kijkt Vroeger of later. Het was al het bedrijf Testen Dit nieuwe Google – het Genative Search Experiment of SGE genoemd – bestaat al elf maanden uit vrijwilligers en is onlangs begonnen met het weergeven van AI-antwoorden in de belangrijkste resultaten van Google. Ook voor mensen die zich niet hebben aangemeld voor de test.

De nieuwe Google kan een aantal nuttige dingen doen. Maar zoals je zult zien, verzint hij soms ook feiten, interpreteert hij vragen verkeerd, verstrekt hij achterhaalde informatie en praat hij meestal uit. Erger nog, onderzoekers ontdekken dat AI sites van lage kwaliteit vaak tot betrouwbare informatiebron verheft.

Normaal gesproken review ik geen product dat nog niet af is. Maar deze test van de toekomst van Google is al bijna een jaar aan de gang, en de keuzes die Google nu maakt zullen van invloed zijn op de manier waarop miljarden mensen aan informatie komen. Ook het basisidee achter de huidige AI-rage staat op het spel: dat technologie de noodzaak om zelf dingen op te zoeken kan vervangen door ons alleen maar de antwoorden te geven. Als een bedrijf met het geld en de rekenkracht van Google niet kan slagen, wie dan wel?

SGE combineert de zoekmachine die u kent met de mogelijkheden van een chatbot. Naast traditionele resultaten schrijft SGE directe antwoorden op vragen, afgewisseld met links om dieper te gaan.

SGE is een reactie op het feit dat sommige mensen, waaronder ikzelf, zich beginnen te wenden tot AI zoals ChatGPT voor complexere vragen of wanneer we geen zin hebben om een ​​heleboel verschillende sites te lezen. Eeneen bedrijf voor zoekoptimalisatie, schat dat het gebruik van SGE het totale zoektraject van een gebruiker 10 tot 20 keer korter kan maken door voor-, nadelen, prijzen en andere informatie op één plek te consolideren.

Een betweterige antwoordbot lijkt nuttig als onze aandachtsspanne kleiner wordt. Maar Google heeft veel te doen. We verwachten dat zoekopdrachten snel zullen zijn, maar de AI-antwoorden van Google duren een pijnlijke seconde of twee. Google moet een evenwicht vinden in een toch al kwetsbare webeconomie, waar zijn AI-antwoorden verkeer kunnen stelen van uitgevers die het zware en dure werk doen om daadwerkelijk naar dingen te zoeken.

Het allerbelangrijkste is dat het nieuwe Google zijn belofte moet waarmaken dat het onze vragen consistent en correct kan beantwoorden. Dit is waar ik mijn tests op concentreerde, en ik bleef voorbeelden vinden waarin de AI-prestaties van Google slechter waren dan die van zijn voorganger.

De AI-antwoorden van Google op de proef gesteld

Wanneer u op Google zoekt, wilt u vaak een beetje informatie of een link. Dagelijks is de nieuwe Google vaak vervelend omdat de AI zo spraakzaam is.

Grappig voorbeeld: “Wat eten transformatoren?”

Het antwoord van de AI vertelde me dat de fictieve robots niet echt hoeven te eten of drinken, hoewel ze wel een soort brandstof nodig hebben. Ondertussen had de oude Google het antwoord van één woord waar ik naar op zoek was: Energon. (Het is een soort magische brandstof.) Ik kreeg dit antwoord van de nieuwe Google door gewoon naar beneden te scrollen op de pagina.

Dit gebeurt niet alleen bij ruimterobots. Toen SE Ranking, een bedrijf gespecialiseerd in zoekmachineoptimalisatie, Getest Met 100.000 zoekwoorden ontdekte SGE dat het gemiddelde antwoord dat het produceerde 3.485 tekens bedroeg – of ongeveer een derde van de lengte van die kolom. Een van de uitdagingen waarmee Google wordt geconfronteerd, is weten wanneer zijn AI beter af is door simpelweg te zwijgen; Soms zal SGE u vragen om op de knop “Maken” te drukken voordat u een antwoord typt.

Het allerbelangrijkste is dat we bij het zoeken de juiste informatie verwachten. Google beweert dat SGE een voordeel heeft in ChatGPT omdat haar kennis up-to-date is.

Ik merkte echter dat het nieuwe Google nog steeds worstelt met recente zaken. Drie dagen na Bij de laatste Academy Awards zocht ik naar ‘Oscars 2024’. Ze vertelde me dat de Oscars nog moesten komen en somde een aantal genomineerden op.

En niets ondermijnt mijn vertrouwen in de AI-antwoorden van Google meer dan te zien hoe het zelfverzekerd dingen verzint.

Dit omvat eigenlijk feiten over jou. Ik vroeg hem naar een bekroonde serie die ik voor de Washington Post schreef, en hij schreef die toe aan een vreemde, en gaf me vervolgens een link naar een andere site.

Toen kwam de tijd dat SGE met plezier informatie creëerde over iets dat niet bestond. Ik vroeg naar een restaurant in San Francisco genaamd Danny's Dan Dan Noodles, en hij vertelde me dat het “gekke wachttijden” had en beschreef het eten ervan.

Het probleem is dat dit een nepwinkel is die ik vernoemd heb naar mijn favoriete Chinese gerecht. De kunstmatige intelligentie van Google had er geen probleem mee om informatie over dit onderwerp te bedenken.

Zogenaamde hallucinaties over echte en nep-onderwerpen zijn een bekend probleem in de huidige kunstmatige intelligentie. In de disclaimer bovenaan de resultaten van SGE staat dat ‘generatieve AI experimenteel is’, maar dat lost het probleem niet op. Google moet leren 'Ik weet het niet' te zeggen als het niet zeker is.

Om ons op alles antwoorden te geven, moet de AI van Google betrouwbare bronnen identificeren. Ik heb niet zoveel vertrouwen in haar oordeel.

Herinner je onze waanzinnige resultaten op het nettovermogen van Zuckerberg nog? Een professionele onderzoeker – en ook de oude Google – zou kunnen voorstellen om de lijst met miljardairs te bekijken Forbes. Het antwoord van Google op AI was gebaseerd op iets heel vreemds ZipRecruiter De banenpagina van Mark Zuckerberg, die niet bestaat.

In mijn tests waren verdachte bronnen een patroon. Op voorstel van Onely vroeg ik de nieuwe Google welke betrouwbaarder is: Apple iPhones of Samsung-telefoons. Als ervaren recensent kan ik u hierover veel goede informatiebronnen vertellen, waaronder professionele journalisten en reparatieorganisaties zoals iFixit.

In plaats daarvan citeert de AI willekeurige meningen van mensen die van sociale media zijn gehaald. Afgezien van het beperkte nut van één Reddit-gebruikerservaring, hoe weet Google dat het geen neprecensie was die door de telefoonfabrikant was geplaatst?

“Google SGE opereert volgens een ander stel regels dan de traditionele zoekmachine die we vandaag kennen”, zegt Tomek Rudzki, hoofd R&D bij Onely.

SEO-bedrijven proberen kwantitatieve onderzoeken uit te voeren naar SGE-waarden, hoewel ze worden beperkt door de vereisten van Google voor testberekeningen. Maar ze vonden een soortgelijk patroon in de kloof tussen de sites waarnaar de oude en nieuwe Google linkten. SEO-softwarebedrijf de autoriteiten Ik heb eind maart zoekopdrachten getest met behulp van duizenden winkeltermen en ontdekte dat in 77 procent van de gevallen het domein van het eerste traditionele zoekresultaat nergens in het door AI geschreven antwoord voorkwam.

In zijn onderzoek naar 100.000 gezochte trefwoorden, SE-beoordeling Ik vond de vraag- en antwoordservice Quora de bron waar SGE het meest naar linkte; LinkedIn en Reddit kwamen op de vijfde en zesde plaats. Hoe vaak zouden deze bronnen acceptabel zijn in een onderzoekspaper van groep 8?

op Zoekt naar technologieonderwerpen – Inclusief veel “hoe moet je het doen”-vragen. – SE Ranking kwam erachter dat het domein het meest relevant is simplelearn.com. Ik heb er nog niet eerder van gehoord; De site omschrijft zichzelf als een ‘online bootcamp’.

“Deze trend vermindert niet alleen de kwaliteit van de zoekresultaten, maar vermindert ook het verkeer en de inkomsten voor veel kleine bedrijven, inclusief aangesloten websites”, zegt Anastasia Kotsiubinska, hoofd SEO bij SE Ranking.

Google zegt dat SGE een abonnementservaring is. Maar Google is al voorbij geblazen Het verwachte einde Afgelopen december werd er geen update gegeven over wanneer het onderzoek voor iedereen beschikbaar zou zijn. Het is mogelijk dat Google vindt dat SGE niet nauwkeurig, snel of winstgevend genoeg is, en dat ze dit uiteindelijk aanzienlijk zullen veranderen.

Ze zouden er verstandig aan doen om langzaam te werk te gaan, ook al lijkt Google daardoor achterop te raken in de AI-race. De rivaliserende zoekmachine van Microsoft, Bing, ondernam in februari 2023 een soortgelijke AI-revisie, maar het is nog steeds bekend dat de AI van de baan is geraakt.

Elizabeth Reid, hoofd vice-president van Google bij SGE, beschreef het in een interview als werk in uitvoering.

“We zijn er echt op gefocust om ervoor te zorgen dat we de ervaring echt goed krijgen. Hier spelen veel verschillende factoren een rol: zaken als latentie, nauwkeurigheid en behulpzaamheid”, zegt Reed. “Wat we hebben ontdekt tijdens het herhalen en leren is dat het heel gedetailleerd is.” Met andere woorden: er zijn momenten waarop AI nuttig is, andere keren niet, en Google probeert nog steeds uit te vinden waar de grens moet worden getrokken.

Toen ik de voorbeelden in deze column deelde, vertelde Reed me dat de hallucinatiecijfers van SGE “zeer laag” zijn en “aanzienlijk” zijn afgenomen sinds de lancering van SGE in mei, hoewel ze weigerde specifiek te zijn.

“Ik wil het belang hiervan niet bagatelliseren, het is een technologische uitdaging” en iets “waar we echt aan werken”, zei Reid. Ze voegde eraan toe dat het plaatsen van links naast AI-antwoorden belangrijk is om mensen in staat te stellen de feiten zelf te controleren.

Hier is de suggestie: omdat Google erkent dat het een probleem is om de juiste feiten te achterhalen, moet het zijn eigen gegevens zorgvuldig openbaar maken voordat het SGE aan een breder publiek aanbiedt. Met miljarden zoekopdrachten per dag kan zelfs 0,001 procent tot veel verkeerde informatie leiden.

Een ander gebied waar Google zich op richt is “proberen ervoor te zorgen dat we zo snel mogelijk tot de kern van de vraag komen en vervolgens verdere verduidelijking geven”, aldus Reed.

Wat het citeren van bronnen van lage kwaliteit betreft, heeft Google bezwaar gemaakt tegen extern onderzoek naar SGE, omdat het gebaseerd is op beperktere zoekopdrachten dan Google praktisch acht. Maar ze weigerde haar gegevens te delen.

SGE heeft geen andere standaard dan het oude Google, zei Reed. “We zien meer diversiteit in de bronnen ontstaan,” voegde ze eraan toe, “maar het doel is om kwaliteitsinhoud op de voorgrond te blijven plaatsen.”

Kiezen wie je wilt geloven is al moeilijk genoeg voor mensen. Waarom denkt Google dat de huidige AI-technologie, bekend als LLM’s of Large Language Models, in staat is deze taak te volbrengen?

'Ze zijn niet perfect,' zei Reed. “We willen deze doordachte aanpak volgen, omdat het vertrouwen dat mensen in Google hebben er echt toe doet.”

De toekomst van onze informatie hangt ervan af.