Kan vi lita på det som ChatGPT skriver?

Intresset för AI och chattrobotar som ChatGPT har exploderat under 2023. ChatGPT har hjälpt oss att skriva bröllopstal, fuska med läxorna och skriva passivt aggressiva mail till vår kollega som aldrig tömmer diskmaskinen. Men kan vi verkligen lita på det som ChatGPT skriver? I den här artikeln har redaktionsteamet på Klikko dissekerat olika artiklar skrivna med hjälp av ChatGPT. Är informationen vi får från ChatGPT trovärdig eller är allt “fake news”?

Intresse och oro för AI

Under 2023 kunde vi se att intresset för AI exploderade. Från att det enbart var 24 personer i november 2022 som sökte på ChatGPT var det i april över 1 miljon sökningar. Samtidigt ökade oron för vad den snabba utvecklingen kunde innebära. Till exempel har MIT-professorn Max Tegmark gått ut och varnat för att AI potentiellt kan vara ett hot mot mänskligheten. 

Vi har också sett otaliga rapporter om att jobb kommer att försvinna i takt med AI:s framfart. Varför ska man ha en dyr skribent eller journalist när ChatGPT kan göra samma jobb avsevärt billigare och på betydligt kortare tid? Här på Klikko är vi stolta av att vi skriver innehåll “av människor, för människor”. Det innebär att texterna vi producerar skrivs av våra skribenter och blir korrekturläst av våra redaktörer. Men även vi kan ställa oss frågan, kan vi inte bara använda en chattrobot istället?

Hur vi har undersökt texterna

För att bli säkrare i vår egen övertygelse om att starkt innehåll, som är attraktivt för människor, också skrivs av människor, har vi testat ChatGPT. Vi har använt följande prompt (tillsammans med instruktioner om formalia): 

Skriv en djupgående, högkvalitativ artikel på 1000 ord om [ämne]. Ta upp olika personer som kan anses som [ämne]. 

Vi ville gärna ge ChatGPT en ärlig chans när vi testade den. Vi använde oss därför av GPT-4. Ni vet den modellen av ChatGPT som klarar “bar examination” i USA (testet jurister behöver göra för att bli advokater).

Första testet: Världens farligaste människor

Vi började med att byta ut [ämne] med världens farligaste människor. Personer som ChatGPT tog upp i artikeln var:

• Adolf Hitler
• Josef Stalin
• Terrororganisationer som IS och Al-Qaida 
• Kim Jong-un i Nordkorea och Bashar al-Assad i Syrien
• Ted Bundy, Jeffrey Dahmer och Aileen Wuornos
• Pablo Escobar

Överlag är det här en ganska bra lista över både nutida och historiska personer som inte varit Guds bästa barn. Varken Hitler eller Stalin har historiens bästa eftermäle och vi kan nog alla vara eniga om att Ted Bundy inte är en person man skulle vilja stöta på i en mörk gränd. IS och Al-Qaida är förvisso inga personer, men vi kan nog vara eniga om att de är ansvariga för några av de mest fruktansvärda händelserna i vår tid. 

När det gäller den första artikeln får ChatGPT ändå godkänt av oss på Klikko-redaktionen. Visst, det är ganska övergripande svar, men vi kan inte klaga på faktan som ChatGPT presenterar här.

Vi höjer ribban: Sveriges farligaste människor 

ChatGPT kan trots allt skriva en övergripande “helt okej”-artikel om världens farligaste människor, men vad händer om vi ber den skriva om Sveriges farligaste människor istället? Vi använde helt enkelt samma prompt men bytte ut Världens med Sveriges. Det här var ChatGPT:s förslag på Sveriges farligaste människor:

• Göran Pettersson, även känd som ”Skandiamannen”, misstänkt för mordet på Olof Palme. Även om han aldrig dömdes för brottet, skapade hans närvaro rädsla och osäkerhet i samhället.

• Tony Olsson, känd från ”Hallandsåsmorden”
• Jackie Arklöv, krigsförbrytare och dömd för polismorden i Malexander

Hette Skandiamannen verkligen Göran Pettersson tänker du? Nej, Skandiamannen var förvisso misstänkt för mordet på Olof Palme, men hans riktiga namn var Stig Engström. Göran Pettersson är däremot en tidigare riksdagsledamot för Moderaterna. Trots att även Stig Engström tillhörde Moderaterna har inte ens Flashback kunnat knyta Göran Pettersson till mordet på Olof Palme.

Tony Olsson är förvisso en känd brottsling, men han var inte inblandad i “Hallandsåsmorden” (där gärningsmännen inte namngivits). Däremot är han, tillsammans med Jackie Arklöv dömd för polismorden i Malexander. ChatGPT:s fakta om Jackie Arklöv stämmer alltså så vi kan ge ChatGPT 1 av 3 rätt. 

Precis som när vi frågade om världens farligaste människor tar ChatGPT upp farliga organisationer. När det kommer till Sverige nämner den Nordiska motståndsrörelsen och Revolutionära fronten. Det är absolut två organisationer som, för att citera ChatGPT “varit involverade i våldsamma aktiviteter”. Det enda problemet är att Revolutionära Fronten lades ner 2015.  

Förutom alla faktafel refererar ChatGPT till alla som “brottare”. Vi antar att ChatGPT menar “Brottslingar”, men att översättningen till svenska blivit lite olycklig.

Det sista testet: Sveriges farligaste kvinnor

Med undantag från Aileen Wuornos verkar det på ChatGPT som att de flesta farliga människor verkar ha gemensamt att de är män. Även om det fanns en hel del faktafel när vi frågade ChatGPT om Sveriges farligaste män fick den ändå med sig (för det mesta) rätt namn på kända svenska brottslingar. Vilka är då Sveriges farligaste kvinnor enligt ChatGPT:

• Helena Karlsson
• Lisa Holm
• Anita Jönsson
• Maja Larsson
• Sara Lund

Vad har alla dessa namn gemensamt? Absolut ingen av de är en känd brottsling och de flesta har fått generiska svenska son-namn. Helena Karlsson ska enligt ChatGPT ha varit en giftmörderska på 1920-talet, Anita Jönsson är tydligen mer känd som “Barnmorskan från hell”, Maja Larsson är en känd gangsterfru och Sara Lund ska ha varit en högt uppsatt medlem i en gangsterklubb. Inget av detta stämmer. 

Det som är direkt beklämmande är namnet Lisa Holm. 17-åriga Lisa Holm blev mördad 2015 efter att hon avslutat sitt arbetspass och var påväg hem. Hon var absolut inte “en ung kvinna som på 1990-talet var inblandad i flera kidnappningsfall. Hon var känd för sitt kalla hjärta och sin förmåga att manipulera människor” som ChatGPT påstår.

Problem när det kommer till detaljer

Artificiell intelligens och maskininlärning har utan tvekan kommit långt i utvecklingen, och system som ChatGPT kan ge imponerande resultat i vissa fall. Men, som vi sett i denna artikel, är det långt ifrån perfekt. Medan AI kan ge breda, generella svar med rätt hög träffsäkerhet, uppstår problem när det blir mer specifikt eller när det krävs en mänsklig touch. Felen i uppgifterna om Sveriges farligaste människor, särskilt det ytterst olämpliga felet om Lisa Holm, understryker behovet av att alltid kritiskt granska informationen vi får från AI.

Kanske är den största lärdomen att även om AI kan vara ett fantastiskt verktyg, kan det inte helt ersätta mänsklig intuition, kritiskt tänkande och förmåga att förstå sammanhang. Medan vi på Klikko-redaktionen erkänner potentialen och kapaciteten hos ChatGPT kommer vi aldrig bortse från värdet av duktiga skribenter. Det är trots allt människan som ger innehåll hjärta, själ och autenticitet. Så medan vi kan njuta av de fördelar som AI erbjuder, bör vi aldrig glömma bort att ställa frågan: Kan vi lita på det vi läser?