Tekoälyllä varustettujen keskustelurobottien eli niin sanottujen chatbottien nousu on herättänyt myös kritiikkiä niiden antamien vastausten todenperäisyydestä. Tutkimuksissa syväoppimiseen perustuvien kielimallien on havaittu ikään kuin hallusinoivan eli tuottavan tahatonta tekstiä.
Yksinkertaisesti sanottuna ne keksivät tarinoita. Vaikka se voi olla harmitonta ja joskus huvittavaakin, sillä voi olla myös katastrofaalisia seurauksia joidenkin ihmisten elämässä.
Mediassa on julkaistu tapauksia keskustelurobotin keksimästä seksuaalisesta häirinnästä, lahjontasyytteistä ja lasten ahdistelusta, joiden takia on jo aloitettu oikeusjuttuja OpenAI:ta vastaan. Yhtiö on vastannut kirjoittamalla keskustelurobottiinsa lyhyen vastuuvapauslausekkeen, jossa todetaan robotin saattavan tuottaa vääriä vastauksia.
Wienissä majailevan European Centre for Digital Rights NOYB -järjestön lakimies Joakim Söderberg toteaa kuitenkin EU:n tietosuoja-asetuksen olevan selkeä: henkilökohtaisten tietojen täytyy olla oikein. Jos ne eivät ole, käyttäjillä on oikeus saada ne muutettua vastaamaan todellisuutta. Mikään vastuuvapauslauseke ei hänen mukaansa riitä.
Tapaukset eivät ole loppuneet: kun norjalainen Arve Hjalmar Holmen halusi selvittää, onko ChatGPT:llä mitään tietoa hänestä, vastaukseksi tuli suoranainen kauhukertomus. Keskustelurobotti kuvasi valheellisesti hänet tuomituksi rikolliseksi, joka oli murhannut kaksi lastaan ja yrittänyt murhata kolmannenkin.
Koko kertomusta pahensi vielä se, että se sisälsi myös todellisia elementtejä Holmenin omasta elämästä, kuten tiedot hänen lastensa lukumäärästä ja sukupuolesta sekä hänen kotikaupunkinsa. ChatGPT keksi, että hänet oli tuomittu 21 vuodeksi vankeuteen. Tunnistettavan henkilökohtaisen tiedon ja väärän tiedon sekoitus on selvä rikkomus EU:n tietosuoja-asetuksen artiklaa 5(1)(d) vastaan, jossa todetaan, että yritysten täytyy varmistaa, että niiden henkilöistä antamat tiedot ovat oikeita.
Valitettavasti näyttää kuitenkin siltä, että OpenAI ei joko ole kiinnostunut tai ei pysty korjaamaan ChatGPT:n antamia vääriä tietoja. Kun NOYB nosti ensimmäisen kanteen yhtiötä vastaan, se vastasi, se pystyy ainoastaan estämään datan esittämisen tietyille kysymyksille, mutta väärä tieto jää yhä järjestelmään.
Holmenin tapauksen jälkeen OpenAI on päivittänyt kielimalliaan tehden siitä hakukoneen. Tämä tarkoittaa sitä, että ChatGPT ei enää valehtele Holmenista. Väärä tieto saattaa silti olla kielimallin uumenissa eikä Holmenilla ole mitään keinoa varmistua, etteikö se olisi siellä, jos koko mallia ei opeteta uudelleen. Tämän vuoksi NOYB on nostanut kanteen Norjan tietosuojavirasto Datatilsynetiä vastaan, koska se ei ole määrännyt OpenAI:ta poistamaan väärää tietoa ja muokkaamaan malliaan eliminoidakseen väärät vastaukset.
