Skaitytojai žmogiškiausiu išrinko DI tekstą. Ką galvoju dabar

2024 metų pabaigoje kartu su žurnaliste Viktorija Žižiūniene padarėme eksperimentą, kuris man iki šiol neduoda ramybės. Sumanymas buvo paprastas: patikrinti, ar žmonės atskirs dirbtinio intelekto (DI) parašytą tekstą nuo žmogaus rašyto. Mes net susilažinome. Viktorija sirgo už rašytojus ir buvo tikra, kad mašina jų neįveiks, o aš buvau labiau DI pusėje. Bet ir aš turėjau savo lubas. Maniau, kad vienas DI tekstas gali įsibrauti į geriausią penketuką, o labai optimistiškai galvojant, į trejetuką. Kad jis bus pirmas, negalvojau niekada.

Visa istorija prasidėjo anksčiau ir gana negražiai iš mano pusės. Kai pasirodė pirmoji plačiai žinoma ChatGPT versija, su ja parašiau tekstą apie deimantus ir investavimą į juos, nusiunčiau Viktorijai ir paprašiau paredaguoti. Kas jį rašė, nepasakiau. Ji prasėdėjo prie to teksto gerą pusdienį, o pabaigusi paklausė, kas čia tokį rašė. Pasakiau. Supyko. Bet geras žmogus, greitai atleido, ir netrukus mes jau sėdėjome ir dėliojome, kaip tą patį klausimą uždavus ne vienam žmogui, o keliems šimtams.

Įrankis

Dvylika atskirų ChatGPT asistentų, po vieną kiekvienam rašytojui, ir vienas paprastas nemokamas ChatGPT be jokio pasiruošimo

Data

Rezultatai paskelbti 02/12/2024

Užduotis

25 tekstai tema „Kodėl aš rašau?“, iki 200 žodžių. Skaitytojas prie kiekvieno turėjo pažymėti, kas rašė: žmogus ar DI

Laikas

Dvi savaitės vienai instrukcijai, 7-8 A4 lapai. Apie 20 sekundžių vienam sugeneruotam tekstui

Kas matuota

Kiek iš 25 tekstų vienas balsavęs žmogus pažymėjo teisingai ir kokia dalis balsavusiųjų kiekvieną tekstą priskyrė žmogui. Balsavo 233 žmonės

Kaip tai buvo padaryta

1. Dvi savaites rašiau vieną instrukciją. Išėjo septyni ar aštuoni A4 lapai.
2. Pagal ją susikūriau dvylika DI asistentų, po vieną kiekvienam eksperimento rašytojui.
3. Asistentus maitinau tik viešai prieinamais tų žmonių tekstais: penkiais jų pačių atsiųstais pavyzdžiais ir tuo, ką patys radome socialiniuose tinkluose, žurnaluose ir laikraščiuose.
4. Dvylika profesionalų (rašytojai, žurnalistai, komunikacijos, reklamos ir viešųjų ryšių specialistai) parašė iki 200 žodžių tekstą tema „Kodėl aš rašau?“. Tų tekstų asistentai nematė, jie buvo saugomi atskirai.
5. Kiekvienas asistentas sugeneravo savo variantą maždaug per 20 sekundžių. Žmogaus ranka prie jų nebuvo pridėta, paliktos net klaidos.
6. Dar vieną tekstą parašė paprastas nemokamas ChatGPT, be jokio pasiruošimo. Iš viso susidarė 25 tekstai: 13 mašinos ir 12 žmonių.

Tada sudėjome juos į atskirą platformą ir išsiuntinėjome vertinti. Balsavo 233 žmonės, nuo patyrusių redaktorių ir leidyklų atstovų iki žmonių, neturinčių su rašymu nieko bendro: IT specialistų, inžinierių, kirpėjų, statybininkų, draudimo brokerių. Užduotis viena. Perskaityti ir pažymėti, kas rašė: žmogus ar DI.

Rezultatas

Tekstas, kurį daugiausiai žmonių pažymėjo kaip žmogaus rašytą, buvo mašinos. Tai buvo asistentas, kopijavęs vienos finansų temomis rašančios autorės stilių.

76,8 %Tiek skaitytojų nusprendė, kad žmogiškiausią iš visų 25 tekstų parašė žmogus. Jį parašė DI asistentas.

Antroje ir trečioje vietose liko tikri žmonės: vieno teksto rezultatas 74,2 %, kito 72,8 %. Iš viso net penkis DI tekstus daugiau nei pusė skaitytojų priskyrė žmogui.

Bet pirma vieta manęs galiausiai nustebino mažiausiai. Labiau nustebino vidurkis. Iš 25 tekstų vidutiniškai teisingai atspėta 13,66, tai yra 54,64 % tikslumas. Blogiausias rezultatas buvo 5 iš 25. Geriausias 22, ir tokį pasiekė vienas vienintelis žmogus. Nė vienas nesužymėjo visų teisingai. Skaičius atrodo nepikta, kol nepagalvoji, kad tekstų iš mašinos buvo 13, tad tiesiog viską sužymėjęs kaip DI būtum surinkęs 13 be jokio skaitymo.

Ir dar viena smulkmena, kuri man iki šiol yra mėgstamiausia. Dalis balsavusių prisipažino, kad nepaklausė mūsų prašymo ir slapta pasitikrino tekstus DI atpažinimo įrankiais. Tie įrankiai visus 25 tekstus nurodė kaip žmogaus rašytus. Visus.

Ko šis eksperimentas neįrodo

Sąžininga dalis, nes tada apie ją kalbėjau per mažai.

Tai nebuvo mokslinis tyrimas. 25 tekstai, viena tema, iki 200 žodžių, viena kalba, vienas 2024 metų gruodis. Balsuoti atėjo tie, kurie patys panoro, o toks žmogus jau iš anksto domisi tema, tad imtis nėra reprezentatyvi. Skaičiai, kuriuos čia rašau, yra iš pagrindinio rato su 233 dalyviais. Po kelių dienų, kai apie eksperimentą kalbėjau per televiziją, atvirą anketą jau buvo užpildę daugiau nei 700 žmonių, tad kai kur rasite ir tą skaičių. Tai ne prieštaravimas, tiesiog du skirtingi momentai.

Svarbiausia, ko eksperimentas neįrodė: kad mašina rašo geriau. Jis parodė tik tai, kad trumpame tekste žmonės nebeatskiria, kas rašė. Tai visai kitas dalykas.

Ir dar viena detalė, kuri tada nuskambėjo per tyliai. Tas rezultatas nebuvo nemokamas. Už jo stovi dvi savaitės darbo ir aštuoni lapai instrukcijos. Tekstą, kurį parašė paprastas ChatGPT be jokio pasiruošimo, žmonės atpažino geriausiai iš visų: 77,7 % teisingai pažymėjo, kad jį rašė mašina.

Ką galvoju dabar

Praėjo beveik dveji metai, ir tos aštuonių lapų instrukcijos nebereikia. Ką 2024 metais dariau dvi savaites, šiandien padarysi per vakarą, o rezultatas bus geresnis. Šiandieninė versija telpa į kelias eilutes.

Rašysi mano stiliumi. Štai [penki] mano tekstai: [įklijuoju].
Pirmiausia surašyk, ką pastebi: sakinių ilgį, kokių žodžių vengiu,
kaip pradedu ir kaip baigiu.
Tada parašyk [200] žodžių tekstą tema [tema].
Netaisyk mano įpročių ir nepagražink.
Jei kažko stiliuje neaišku, klausk, o ne spėk.

Tai reiškia, kad mano tuometinė išvada („mums dar reikia žmogaus, kuris sumaniai apmokytų mašiną“) paseno greičiau, nei tikėjausi.

Klausimas „ar DI gali rašyti kaip žmogus“ 2024-aisiais buvo įdomus. Dabar į jį jau atsakyta, ir jis pasidarė nebeįdomus.

Įdomus liko kitas: o kam man to reikia. Aš nenoriu mašinos, kuri rašytų vietoje manęs. Ne todėl, kad tai kilnu, o dėl labai buitinės priežasties: kai pirmą juodraštį parašo mašina, aš nebeturiu ką pasakyti, turiu tik ką taisyti. Skirtumas milžiniškas. Tekstas iš tokio darbo išeina tvarkingas ir tuščias.

Šis tinklalapis yra mano atsakymas. Pirmą juodraštį rašau pats, nes ten yra visas turinys. DI paimu ten, kur nuobodu: perrikiuoti struktūrą, patikrinti faktus ir datas, pasakyti, kuris sakinys neveikia, išversti į anglų kalbą. Tai nėra romantika, tai tiesiog pasidalijimas darbais, kuris man duoda geriausią rezultatą.

Kam šito nenaudočiau

Vieno dalyko nedaryčiau nei tada, nei dabar. Nekurčiau asistento, kopijuojančio gyvo žmogaus stilių, jam apie tai nepasakęs. Eksperimente visi dvylika dalyvavo savo noru ir patys atsiuntė savo tekstus, ir tik dėl to visa tai buvo padoru. Be tokio sutikimo lieka tiesiog patogus būdas apsimesti kitu žmogumi.

Ir nenaudočiau to ten, kur tekstas yra parašas: nuomonė, atsiprašymas, užuojauta. Ne dėl taisyklių, o todėl, kad tokį tekstą reikia turėti savo, kitaip jis nieko nevertas.

Ką daryti pirmadienį: paimkite vieną šios savaitės savo tekstą ir pabraukite, kur jame yra jūsų mintis, o kur tik forma. Formą galima atiduoti mašinai. Mintį verta pasilikti.

Vienas klausimas iš 2024-ųjų man taip ir liko be atsakymo. Profesionalai išgyvens, dėl to esu ramus. Bet ką daryti tiems, kurie tik mokosi rašyti ir mato, kad mašina tą patį padaro geriau ir per dvidešimt sekundžių. Iš kur jiems paimti motyvacijos eiti per tą nemalonų etapą, kai tavo tekstai dar prasti. To atsakymo neturiu nei tada, nei dabar, ir tai galioja ne tik rašantiems.

Teisingas prieštaravimas: 233 savanoriai, viena tema ir iki 200 žodžių yra per plona bazė bet kokiai išvadai apie rašymą. Taip ir yra, todėl šito niekada nevadinu tyrimu. Bet vienas dalykas išlieka net ir prie tokios imties: nė vienas iš 233 nesužymėjo visų 25 teisingai, o geriausią rezultatą pasiekė vienas vienintelis žmogus.

p.s. Viktorija po rezultatų dvi naktis negalėjo užmigti. Aš tą savaitę miegojau puikiai, ir dabar galvoju, kad tai buvo blogas ženklas apie mane, o ne apie ją 🙂