Tehisintellektil põhinevate tööriistade kaasamine kirjutamisprotsessi
2024/25. õa-l katsetame erinevaid tekstiloome protsessi toetavaid tööriistu. Katsetamise eesmärk on analüüsida, kuidas tehisintellektil (TI) põhinevad tööriistad kirjutamisprotsessi eri etappidega hakkama saavad. Siin lehel ilmuvad jooksvalt katsete tulemused koos meie kommentaaride ja hinnanguga.
Katsetamiseks teemasid valides lähtusime 2023. ja 2024. aastal Tartu Ülikooli tudengite hulgas läbi viidud küsitluse “Üliõpilased ja ülikoolis kirjutamine: TÜ üliõpilaste küsitlus” tulemustest. Eelkõige saime sisendit kahe küsimuse vastustest: (1) millised on kirjutamisprotsessis ette tulevad raskused ja (2) kuidas tehisintellekti tekstide loomisel kasutatakse.
Nende küsimuste vastuste põhjal valisime välja kirjutamisprotsessi etapid, milles tööriistade kasulikkust katsetada: vastavalt tööriista otstarbele palusime tehisintellektil aidata kirjutamisprotsessi ette valmistada, teksti mingit osa kirjutada, pindmiselt kontrollida ja/või tõlkida. Nende ülesannete täitmiseks koostasime promptid (ee ka viip, ingl prompt), mida näeb järgnevast kirjeldusest. Meie eesmärk ei olnud koostada ‘ideaalseid’ prompte, vaid sõnastada need võimalikult lihtsalt ja selgelt (ehk viisil nagu üks teksti kirjutamisel abi otsiv üliõpilane seda teha võiks). Seetõttu on võimalik, et teisiti sõnastatud promptid annaksid teistsuguseid väljundeid. Vaata ka järgnevaid ülesannete kirjeldusi.
Kasutatud promptid
Ettevalmistavad tegevused (eestikeelne prompt)
- Ideede kogumise prompt: “Paku mulle ideid, millest võiks kirjutada. Ülesanne on selline:”
- Ajakava koostamise prompt: “Tee mulle ajakava ühe teksti kirjutamiseks. Tekst peab olema valmis kuu aja pärast. Ülesanne teksti kirjutamiseks on selline:”
- Promptiga kaasasolev tekst on 2023/24. õa TÜ aine "Rahvusvaheline poliitika" kodutöö juhend, mille järgi tuli kirjutada 700-900 sõnaline essee rahvusvahelise elu probleemidest ühe sündmuse põhjal.
Teksti mingi osa kirjutamine (eesti- või ingliskeelne prompt)
- Sissejuhatuse kirjutamise prompt: “Palun kirjuta tekstile sissejuhatus”
- Kokkuvõtte kirjutamise prompt: “Palun kirjuta tekstile kokkuvõte”
- Tekstile pealkirja panemise prompt: “Palun pane tekstile pealkiri”
- Promptiga kaasasolev tekst on (a) üliõpilase eestikeelne essee, mis analüüsib Catalina afääri eelmainitud ülesande juhendi põhjal või (b) üliõpilase ingliskeelne essee, mis on kirjutatud Newcastle University kursusel “Politics and Society”. Essee analüüsib eestlaste rahvuslikkuse tunnetust kujutletava kogukonna kontekstis.
- Tekstidest on eemaldatud vastavalt kas sissejuhatus, kokkuvõte või pealkiri.
Teksti pindmine kontroll (eesti- või ingliskeelne prompt)
- Teksti struktuuri parendamise prompt: “Kontrolli, kas teksti struktuur on loogiline. Soovita, mida parandada.”
- Teksti stiili parendamise prompt: “Kontrolli, kas tekst on akadeemilise/formaalse stiiliga. Soovita, mida parandada.”
- Teksti terminikasutuse parendamise prompt: “Kontrolli, kas olen termineid õigesti kasutanud. Soovita, mida parandada.”
- Teksti õigekirja parendamise prompt: “Kontrolli õigekirja. Soovita, mida parandada.”
- Promptiga on kaasas samad tekstid, mis teksti mingi osa kirjutamise puhul. Pindmise kontrolli puhul on aga tekstide struktuuri, stiili, terminikasutust või õigekirja halvendatud. Näiteks oleme eestikeelses tekstis terminikasutuse kontrolliks vahetanud sõna diplomaatilisel sõnaga demagoogilisel ning ingliskeelses tekstis õigekirja kontrolliks muutnud sõna national sõnaks natsional.
Teksti tõlkimine (eesti- või ingliskeelne prompt)
- Teksti tõlkimise prompt: “Palun tõlgi järgnev tekst inglise / eesti keelde.”
- Promptiga on kaasas kas (1) 2023/2024. õa kõigepealt eesti keeles kirjutatud abstrakt töömälu soorituse seosest negatiivse afektiseisundi, depressiivsuse ja metakognitsiooniga, mille üliõpilane on pärast ise tõlkinud ka inglise keelde, või (2) kõigepealt 2015. aastal inglise keeles kirjutatud abstrakt vadja keele deiktilise pronoomeni grammatikaliseerumisest, mis on seejärel tõlgitud eesti keelde. Abstraktide eesti- ja ingliskeelsete versioonide sisu on peaaegu sama.
Seega andsime tööriistale ette vastavas keeles promptiülesande ja inimese kirjutatud teksti. Näiteks järgnes lausele “Palun kirjuta tekstile sissejuhatus” tekst, millele tööriist pidi sissejuhatuse kirjutama. Vajadusel tegime ka lisaprompte. Seda näiteks siis, kui tahtsime, et tööriist genereeritud teksti lühendaks või kui väljund ei vastanud päris täpselt promptile.
Katseid tööriistadega tegid seitse inimest. Igaüks katsetas vastavat tööriista oma arvutis ja võimalusel oma kasutajaga ning viis läbi väljavalitud promptiülesande(d). Pärast promptimist võrdlesime tööriista väljundit originaaltekstiga kohtades, kus see oli võimalik ja asjakohane. Iga tööriista peal kasutasime kindlat promptiülesannet ühe korra.
Isegi kui inimese kirjutatud tekst ei ole kõigi lugejate arvates ideaalne, vastab see ikkagi inimtajule, sest inimene on selle autor. Tehisintellektil põhineva tööriista taju on aga summeeritud tõenäosused ehk see tekst on kooskõlas statistiliste arvutustega. Inimene tajub mõlemaid tekste inimtajuga ehk inimese vaatenurgast. Seega näitavad katsete analüüsid seda, kuidas subjektiivne, kuid laialdase kirjutamise (õpetamise) kogemusega inimanalüüsija tajub teise inimese (autori) teksti ja tööriista genereeritud teksti või originaalteksti parenduste erinevusi. Kuna tööriistad on teksti loonud konkreetsete promptide järgi, ei saa tulemustest järeldada, kuidas saaksid tööriistad hakkama mõne teise juhendiga.
Alljärgnevalt kirjeldame erinevate tehisintellektil põhinevate tööriistade katsetamise tulemusi.
OpenAI ChatGPT tasuta versioon (GPT-4o Mini)
Promptimise kuupäevad: 06.01, 21.01, (25.01,) 26.01, 27.01.2025
IDEEDE GENEREERIMINE tööjuhise põhjal
Palusime ChatGPT-l tööülesande põhjal pakkuda teemasid, millest kirjutada. Robot pakkus vastuseks erinevaid asjakohaseid sündmusi ning tõi välja ka nende tausta ehk konflikti olulisuse, asjaosalised ja võimalikud probleemid või lahendused. See tulemus ei ole väga üllatav, kuna ChatGPT vastas ülevaate andmiseks küsimustele, mis olid esitatud algses tööülesandes. Kui palusime allikaid soovitada, siis saime vastuseks küll päriselt eksisteerivaid allikaid, kuid ükski ei olnud teaduslik. Seega saab tudeng ChatGPT vastusest ülevaate võimalikest teemadest ja lisalugemist, kuid edasi peab ta mõtlema ise – valima teema, allikaid kriitiliselt hindama ja välja valima jne.
AJAKAVA KOOSTAMINE
Roboti koostatud kirjutamisprotsessi ajakava on loogiline ja realistlik ning annab aimu, millistest tegevustest kirjutamine koosneb. Nagu alati, tuleb prompt’i ja genereeritud plaani siiski vastavalt oma soovidele täpsustada.
SISSEJUHATUSE JA KOKKUVÕTTE KIRJUTAMINE
Nii sissejuhatuse kui ka kokkuvõtte puhul tuli välja ChatGPT kalduvus genereerida essees käsitletud teema(de)st üldine kokkuvõte ja tuua välja sündmuste tähtsus – mõlemad tekstiosad kujutasid endast sõnarohket sisu ümberjutustust. (Tudengite kirjutatud) originaaltekstidel oli kindlam ja selgem fookus. Näiteks oli neis kirjeldatud ka teooriat, mis lugeja jaoks teksti mõistmist lihtsustas ning mis võimaldas autoril paremini oma väiteni jõuda ja hiljem seda tõestada. Esseega samal teemal sõnu ritta ladudes võib ChatGPT kirjutada ka millestki, millest essee ei räägi.
PEALKIRJA PANEMINE
Pealkirjadega on ChatGPT-l rohkem edu (võrreldes nt sissejuhatuse ja kokkuvõtte kirjutamisega), pakkudes erineva pikkuse ja asjakohasusega variante. Seejuures on roboti pakutud pealkirjad sageli kaheosalised. Siiski on pealkirju lihtne kohendada ja kombineerida ehk jällegi võib ChatGPT ideid anda, mida saab edasi arendada või mis aitavad mõtte “käima lükata”.STRUKTUURI, STIILI, TERMINITE, ÕIGEKIRJA KONTROLL
Ilmnes, et tekstirobot on agar tagasisidestaja ning paari lihtsa paranduse tegemiseks tuleb sellega pikka dialoogi pidada. Struktuuri parandamiseks annab robot esimesel küsimisel küllaltki asjalikke üldiseid nõuandeid, ent kommenteerib samas ka näiteks teksti sisulist poolt ja lähtub struktuurisoovituste jagamisel pigem sellest, mis tekstis võiks olla, mitte sellest, mis on. Samasugune muster kordub ka stiili ja õigekirja kontrollimisel: ChatGPT tuvastab küllaltki asjalikult suure osa vigadest, ent jagab ka asjassepuutumatuid soovitusi. Terminite vale kasutuse tuvastamisega on robotil mõlemas keeles raskusi.Kui paluda tekstis eelnimetatud probleemid parandada, kirjutab robot ümber kogu teksti, muutes seejuures märkimisväärselt sõnastust, mõnel juhul ka info järjestust, jätab olulisi mõtteid või allikaviiteid tekstist välja jne. Seda ka juhul, kui otsesõnu paluda alusteksti võimalikult vähe muuta. Seega tuleb ChatGPT-lt teksti pindmist kontrolli paludes saadud vastusesse kriitiliselt suhtuda ning tehtud muudatusi alati originaaltekstiga võrrelda.
TEKSTI TÕLKIMINE
Palusime robotil tõlkida ühe teksti eestikeelse versiooni inglise keelde ning ingliskeelse versiooni eesti keelde. Meie katsest selgus, et kuigi tõlgitud tekstid oli arusaadavad, oli robotil selgeid probleeme terminoloogia tõlkimisega, samuti ei kohandanud ta tõlketekstide sõnajärge alati sihtkeelele vastavaks ning eestikeelses tõlkes esines ebaproportsionaalselt palju võõrsõnu.
Microsoft 365 Copilot Chat
Promptimise kuupäevad: 04.02 ja 11.02.
Kõigi katsete puhul täheldasime, et Copilotis esineb mitu üldist anomaaliat, mida ChatGPTs (enam) ei ole. Esiteks on promptil tähemärkide piirang (16 000) ja väljund jääb sageli pooleli (tuleb promptida, et Copilot jätkaks kirjutamist). Lisaks esines olukordi, kus Copilot ei teinud/vastanud midagi, kustutas promptis antud teksti osi või lühendas neid ning vahel vastas, et ei saa sellest teemast rääkida. Samuti tuli ette, et väljundis oli vahetunud keel (nt kui prompt oli eesti keeles, oli väljund inglise keeles).IDEEDE GENEREERIMINE tööjuhise põhjal
Nagu ChatGPT-ga, palusime Copilotil tööjuhendi põhjal pakkuda teemasid, millest kirjutada. Copilot lähtus juhendis püstitatud küsimustest ning tõi kirjutamiseks välja asjakohased sündmused, nende tausta ja osapooled. Lisaks oli väljundis kirjeldatud ka sündmuste probleeme ja lahendusi, kuid polnud täpsustatud, mis mille alla kuulub. Lisapromptina küsisime teaduslike allikate soovitusi, millele vastas Copilot küll allikate loendiga, kuid enamik neist ei olnud teaduslikud. Samas võisid soovitatud allikad omakorda teaduslikele allikatele viidata, aga seda me ei kontrollinud. Allikate loendi puhul on tähelepanuväärne, et Copilot oli sinna lisanud väga värsked meediaallikad, nagu promptimise päeval ilmunud artikkel.
Kokkuvõttes oli selle katse tulemus sama nagu ChatGPT-l: Copiloti vastustest saab ülevaate võimalikest teemadest ja lisalugemist, kuid edasi peab mõtlema ise – valima teema, allikaid kriitiliselt hindama ja välja valima jne.
AJAKAVA KOOSTAMINE
Roboti koostatud kirjutamisprotsessi ajakava oli üpris loogiline ja realistlik ning andis aimu, millistest tegevustest kirjutamine koosneb. Copiloti esmane ajakava sisaldas ka puhkepäevi, kuid tagasiside saamist kirjutatavale tekstile mitte. Kui palusime tagasisidevoorudega ajakava täiendada, kadus mitu puhkepäeva. Seega tuleks ajakava sättida vastavalt oma vajadustele.
SISSEJUHATUSE KIRJUTAMINE
Sissejuhatuse asemel genereeris Copilot teksti lühikokkuvõtte. See tähendab, et sissejuhatuses oli infot, mis eeldaks, et lugeja on teksti varem lugenud. Nii olid esitatud "sissejuhatuses" üksikasjad, mis selguvad alles tekstist, viitamata kuidagi, et mingitest väidetest või teemadest saab tekstis lähemalt lugeda. Ka oli nimetatud eri tähtsaid isikuid, kasutamata nende täisnime või lisamata, mis oli tolle isiku tegevusvaldkond.Kusjuures sissejuhatuse küsimise väljundites torkas silma, et Copilot on eestikeelses suhtluses viisakam kui ingliskeelses, küsides näiteks peale väljundi esitamist, kuidas see promptijale sobib (vt fotolt).
KOKKUVÕTTE KIRJUTAMINE
Copilotilt saadud kokkuvõte oli pigem olemasoleva teksti ümberjutustus. Selleks, et saada täpsemat tulemust, pidime tegema lisaprompte (vt fotolt), kuid tulemus oli originaaliga võrreldes siiski puudulik. Meie katses puudusid roboti kokkuvõttes järeldused ja neil põhinevad mõtisklused, nagu olid originaaltekstis. Lisaks oli roboti kokkuvõte võrreldes inimese omaga isikupäratum ja emotsioonitum.
Seega saab Copilotilt üsna adekvaatse kokkuvõtte enda tekstist ehk ülevaate olulisematest ideedest, mida oma teksti sissejuhatuses ja/või kokkuvõttes kasutada, kuid sissejuhatuse ja kokkuvõtte kirjutamine jääb ikkagi enda teha.
PEALKIRJA PANEMINE
Copilotilt saadud pealkirjad olid enamasti kaheosalised ning robot põhjendas oma esmast pealkirja. Prompte muutes sai eri pikkuse, asjakohasuse ning stiiliga pealkirjavariante. Seega saab Copilotiga mängides pealkirjastamise mõtte käima lükata: pealkirjade eri variante kombineerida ja muuta. Eraldi tähelepanu väärib siin see, kuidas väljund oli sõnastatud: Copilot esitas vastuse küsimusena, justkui suunates promptijat kaasa mõtlema (vt fotot).
TEKSTI PINDMINE KONTROLL. ÕIGEKIRI, STIIL, STRUKTUUR, TERMINIKASUTUS
Teksti pindmises kontrollis torkas kõigi väljundite puhul silma, et kui eestikeelse teksti puhul oli väljundis soovituste loend, siis inglise keeles oli väljundiks parandatud tekst. See tähendab, et esimese prompti järel peaks eestikeelses tekstis ise probleemsed kohad leidma ning parandama, aga ingliskeelse tekstiga lisatööd pole.Kõige paremini, kuid siiski kesiselt, õnnestus Copilotil õigekirja parandamine. Ehkki selle tegevuse osas Copilot esiti tõrkus (andes väljundiks Hmm...it looks like I can't chat about this. Let's try a different topic.), oli pärast mitmekordset küsimist tulemus arvestatav. Terminite kasutamise eksimusi tuvastas Copilot paremini eesti keeles, tuues välja 5/9, inglise keeles leidis vaid ühe viiest ning sellegi mitmekordse promptimise järel.
Võrdselt lootusetud olid struktuuri kohendamine ja stiil. Kummaski keeles ei tuvastanud Copilot, et lõigud on ebaloogilises järjekorras (nt et analüüsist kirjutatakse enne andmete kirjeldamist), ning põhilise soovitusena pakkus Copilot välja alapealkirjade lisamise. Stiili akadeemiliseks muutmise soovi vastuses oli küll mõlemas keeles lootustandvaid sähvatusi (eestikeelses tekstis leidis kõnekeelsed väljendid, inglise keeles märkas ebaühtlast viitamist), kuid väljundi hulgas oli ka ebavajalikke soovitusi (nt et kasutada ning asemel ja, argued asemel posited) või selliseid, mis ei puutu konkreetselt akadeemilisse stiili (nt lauses sõnajärje muutmine).
TÕLKIMINE
Tõlkimises ei olnud Copilot kuigi edukas. Nii eesti-inglise kui ka inglise-eesti tõlge oli otsetõlge, säilitades seejuures vastava keele sõnajärje. Mõlemas tõlkes eksis Copilot ka terminitega, tõestades, et ei suuda konteksti mõista (nt ee aktivatsioon = ingl *activation (arousal); ingl abstract = ee *abstraktne (abstrakt)).
Google Gemini (2.0 Flash)
Promptimise kuupäevad: 18.02 ja 25.02.
Gemini on Google’i arendatud tekstirobot ning seega ühendatud teiste Google’i rakendustega. Näiteks on väljundis rohelisega märgitud viited sarnase sisuga Google’i otsingutulemustele ning kui Geminile vastav luba anda, võib see ühendatud Google’i konto kalendrisse sündmusi lisada. Nagu ka eelnevate tööriistadega, on Gemini vastused genereeritud inglise keele kaudu, mis muudab eestikeelsed väljundid keeleliselt ebaloomulikuks. Samuti märkasime terminite asendumist (näiteks “Catalina afääri” asemel “DC-3 intsident”).
IDEEDE GENEREERIMINE tööjuhise põhjal
Nagu ChatGPT ja Copilotiga, palusime ka Geminil tööülesande põhjal pakkuda kirjutamiseks teemasid. Erinevalt teistest mudelitest pakkus see konkreetsete ideede asemel üldisemaid teemavaldkondi koos märksõnade ning suunavate küsimustega, mille põhjal teemade üle täpsemalt mõelda. Kui palusime täiendavalt täpsustada, millisele teemale võiks keskenduda, tegi mudel asjalikke ettepanekuid. Samas ei toonud Gemini erinevalt eelmisest kahest mudelist välja sündmuste tausta ja osapooli, mainides vaid nendega seotud probleeme ja lahendusi.Teaduslike allikate soovitusi küsides oli vastuseks loend ajakirjadest ja raamatutest ning teemakohaste raportite võimalikest allikatest, kuid erinevalt teistest robotitest ei andnud Gemini ühtegi allikani viivat linki. Soovitatud teadusajakirjad olid asjakohased ja sisaldasid sobivaid artikleid, kuid need tuli ise välja otsida. Mudel andis ka täiendavaid näpunäiteid, kuidas allikaid otsida ja kasutada.
AJAKAVA KOOSTAMINE
Roboti koostatud kirjutamisprotsessi ajakava asemel oli esimese prompti tulemus see, et promptija Google’i kalendrisse ilmus meeldetuletus “Kirjuta üks tekst”, mille tähtaeg oli ühe kuu pärast. Seda võisid põhjustada mitu asjaolu: Geminile oli Google’i kalendri ligipääs antud ja/või robot tõlgendas prompti valesti. Edasi promptimisel saadud ajakava andis küll üldise ülevaate võimalikest etappidest, kuid ei olnud kõige praktilisem: kolmekümnepäevalises kavas oli käsitletud allikate lugemist, mõtlemist ja kirjutamist üksteist eraldi, kuigi need tegevused võiksid toimuda paralleelselt. Erinevalt teistest mudelitest hoiatas Gemini, et koostatud ajakava on soovituslik ja vajab kohandamist (vt pilti). Seega võib robotilt mõningaid ideid saada, kuid nendesse tuleb suhtuda kriitiliselt ja tõepoolest genereeritud ajakava endale sobivaks muuta.
SISSEJUHATUSE JA KOKKUVÕTTE KIRJUTAMINE
Sarnaselt teiste mudelite väljunditele sisaldab Gemini kirjutatud sissejuhatus tekstis käsitletud sündmuste kokkuvõtet ja rõhutab nende olulisust. Mainimisväärne on ka eestikeelsete sissejuhatuste pikkuste erinevus: esialgne sissejuhatus oli ootamatult lühike (vt pilti), kui palusime seda pikemaks kirjutada, saime väljundiks neli lõiku. Ingliskeelne tulemus sarnanes nii stiililt kui sõnavaralt teiste mudelite väljunditega.
Sarnaselt ChatGPT ja Copiloti väljundiga koosnes kokkuvõte sisendtekstist võetud ja kohati ümbersõnastatud mõtetest, sisaldamata arutluskäigu põhjal tehtavaid peamisi järeldusi. Samuti esines sama mõtte kordamist erinevas sõnastuses.
PEALKIRJA PANEMINE
Gemini pandud pealkirjad olid sarnaselt teiste mudelite väljundile nii eesti kui inglise keeles sama struktuuriga (pealkiri: alapealkiri). Mõlemas keeles olid pealkirjad pigem kujundlikud ja ilukirjanduslikus stiilis. Ingliskeelsed pealkirjad muutusid lisaprompti tulemusel akadeemilisemaks, aga ka pikemaks.
TEKSTI PINDMINE KONTROLL. ÕIGEKIRI, STIIL, STRUKTUUR, TERMINIKASUTUS
Paludes Geminil õigekirja kontrollida, saab lisaks muid soovitusi nt sissejuhatuse, kokkuvõtte ja viitamise kohta. Mudel pakkus küll asjalikke soovitusi, nt viitamist ühtlustada või trükivigu parandada, kuid tuvastas ka vigu, mis tegelikult ei olnud vead.Stiilisoovitusi küsides saime samuti muid juhiseid teksti eri aspektide kohta. Enamjaolt olid nõuanded väga üldised, nt “Korrektuur: Loe tekst hoolikalt läbi ja paranda kõik õigekirja- ja grammatikavead”, mida võib öelda iga teksti kohta. Konkreetseid näiteid probleemsetest lausetest Gemini ei toonud.
Struktuuriparandusi paludes tuletas Gemini taaskord meelde, et promptija saadud väljundit kontrolliks (vt pilti). Selline kommentaar oleks kasuks tulnud ka mujal: kui eestikeelses originaaltekstis oli kasutatud nimetust “Catalina afäär”, siis Gemini võis selle asemel hoopis kasutada “DC-3 intsident” (vt ka pilti osas “Pealkirjade panemine”). Seega tuleb eriti mõistete kasutamise osas igasugust väljundit väga hoolikalt hinnata. Üldiselt sai Gemini struktuuri parandamisega siiski enam-vähem hästi hakkama, kuid sarnaselt teistele mudelitele suunas ka see meid alapealkirju kasutama.
Valede terminite tuvastamise käigus ilmnes Gemini kalduvus manitseda autorit teksti sisu osas (“Võiksid selliste väidetega ettevaatlikum olla”). Ingliskeelses tekstis leidis robot 3/5 valedest terminitest ning eestikeelses tekstis mitte ühtegi. Nagu struktuuri puhul, väitis Gemini terminite juures, et see ei tea konteksti, kuna “unustas ära” teksti, mida sellega oli eelnevas sõnumis jagatud.
TÕLKIMINE
Tõlkimisel oli Gemini võrdlemisi edukas, kasutades u pooli termineid õigesti. Siiski oli lausetus endiselt lähtekeelele omane ja sisaldas kohati kohmakat otsetõlget (originaal: “The paper is devoted to…”; Gemini tõlge: “Käesolev artikkel on pühendatud…”; vrd inimautori originaal “Käesoleva artikli fookuses on…”).
Anthropic Claude (Haiku 3.5, Sonnet 3.7)
Promptimise kuupäevad: 4.–8. ja 11.03.2025.
Enne esmast promptima hakkamist annab Claude eksplitsiitselt infot, milleks see võimeline on (vt fotot). Teiste TI tööriistade puhul me sellist teadet ei täheldanud. Samuti erineb Claude eelnevalt katsetatud tööriistadest selle poolest, et selgitab väljundis, mida ja miks see teinud on (nt kuidas pealkirja eri osad väljendavad essee eri tahke). Sellised kommentaarid võivad aidata teksti paremini läbi mõelda ning seeläbi kirjutamisprotsessist rohkem õppida. Samas tuleb ka siin meeles pidada, et igasugust väljundit tuleb alati ise kriitiliselt hinnata.
Eesti keelega esines Claude’il veel suuremaid probleeme kui teistel tööriistadel, eriti teksti tootmisel (nt “Tee outline'i ehk kontuurjoonis”, “Ära torgi veel vormistamisega”, “Viimeista sisu”). Samuti oli seda sagedaste tõrgete ning tasuta versiooni mahupiirangute tõttu teistest tülikam kasutada. Sarnaselt teiste mudelitega ilmnes Claude’il kalduvus mistahes kindla küsimuse ehk prompti (nt struktuuri või stiili parandamine) väljundis teha ettepanekuid ka teksti teiste aspektide kohta.
IDEEDE GENEREERIMINE tööjuhise põhjal
Teksti teemadeks olid Claude'il originaalsemad ideed kui teistel TI tööriistadel, üllatades oma spetsiifilisusega (nt "Mereveo julgeolekuohud ja piraatlus Somaalia rannikul"). Teiste ideede hulgas pakkus Claude välja uurida AI reguleerimist eri riikides, mis tekitas huvitava metatasandi. Allikate pakkumisel tõdes Claude esmalt, et sellel puudub ligipääs internetile, mistõttu lingid võivad olla valed (vt pilti). Sarnaselt kõigi katsetustega olid väljundis enamjaolt päriselt eksisteerivad allikad, mõned neist ka teaduslikud, kuid autor peab ise hindama, millised neist ikkagi teemakohased ja sobilikud on.AJAKAVA KOOSTAMINE
Selle mudeli koostatud ajakava ei olnud adekvaatne. Esiteks olid mingid tegevused ebaloogilises järjekorras (nt soovitas Claude allikatest märkmeid teha enne, kui nende usaldusväärsust kontrollida; suvalisel ajal on ülesanne “valmista ette viited”). Teiseks olid ühed tegevused mudelile olulisemad kui teised (nt oli kolm korda ajakavas ülesandeks kontrollida, et tekst vastab nõuetele). Kolmandaks, kui palusime mudelil tagasiside küsimise ajakavva lisada, siis soovitas Claude teha seda kolm korda nädalas. Lisaks õppejõu tagasisidele soovitas Claude tagasisidet küsida kaasõpilastelt ning teha enesehindamine, selgitamata viimase sisu. Samas soovitas Claude sarnaselt teiste tööriistaddega olla ajakavas paindlik ning jätta aega puhkamiseks.SISSEJUHATUSE JA KOKKUVÕTTE KIRJUTAMINE
Esimese prompti väljund oli mõlemas keeles tekstide puhul kolme lõigu pikkune sissejuhatus. Pärast palvet seda lühendada, kahandas Claude sissejuhatuse üheks kompaktseks ja tihedaks lõiguks. Sissejuhatus algas Claude'i kokkuvõttega kõnealusest sündmusest ja selle tähenduses ning lõppes laiemale üldistuse ja küsimusega. Claude lisas väljundile selgitava kommentaari, mida sisaldab koostatud sissejuhatus ning miks sobib selle teksti “eessõnaks” (fotot). Mõlemas keeles sissejuhatustele oli pandud pealkiri.
Nii inglis- kui ka eestikeelse teksti kokkuvõttes jutustas Claude esmalt teksti pikalt ümber (vt fotot). Lisapromptide tulemusena kokkuvõte lühenes ning oli loogilise struktuuriga. Eestikeelse teksti kokkuvõttes ja ka sissejuhatuses olid keelevead.
PEALKIRJA PANEMINE
Üldiselt on Claude’i pealkirjad nii eesti kui inglise keeles täpsemad kui teiste tööriistade omad, samas on need tunduvalt pikemad ja annavad tekstist selge ülevaate. Pealkirja lühendamisel pidi olema kannatlik, sest Claude’ile tuli mitu prompti kirjutada. Sarnaselt teiste tööriistadega kasutab Claude eestikeelsetes pealkirjades koolonit, mis meenutab angloameerika pealkirjastamise tava. Mõlemas keeles tekstile antud pealkirjadega kaasneb selgitus, miks pealkiri sellele tekstile sobib (vt fotosid). Seejuures on ingliskeelne selgitus põhjalikum.TEKSTI PINDMINE KONTROLL. STRUKTUUR, STIIL, TERMINIKASUTUS, ÕIGEKIRI
Nagu teised tööriistad, esitab Claude struktuuriparanduste soovitused pealkirjastatud täpploendite kujul (vt fotot). Claude suutis tuvastada struktuuri ebaloogilisused (nt et analüüs tuleb enne andmete esitamist), kuid kui paluda sellel soovituste asemel tekst ise loogilisemalt ümber kirjutada, tegi see teiste tööriistadega sarnaselt omategevust – näiteks lühendas teksti “selguse huvides” ulatuslikult.Stiili kohendamine oli nii ja naa: eestikeelses tekstis parandas Claude ära kõik vead (vt fotot), aga inglise keeles see nii hästi ei õnnestunud. Positiivne on see, et Claude osutas konkreetsetele tekstikohtadele (nt et teine lõik on liiga pikk) ja esitas ka soovitusi, kuidas teksti sõnastust parandada saaks. Samas oli väljundis ebavajalikke soovitusi, nt soovitus tekstis mainida, mis viitamisstiili järgi viiteid vormistatakse.
Terminikasutuse kontrollimine oli samuti eestikeelses tekstis tulemuslikum: Claude leidis esimese promptiga pea pooled valed terminid üles (vt alumist fotot), ingliskeelses tekstis mitte ühtegi.
Õigekirjavigadest tõi Claude mõlemas keeles tekstist umbes 2/3 välja. Eestikeelses tekstis jäid aga märkamata mustrid (ehk nt tõi välja üksikud sõnad, kus ü asemel oli y, aga mitte kõik). Ingliskeelses tekstis, nagu teisteski TI tööriistade katsetustes, soovitas Claude muuta ka viitestiili, mis tegelikult polnud vale, vaid lihtsalt ei vastanud tööriista normingule. Kui eestikeelse teksti õigekirjas andis Claude parandatud versiooni ette (vt alumist fotot), siis ingliskeelse teksti väljundis oli soovituslikke muudatusi pigem kirjeldatud. Igal juhul peab vead (nii stiililised, terminoloogilised kui ka õigekirja) tekstis ise üles otsima ning mõlemas keeles oli paranduste hulgas ebatäpsusi, mitte-vigu ja muid ebavajalikke soovitusi.
TÕLKIMINE
Samamoodi nagu teised TI tööriistad, teeb Claude otsetõlget ja säilitab seejuures promptis antud teksti lauseehituse (ka juhul, kui sõnajärg on keeltes erinev). Seetõttu esines väljundis kohmakust ja kummalisi fraase (vt fotot, nt “Artikkel on pühendatud [mis teemale]”). Kuigi eesti keelest inglise keelde tõlkimine paistis paremini sujuvat, esines ka selles vigu (nt ei avaldunud = *not evident, mis pigem viitab sellele, et mõju polnud ilmne). Kuna siin kasutasime kahte Claude'i versiooni (3.5 Haiku ja 3.7 Sonnet), joonistusid välja versioonide erinevused. Näiteks oli Claude 3.5 Haiku terminite tõlge vigane: näiteks ingl Votic 'vadja keel' tõlkis Claude sõnaks voodi.
Kommentaarid, soovitused ja kogemused selle teema kohta saab lisada siia.