Andres Karjus ja Kaspar Kruup.

Tekstiroboti kasutust tuvastada ei saa

Loomevõimelise tehisaru järsk arenguhüpe on koole ja õpetajaid ettevaatlikuks teinud: tekstirobotitega on võimalik lihtsa vaevaga luua kirjandeid ja jutukesi ning täita lünkharjutusi. Multimodaalsed (pilti lugevad) tööriistad, nagu ChatGPT Plus, Gemini või Copilot telefonis teevad töövihiku täitmise lihtsaks: kiire pilt ülesandest ja käsk „tee see ülesanne ära“. 

Turul on aga mitmeid rakendusi, mis reklaamivad „tehisintellekti tuvastamist“ või tekstirobotitega loodud teksti markeerimist. Tihti on pakkujateks muidu plagiaadituvastusega tegelnud firmad, neid kahte tegevust peaaegu et võrdsustades. Sellise teenuse kasutuselevõtt koolis võib esmapilgul seega tunduda ilmselge ja õige samm. Pakkumine ei tähenda aga, et sellised tööriistad ka päriselt töötaks viisil, mis koolidel ja õpetajatel oma eesmärke saavutada aitaks. Pigem vastupidi. Heast soovist hoolimata toob sellise tarkvara kasutamine tõenäolisemalt ootamatuid ja ebameeldivaid tagajärgi nii õpilaste, õpetajate kui koolijuhtide jaoks. 

Tehniline taust: plagiaadituvastus ja „tehisintellekti tuvastus“

Probleem on siin mitmeosaline. Esimene konks on see, et need kaks tuvastust on tehnoloogiliselt kaks täiesti eri asja. Plagiaadi ehk kellegi teise teksti (viitamata) kasutamise markeerimine toimib võrdluse alusel: tuvastaja andmebaasis on suur hulk tekste, mille sisu kontrollitava uue tekstiga võrreldakse. Kas teksti kirjutamisel on aga kasutatud generatiivse tehisaru abi, seda ilmselgelt niimoodi avastada ei saa, sest iga selle väljund on sisuliselt unikaalne – mingit andmebaasi neist ei eksisteeri. 

Kõige sagedasem tuvastuslahendus on seega samuti masinõppel (tuntud ka kui tehisintellekt) põhinevad klassifitseerijad, mida treenitakse sõnamustrite pealt ennustama, kas tõenäolisem autor on „inimene“ või „masin“. Treeningmaterjaliks on seega ports (mingite) inimeste tekste ja teine ports (mingite) masinate omi, ja väljundiks on lihtsalt pakkumine, mitte fakt. Nende tootjate reklaamitud keskmine täpsus põhineb samuti mingil valimil tekstidel (mis ei pruukinud isegi eesti keeles olla). 

Kontrollitavale tekstile määratakse üldjuhul väljundis mingi numbriline väärtus, näiteks „75% tõenäosusega masina kirjutatud“, mida siis õpetaja peaks tõlgendama. Kasutajale kuvatud tõenäosusprotsent või skoor on aga sisuliselt tõlgendamatu, sest pole teada, mis „kapoti all“ olevas mudelis sellise tulemuseni viis. Sellised tarkvarad näevad üldsiselt välja väga  professionaalsed ning esitatud tulemused tunduvad kasutajale autoriteetsed. Nii võib pedagoog järeldada, et tulemusega üle 60% või 80% on õpilane masina abi kasutanud, või et 95% või 100% tähendab juba kindla peale süüd. Tegelikult ei tähenda ka 100% selliste rakenduste puhul seda, et tekst on 100% tõenäosusega tekstiroboti kirjutatud, või 0%, et poleks. 

Isegi suhtumine stiilis „midagi ikka näitab“ ei ole põhjendatud, sest on täiesti võimalik, et konkreetse teksti puhul pani tuvastaja lihtsalt mööda, kuid esitles sellest hoolimata suurt tõenäosusprotsenti. 

Oht esitada valesüüdistus

Kuna kasutaja ei pruugi nende tehniliste detailide ja masinõppe nüanssidega kursis olla, siis tekitab selline kasutus tarbetut segadust ning suurendab tõenäosust, et süütut õpilast süüdistatakse ülekohtuselt. Valepositiivseid tulemusi sellised rakendused välistada ei saa: ei ole tehniliselt kuidagi võimalik garanteerida, et puhtalt inimese kirjutatud teksti ei tembeldataks tehisaru kirjutatuks. 

Kõik ettevõtted, kes väidavad vastupidist, püüavad koole nende haavatavas olukorras ära kasutada. Mida paremad ja inimesetaolisemad mudelid välja tulevad ning mida täpsemini need instruktsioone järgivad, seda suurem on võimalus, et keskmise inimese kirjutatud tekst näeb tuvastaja jaoks välja nagu tehisaru kirjutatu, sest erinevus nende kahe vahel väheneb. Seega on suur oht, et õpilast süüdistatakse tehisaru kasutamises ebaõiglaselt ning ta pannakse olukorda, kus ta peab hakkama tõestama oma süütust. Kui talle määratakse sellisel alusel ka karistus, siis hävineb kooli ja õpilase vaheline usaldus. Kooli võib sellisel juhul oodata ka kaotusega lõppev kohtutee.

Tehisteksti tuvastajat on lihtne eksiteele viia

Ilmselgelt on sellist klassifitseerivat masinat ka lihtne petta, nii juhuslikult kui meelega. Kui kasutada mudelit, mille valmistatud tekste tuvastaja treeningmaterjalis polnud, siis on tuvastusvõimalus kohe väiksem. Kui instrueerida oma masinat kirjutama mingis kindlas stiilis, žanris ja teemas, siis muutub väljund „mudeli keskmisest“ kohe unikaalsemaks. Seetõttu võib vähegi nutikas õpilane anda rakendusele lihtsalt sellised käsklused või toimetada saadud väljundit nii, et see ei ole enam „inimtekstist“ eristatav. 

Lisaks sellele on selliste tööriistade kasutamine nagunii mitmekülgne. Vaevalt on enam väga palju õpilasi või tudengeid, kes lihtsalt tuimalt lükkavad koduülesande juhendi tekstirobotisse ja saadavad vastuse otse ära. Pigem on tegu mitmesuguste iteratiivsete protsessidega, mille variatsioon on suur, alates mõne sõna või väljendi küsimisest teksti tagasisidestamise või toimetamiseni – ja kuskil selle skaala teises otsas on copy-paste-kasutus. 

Nendes sammudes võidakse ka kasutada mitut tekstirobotit või toetavaid tööriistu nagu Grammarly. Igasugused tuvastajad eeldavad sisuliselt aga seda esimest, lihtsakoelist copy-paste-kasutusviisi. Lisaks ei saa unustada, et praegu populaarsete tekstirobotite aluseks olevaid keelemudeleid on treenitud inimeste kirjutatud tekstide peal, et need kasutaksid keelt võimalikult inimese moodi. Need mudelid arenevad pidevalt ja nende tootajate eesmärk on muuta nende väljundid inimesest eristamatuks. Iga sellise muutusega väheneb ka tuvastajate täpsus. Tegemist on liikuva märklauaga, mille liikumist ei ole võimalik isegi näha. Tuvastajad ei saagi usaldusväärselt märki tabada.

Mida siis teha?

Koolide soov leida lahendus on mõistetav. Ühe tehnoloogia tekitatud probleemi ei saa aga tingimata lahendada järgmise tehnoloogiaga. Tehisteksti tuvastuse ekslik kasutamine võib jäädavalt lõhkuda õpetaja, õpilase ja lapsevanema usaldusliku suhte, sest tehnoloogia esitatud valesüüdistuse eest ei ole võimalik end mõistlikult kaitsta. Katsed tuvastada ei lahenda mitte ainult käesolevat probleemi, vaid toovad kaasa uued probleemid, ja võimalik et ka juriidilised tagajärjed. Isegi tehisarude tootjad ei soovita sellist tarkvara kasutada: näiteks seda teenust vahepeal pakkunud OpenAI pani selle kiiresti kinni just samal põhjusel.

Tehisaru väljakutsetega seotud murede leevendamiseks tuleb otsida teisi lahendusi. Variante on mitu: disainida näiteks ülesandeid nii, et nende lahendamiseks ei piisaks juhendi ChatGPT-sse või (vahepeal juba Wordi integreeritud Copilotisse) kopeerimisest. Seda on ka õpetajal lihtne ise katsetada. Seletada õpilasele, miks on oluline antud ülesannet ise teha, mida selle kaudu õpib. Võib ka luua ülesandeid, mille lahendamiseks tulebki tehisintellekti kasutada ning siis selle väljundit kontrollida ja kritiseerida. Või ülesandeid, mis on lihtsalt nii huvitavad, et õpilane eelistab neid ise teha. 

Kõrvalise abi kasutamine pole koolis mingi uus nähtus ning koolid on seni leidnud tasakaalu usalduse ja kontrolli vahel. Inimliku suhtluse, vastastikuse usalduse ja austuse olulisus ei vähene ka tehisintellekti saabudes. 

See ei tähenda, et tehisteksti tuvastajaid peaks otseselt keelama. Selliste rakenduste kasutamine eeldab aga suurt nõudlikkust nii tootja kui lõppkasutaja suhtes. Tuleb mõista, mida mudel on tegelikult arendatud tuvastama, ja uurida, kas toodet ikkagi on eesti keele peal testitud (tootjalt tuleks küsida treening- ja testandmete näiteid). Enne kasutamist peaks ka süstemaatiliselt ise testima, pidades silmas ülal mainitud tehisarude kasutusviise. Kasutaja ehk ilmselt õpetaja peaks olema koolitatud mõistma nende masinõppetehnoloogiate toimimist, piiratust ja asjaolu, et selline ennustamistoode võib alati anda valesid tulemusi: tembeldada inimese masinaks või kuulutada osava masinakasutuse 100% inimeseks. Tehnoloogiline lahendus võib näida esmapilgul lihtne, kuid sellise lahenduse teadlik soetamine eeldab koolilt olulist ajakulu, et mitte väärkasutuse ja selle tagajärgede ohvriks langeda (mida garanteerida lõpuks ikkagi ei saa). Loodetud kasu tuleb kaaluda kulu ning riskide vastu, mida sellise läbipaistmatu tehnoloogia kasutuselevõtt endaga kaasa toob.

Kas kirjutamisülesanded peaks ära kaotama?

Loomulikult mitte. Kirjutama õppimine on kasulik ja vajalik protsess, mis omakorda õpetab oma mõtete struktureerimist, eneseväljendamist ja reflekteerimist. Hea eneseväljenduse oskus annab eelise paljudel elualadel. Et masin mingit asja teeb, et tähenda, et inimene ei võiks seda osata (sealhulgas osata masinaid selle võrra paremini instrueerida). 

Sama hästi võiks küsida, kas kehalise kasvatuse ja kunstitunni peaks ära jätma, sest olümpiasportlased jooksevad nagunii kiiremini ja professionaalsed kunstnikud joonistavad paremini. Või et kas peast liita-lahutada pole mõtet, sest kalkulaator on telefonis. Hariduse kontekstis on alati võimalik, et kodutöö teeb ära õpilase asemel keegi teine, olgu see sõber, ema või robot. 

Lõplikult tuvastada ei saa neist ühtegi, aga kui õpetaja näeb, et Jukust on üleöö saanud Kivirähk või Marist Monet, siis on ehk põhjust uurida, kas tegu on arengu või abiga – ja kui viimane, siis mis omakorda selle valiku taga võib olla ja kas tal on kõik hästi. Lähtuda võiks vaatenurgast, et õppimise kellelegi (või millelegi) teisele delegeerinud õpilane ei peta ju mitte niivõrd õpetajat, kuivõrd eelkõige iseennast.

Kommentaarid

Lisa kommentaar

Sinu e-postiaadressi ei avaldata. Nõutavad väljad on tähistatud *-ga

Tugisüsteemide tugevdamine on kutsehariduse kestlikkuse võti

Riigikontrolli hiljutine audit kutsehariduses õppivate haridusliku erivajadusega (HEV) noorte toetamisest toob päevavalgele olulise süsteemse kitsaskoha:…

2 minutit

Koolitus ees, õnnetus taga

Olgu see uute tehnoloogiate juurutamine, kogukondade lõimimine, tervislike eluviiside kujundamine või mis iganes ühiskondlike probleemidega tegelemine, lahendust nähakse kooli õppekavade täiendamises…

10 minutit

TI kasutamise paradoks

Kuna ChatGPT-l pole üldist universaalset ja kõigile ühtmoodi nähtavat väljundit, on raske avalikult hinnata, mida ta meie õpilastele pähe hakkab ajama. Kuidas…

6 minutit
Õpetajate Leht