Eesti teadlased on loonud tehisaru baromeetri, kus igaüks saab võrrelda keelemudelite vastuseid ja hinnata mudelite eesti keele oskust. Kõik on oodatud baromeetrit katsetama aadressil baromeeter.ai. Teadlaste soov on koguda juuni lõpuks vähemalt 50 000 võrdlust.

Praegused tekstirobotid töötavad kõige paremini inglise keeles. Keelemudelite eesti keele oskust ja teadmisi eesti kultuuri kohta on keeruline hinnata. Üks võimalus seda teha ongi lasta just kasutajatel endal kahe mudeli vastuseid omavahel võrrelda. Tehisaru baromeetris saab teiste hulgas võrrelda GPT, Gemini, Claude’i, Llama ja Mistrali keelemudelite versioone. Baromeetrit võivad kasutada kõik, kes huvituvad tehisaru arengust ja eesti keele käekäigust.

Tartu Ülikooli arvutiteaduse instituudi keeletehnoloogia kaasprofessori Kairit Sirtsu sõnul aitab baromeeter suurendada teadlikkust keelemudelite kvaliteedi erinevusest ja julgustab kasutama tekstiroboteid meie emakeeles. „Veebilehel saab sisestada viiba, millele vastavad kaks anonüümset keelemudelit. Kasutajal on võimalik valida parem vastus, misjärel näeb ka mudelite nimesid. Hinnangute põhjal kujuneb ühise töö tulemusena pidevalt uuenev edetabel,“ rääkis Sirts. Ta lisas, et võrdluses olevate keelemudelite valikut täiendatakse pidevalt. See annab võimaluse jälgida, kuidas uued mudelid võrreldes vanematega eesti keeles hakkama saavad.

„Parimaks tulemuseks vajavad teadlased võimalikult palju ja mitmekesist sisendit,“ rääkis Tallinna Ülikooli tehisaru ja digihumanitaaria külalislektor Krister Kruusmaa. Tema sõnul on tehisaru baromeetri kasutajatel küsimuste valikul täiesti vabad käed. „Küsimuste esitamisel saab olla loominguline. Kui kohe häid ideid ei tule, võib alustuseks küsida abi millegi praktilisega või siis hoopis uurida midagi enda kodukandi kohta,“ soovitas Kruusmaa. Inimeste esitatud küsimusi saavad teadlased hiljem kasutada andmestiku loomiseks, et parandada ka vabavaraliste keelemudelite eesti keele oskust. Baromeetri kasutamise teeb lõbusaks see, et tihti kipuvad nõrgemate mudelite vastused olema üksjagu koomilised. „Kutsume üles naljakaid ja huvitavaid vastuseid ka teistega jagama!“ ütles Kruusmaa.

Tehisaru baromeetri on välja töötanud Tartu Ülikooli arvutiteaduse instituudi kaasprofessor Kairit Sirts, nooremteadurid Hele-Andra Kuulmets ja Aleksei Dorkin ning Tallinna Ülikooli külalislektor Krister Kuusmaa. Baromeeter on loodud projekti „Eesti keele toetus suurtes generatiivsetes vabavaralistes keelemudelites“ raames, milles löövad kaasa Tartu Ülikool, Tallinna Tehnikaülikool, Tallinna Ülikool ja Eesti Keele Instituut. Projekti rahastatakse riiklikust programmist „Eesti keeletehnoloogia 2018–2027“.