Umetna inteligenca v akademskem okolju: orodja za zaznavo UI nezanesljiva, meje nejasne

Vir: @jcomp na Freepik.

Sporna uporaba vse mogočnejših orodij z umetno inteligenco (UI) se širi – nazadnje je doletela tudi znanstveno skupnost. V svetu tehnologije se tako bije bitka med razvojem orodij z UI in orodij, ki lahko zaznajo ali preprečijo zlorabo teh.

Več o tem smo pisali v članku: Iz znanstvenih člankov pozabili izbrisati sledove ChatGPT

Poleg težav z UI je akademska skupnost na udaru z vidika plagiatorstva kot takega, zlasti univerza Harvard, na kateri je z mesta predsednice zaradi obtožb plagiatorstva in antisemitizma nedavno odstopila Claudine Gay. Tem obtožbam so sledili še drugi primeri Harvardovih raziskovalcev.

Tehnološko podjetje Turnitin, čigar programe številne univerze uporabljajo za preverjanje avtorstva v študentskih delih, je v luči vzpona LLM ponudilo tudi možnost zaznave UI.

Vse pogosteje se znajdem v položaju, ko sem ujet med programske izdelke in ljudi: med študenti in ChatGPT na eni strani, predavatelji in detektorji umetne inteligence na drugi.

Emily Isaacs, direktorica pisarne Državne univerze v Montclairu za odličnost, je lanskega novembra akademike pozvala proti uporabi detektorjev UI. Podobno so se odločili na več ameriških univerzah. »20 let nazaj si držal v rokah študentovo besedilo in si rekel 'vem, da to ni njegovo' – nisi ga mogel najti [na spletu], vendar si v srcu vedel, da ni njegovo,« se je spominjala Isaacsova, ki je za Insider Higher Education je pojasnila, da težava tiči v možnosti napačnih obtožb nedolžnih študentov, da so si v besedilu pomagali s ChatGPT ali podobnim orodjem.  

Turnitinova glavna produktna vodja Annie Chechitelli je prav tako poudarila pomembnost odnosov med študenti in pedagogi, saj da zanašanje na orodja ni zadostno, pač pa so orodja »le manjši del sestavljanke«. Izpostavila je, da je bilo njihovo vodilo od nekdaj, da boljšega nadomestila za poznavanje študentovega sloga pisanja in ozadja ni.

Nova raziskava je ugotovila, da se ChatGPT-ja poslužujejo predvsem študenti, ki poročajo o večjih akademskih obremenitvah in časovni stiski. Poleg tega naj bi imela prekomerna uporaba orodja negativne učinke na osebni in akademski uspeh študentov: tisti, ki so ChatGPT uporabljali pogosteje, so poročali o slabšanju spomina ter slabšem študijskem uspehu.

V Turnitinu so sicer zatrdili, da je napačnih pozitivnih rezultatov približno 1 % ter da lahko orodje prav zato, ker jih poskušajo preprečiti, zgreši približno 15 % z UI ustvarjenega besedila v dokumentu. Po drugi strani pa se je več študentov še nedavno pritoževalo prav o nasprotnem. Decembra lani je študentka na spletu delila zgodbo o tem, kako je bilo njeno delo zaradi uporabe orodja za preverjanje črkovanja Grammarly napačno prepoznano za ustvarjeno z UI.

»Vse pogosteje se znajdem v položaju, ko sem ujet med programske izdelke in ljudi: študenti in ChatGPT na eni strani, predavatelji in detektorji umetne inteligence na drugi. Pravila zahtevajo, da eseje z visokim rezultatom na detektorjih UI prijavim zaradi akademske kršitve, kar lahko vodi do strmih kazni, vključno z izključitvijo,« je v kolumni za The Guardian lani zapisal Robert Topinka, predavatelj študijev medijev in kulture na Birkbecku, Univerzi v Londonu.

Profesor se je znašel v dilemi, ko je tak rezultat doletel njegovega odličnega študenta, ki je pisal dobre eseje tudi pred nastopom ChatGPT. Študent je obtožbe izpodbijal in trdil, da gre za napako.

Orodja zaenkrat nezanesljiva in meje dovoljenega nejasne

V Nature so že lani zapisali, da poteka bitka med razvojem UI in razvojem orodij za njihovo zaznavo. Na težave orodij so opozorili številni raziskovalci, med njimi tudi mednarodna skupina akademikov, ki je lanski julij ducat orodij za zaznavo umetne inteligence označila za »niti natančna niti zanesljiva« – vključno s Turnitinovim.

Skupina študentov Univerze v Marylandu je v istem mesecu ugotovila, da lahko orodja bodisi napačno označijo delo kot ustvarjeno z UI bodisi popolnoma zgrešijo parafrazirano besedilo, ki ga je generirala UI. Zaključili so, da orodja »niso uporabna v praktičnih situacijah«.

Novembra lani pa sta profesorja avstralske Univerze Adelaide za Times Higher Education z orodji izvedla eksperimente in ugotovila, da, čeprav so se nekatera odrezala znatno bolje od drugih, ne smemo predvidevati, da ne bodo nekateri študenti sposobni prelisičiti vseh, ne glede na njihovo prefinjenost.

Dodatno se zapleta zaradi vse pogostejše uporabe različnih orodij za preverjanje črkovanja. Elizabeth Steere, predavateljica angleščine na Univerzi v Severni Georgii, ki uporablja Turnitinov detektor UI, je za Insider dejala, da študentje pogosto ne vedo, da tudi orodje za parafraziranje uporablja UI: »Meje so zdaj precej bolj zamegljene; resnično sočustvujem s študenti, ker mi tega nismo imeli, ko smo bili v šoli.« Takšne trenutke uporabi za demonstracijo različnih stopenj plagiatorstva.

Naroči se Doniraj Vse novice Za naročnike