Može li AI pouzdano oceniti kritičko mišljenje? Novo istraživanje otkriva ograničenja

Istraživanje programa AugmentED (deo Advanced Education Research and Development Fund, AERDF) ukazuje da veštačka inteligencija može pouzdano analizirati neke pod-veštine kritičkog mišljenja, ali ne i sve. Studija je testirala kako modeli ocenjuju argumentativne eseje učenika od 6. do 12. razreda i identifikovala značajna ograničenja i rizike primene u učionici.

Metodologija i okvir procene

Tim je koristio rubriku razvijenu od strane ETS i Carnegie Foundation koja razlaže šest pod-veština kritičkog mišljenja. Modele su trenirali na primerima ljudskog ocenjivanja, primenili fino podešavanje i dodatne upite (prompting) kako bi pokušali da poboljšaju tačnost automatizovanih ocena.

Glavni nalazi

Ni jedna od šest proverenih pod-veština nije postigla tačnost veću od 78% u odnosu na ljudske ocene. AI je najbolje rangirao:

• sintezu informacija iz više izvora, i
• procenu snage dokaza.

Slabije performanse zabeležene su kod:

• upotrebe kontrargumenata,
• razlikovanja činjenica i mišljenja,
• izvođenja zaključaka, i
• prepoznavanja logičkih grešaka.

Poruke istraživača i praktična upozorenja

Sherry Lachman, osnivačica i izvršna direktorka AugmentED-a, ističe da sistem "još nije spreman za široku primenu" u proceni svih pod-veština kritičkog mišljenja i da je potrebno dodatno istraživanje pre nego što se takvi alati integrišu u obrazovne procese.

Autori upozoravaju i na potencijalne pristrasnosti: čak i ako model radi dobro 80% vremena, šta je sa preostalih 20% — naročito za grupe učenika koje su slabije zastupljene u podacima za treniranje (npr. učenici iz niskoprivilegovanih sredina ili manjinske grupe)?

Mills: "Ne izbacujte čoveka iz procesa. Neuspeh i povratna informacija su deo učenja; ne želimo da uklonimo to trenje koje priprema učenike za realni svet."

Preporuke za nastavnike i škole

• Koristiti AI selektivno i u ulozi pomoćnog alata, ne zamene za nastavu i ocenjivanje.
• Održavati čoveka u petlji (human-in-the-loop) kod subjektivnih ili trajnih veština.
• Raditi na transparentnosti metoda i redovnoj validaciji modela na lokalnim grupama učenika.
• Pratiti i istraživati potencijalne pristrasnosti koje mogu štetiti marginalizovanim učenicima.

Zaključak: AI pokazuje obećanje u analizi određenih elemenata kritičkog mišljenja, ali pre Integracije u škole potrebna su dodatna istraživanja, validacija i pažljivo dizajnirane pedagoške smernice.

Priča je prvobitno objavljena na K-12 Dive.