Teste pentru inteligența artificială

În limbaj popular, domeniul inteligenței artificiale a ajuns să fie restrâns aproape complet la modele lingvistice mari (LLM în limba engleză, de la „Large Language Models”, dar pe care eu le voi abrevia prin MLM, rămânând loial limbii române). Și nu degeaba: aceste modele generative „au furat prim-planul” în ultimii doi-trei ani, devenind apte să poarte discuții coerente în orice limbă, să facă dovada unor cunoștințe vaste și profunde pe orice subiect, să genereze imagini după nișe indicații text, să producă eseuri în stilul unor scriitori celebri, să scrie cod informatic șamd. Dar sunt ele oare cu adevărat capabile de inteligență? Și cum putem testa nivelul inteligenței (fie și artificiale) de care dispun?

Desigur, o primă idee ar fi să le supunem unui test de inteligență clasic, sau test al coeficientului de inteligență. Și mă gândesc să fac și asta pe viitor. Dar cei care cunosc arhitectura acestor MLM-uri știu că în realitate ele nu înțeleg, așa cum înțelegem noi semantic cuvintele și lumea înconjurătoare, ci doar mimează înțelegerea, pe baza unor corelații lingvistice construite după ingestia a milioane de texte scrise de oameni. Așa că răspunsurile lor nu sunt rodul unei gândiri cauzale, ci efectul unor predicții statistice. Ca atare, mi-am propus de asemenea să creez câteva seturi de teste adaptate specificului acestor modele, teste care să conțină întrebări și exerciții pentru a căror rezolvare să nu fie suficientă utilizarea corelațiilor. Altfel spus, teste care să scoată în evidență diferența dintre un răspuns bazat pe logică solidă și o simplă repetiție papagalicească.

Desigur că astfel de teste există deja, dar vreau să compun și eu câteva. Am scris despre intenția asta cu câteva luni în urmă, într-un articol de pe O Poziție, intitulat Întrebări pentru un MLM. Dar de atunci, an progresat lent și cu pași mărunți. Pe de o parte, testele standard de performanță (benchmarks în limba engleză) deja existente sunt destul de greu accesibile și în cea mai mare parte private. Pe de altă parte, nu mi-am alocat foarte mult timp pentru proiectul ăsta. Dar a rămas o preocupare de fundal. Din când în când îmi vine câte o idee și o trec pe foaia virtuală, pentru a o investiga ulterior și, eventual, pentru a o integra într-un astfel de test. Așadar, avansez lent, dar avansez.

Așa că, dacă aveți vreo idee de întrebare capcană, fie de inteligență, fie de matematică, fie de logică sau atenție, fie de verificare a cunoștințelor dintr-un anumit domeniu, fie de separarea unor informații reale și obiective de un mit popular, reiterez faptul că puteți să mi-o transmiteți în privat, în comentariile articolului de pe O Poziție sau chiar la subsolul acestui articol. Nu promit că o s-o includ într-un eventual test viitor, dar promit că o s-o iau în considerare. Iar pentru asta, vă mulțumesc în avans.