A jelenleg legismertebb AI modellek teljesítményét tesztelték, hogy valós környezetben milyen eredményeket érnek el szövegértési, matematikai és egyéb tudományterületeken. A Peak alapítója elmondta, hogy a kutatás során a nagy nyelvi modelleknek a magyarországi kompetenciamérések során a 6. 8. és 10. osztályos diákok által kitöltött 70 szövegértési és 70 matematikai feladatot kellett megoldaniuk.

Suppan Márton arról is beszélt, hogy az eredmények szemléletesen igazolták azt a hipotézisünket, hogy az AI-modellekről publikált laboratóriumi benchmark-tesztek gyakran túlzottan optimista képet festenek a modellek képességeiről. Érczfalvi András interjúja.