A ChatGPT-hez hasonló nyelvi modellek több cikket hoznak, főleg a nem angol anyanyelvű kutatóknál. De sok AI-írt cikk kisebb eséllyel jut át a lektoráláson.
Ahogy a tudósok egyre inkább a mesterséges intelligenciára támaszkodnak az írásban, a kódolásban és még az ötletelésben is, egy új tanulmány azt vizsgálja, miként alakítja át az MI az akadémiai kutatást.
Ami korábban akadémiai pletykának tűnt, ma már a tudományos publikálásban bekövetkező valós, mérhető elmozdulást tükrözi.
Az Egyesült Államokbeli Cornell Egyetem kutatói azt találták, hogy a nagy nyelvi modellek (LLM-ek), például a ChatGPT, növelik a tanulmányok számát, különösen azoknál a kutatóknál, akiknek az angol nem az anyanyelvük.
A tanulmány ugyanakkor arra figyelmeztet, hogy az MI-vel segített cikkek növekvő tömege megnehezíti a bírálók, a finanszírozók és a döntéshozók számára, hogy a valóban érdemi tudományos hozzájárulásokat megkülönböztessék az alacsony minőségű munkáktól.
„Nagyon elterjedt jelenségről van szó, a tudomány különböző területein, a fizikai és számítástechnikai tudományoktól a biológiai és társadalomtudományokig”, mondta Yian Yin, a tanulmány levelező szerzője, a Cornell Egyetem Ann S. Bowers Számítástechnikai és Információtudományi Karának információtudományi adjunktusa.
„Jelentős elmozdulás zajlik a jelenlegi ökoszisztémánkban, ami nagyon komoly odafigyelést érdemel, különösen azok részéről, akik döntenek arról, milyen tudományt támogassunk és finanszírozzunk”, tette hozzá Yin.
Hogyan vizsgálták a kutatók az MI-vel segített cikkek megjelenését?
A Science folyóiratban megjelent tanulmány több mint kétmillió, 2018 és 2024 között három nagy online preprint-szerverre feltöltött kutatási cikket elemzett.
Ezek a platformok a tudományos cikkek korai változatait teszik közzé a formális lektorálás előtt, így valós időben adnak képet arról, hogyan dolgoznak a kutatók.
Hogy felmérjék az MI hatását a tudományos írásra, a kutatók egy MI-rendszert tanítottak be az LLM-ek által valószínűleg előállított szövegek felismerésére. Összevetették a 2023 előtti, az olyan eszközök, mint a ChatGPT, széles körű elterjedése előtti cikkeket a későbbi, az MI-segítség egyértelmű jeleit mutató tanulmányokkal.
Ezzel a módszerrel azonosították azokat a kutatókat, akik nagy valószínűséggel MI-eszközöket használnak, megmérték, hogyan változott a publikációs teljesítményük, és nyomon követték, hogy a cikkeket később elfogadták-e tudományos folyóiratok.
Az MI-segítség nyomán megugrott a termelékenység
Elemzésük jelentős MI-vezérelt termelékenységi ugrást mutatott.
Azok a kutatók, akik feltehetően MI-eszközöket használtak, jóval több cikket tettek közzé, mint akik nem.
Egy, a fizika és a számítástudomány területére fókuszáló nagy preprint-szerveren az MI-t használók mintegy egyharmaddal több tanulmányt készítettek. A biológiában és a társadalomtudományokban a növekedés még nagyobb, több mint 50 százalék volt.
A legnagyobb nyereséget azoknál a kutatóknál látták, akiknek nem az angol az anyanyelvük.
Egyes ázsiai intézményekben a kutatók a szakterülettől függően 40 és csaknem 90 százalékkal több cikket publikáltak az MI-alapú íróeszközök bevezetése után.
Úgy tűnik, az MI-eszközök a hivatkozások minőségét is javítják. A tanulmány szerint az MI-alapú keresőeszközök nagyobb eséllyel hoznak fel újabb kutatási cikkeket és releváns könyveket, nem pedig a hagyományos keresési módszerek által előnyben részesített régebbi, gyakran idézett munkákat.
„Az LLM-eket használók sokszínűbb tudáshoz kapcsolódnak, ami kreatívabb ötleteket hozhat”, mondta Keigo Kusumegi, a tanulmány első szerzője, a Cornell Egyetem Információtudományi Tanszékének doktori hallgatója.
Az MI által írt cikkek minőségével kapcsolatos aggályok
A termelékenységi ugrásnak azonban ára van. Sok, MI által írt cikk a felszínen meggyőzőnek tűnt, mégis kisebb eséllyel ment át a lektoráláson.
Mindhárom preprint-oldalon azok a cikkek jutottak legnagyobb eséllyel folyóiratba, amelyekről valószínű, hogy emberek írták, és magas pontszámot értek el az írásbeli komplexitást mérő teszten.
A magas pontszámú, ám feltehetően LLM-ek által írt cikkek elfogadási esélye viszont alacsonyabb volt, ami arra utal, hogy a meggyőző nyelvezet ellenére a bírálók sok ilyen munkát csekély tudományos értékűnek ítéltek.
A tanulmány készítői úgy vélik, az MI-re való növekvő támaszkodás hatása várhatóan tovább szélesedik, és a döntéshozóknak új szabályokat kell alkotniuk a gyorsan változó technológiai környezet szabályozására.
„Már most nem az a kérdés, hogy használt-e valaki MI-t. A kérdés az, hogy pontosan hogyan használta, és hasznos volt-e vagy sem”, mondta Yin.