
PEKIN, 22 listopada (Xinhua) — Po pięciu rundach poprawek praca dyplomowa jednego ze studentów nadal była oznaczana przez detektor sztucznej inteligencji (AI) jako w 30 procentach wygenerowana przez AI. Takie wyniki stały się źródłem niepokoju dla wielu absolwentów uczelni w Chinach.
Wraz z upowszechnieniem się narzędzi do wykrywania AI w procedurach sprawdzania prac dyplomowych część uczelni wprowadziła „wskaźnik AI” jako formalny wymóg obok tradycyjnych kontroli antyplagiatowych. Praca, która przejdzie test antyplagiatowy, wciąż może zostać niedopuszczona do obrony, jeśli jej wskaźnik AI przekroczy dopuszczalny próg.
Wiarygodność tej technologii budzi jednak coraz większe wątpliwości. Niektóre platformy detekcyjne oznaczyły fragmenty klasycznych dzieł literatury chińskiej — w tym utwór „Światło księżyca nad stawem lotosowym” Zhu Ziqinga oraz pisma Lu Xuna — jako w ponad 80 procentach wygenerowane przez AI.
Przypadki te obnażają problem, przed którym stoją uczelnie próbujące uregulować korzystanie z generatywnej AI: pojedynczy odsetek niewiele mówi o tym, ile rzeczywistej pracy intelektualnej wykonał student. Czterech naukowców zajmujących się prawem, komunikacją i edukacją powiedziało w rozmowie z Xinhua, że wskaźnik AI nie powinien pełnić roli rozstrzygającego kryterium.
DLACZEGO DETEKTORY SĄ NIESPÓJNE
Komercyjne detektory AI wykorzystują sztuczną inteligencję do rozpoznawania tekstów wygenerowanych przez AI — wyjaśniła Zhang Linghan, kierowniczka Instytutu Prawa AI na Chińskim Uniwersytecie Nauk Politycznych i Prawa. Analizują one cechy statystyczne, takie jak perpleksja i zmienność struktury zdań, wychodząc z założenia, że tekst maszynowy jest wyjątkowo płynny i ustandaryzowany, podczas gdy ludzkie pisanie ma zmienny rytm. Ze względu na probabilistyczny charakter tej metody żadne narzędzie nie jest w pełni dokładne, a sam wynik procentowy „nie może stanowić wiarygodnego dowodu nierzetelności akademickiej” — podkreśliła.
Wang Feng, dziekan Wydziału Komunikacji na Wschodniochińskim Uniwersytecie Pedagogicznym, zaznaczył, że wykrywanie AI różni się fundamentalnie od systemów antyplagiatowych. Systemy antyplagiatowe porównują prace z istniejącymi tekstami i wskazują konkretne źródła zapożyczeń. Detektory AI opierają się natomiast na regułach algorytmicznych, a nie na możliwych do zweryfikowania tekstach źródłowych. Wyniki mogą różnić się między platformami korzystającymi z odmiennych danych i algorytmów, a nawet wtedy, gdy ta sama praca zostanie przesłana do tej samej platformy w różnym czasie — powiedział.
Klasyczne dzieła mogą być oznaczane jako napisane przez maszynę, ponieważ konwencje stylistyczne traktowane przez detektory jako wyznaczniki AI wywodzą się w dużej mierze właśnie z literatury klasycznej — dodał Wang.
Xiong Bingqi, dyrektor Instytutu Badań nad Edukacją XXI Wieku w Shenzhen w południowych Chinach, zwrócił uwagę, że kontrole antyplagiatowe wprowadzone w Chinach ponad 20 lat temu nigdy w pełni nie rozwiązały kwestii oryginalności: studenci mogli je omijać, przeredagowując lub przestawiając zapożyczone fragmenty. Podobnie detektory AI nie są w stanie rozstrzygnąć, czy praca jest oryginalna i nowatorska — ocenił.
GDZIE PRZEBIEGA GRANICA
Ograniczenia detekcji mają istotne znaczenie, ponieważ studenci mogą korzystać z AI do wyszukiwania literatury naukowej, szlifowania języka, przygotowania planu lub wygenerowania całej pracy — a to działania o zupełnie różnych konsekwencjach akademickich, których obecne narzędzia detekcyjne nie potrafią rozróżnić.
Zdaniem Zhang kluczowe jest pytanie, czy własny wkład studenta pozostaje „istotny i dominujący”. Wykorzystanie AI do przeglądu literatury, korekty językowej czy formatowania co do zasady nie powinno być traktowane jako naruszenie zasad i może nie wymagać ujawnienia lub jedynie krótkiej wzmianki — powiedziała. Wygenerowane przez AI konspekty są również na ogół akceptowalne, pod warunkiem że student zweryfikuje je pod kątem błędów rzeczowych. Jeśli jednak AI współtworzy główne tezy pracy lub bezpośrednio generuje tekst wykorzystany w jej zasadniczej części, takie użycie musi zostać ujawnione — zaznaczyła.

Wang, którego uczelnia jako jedna z pierwszych w Chinach wydała wytyczne dotyczące korzystania przez studentów z AI, powiedział, że Wschodniochiński Uniwersytet Pedagogiczny początkowo ustalił 20-procentowy limit dla treści generowanych bezpośrednio. Limit ten dotyczył jednak wyłącznie tekstu użytego bez późniejszych zmian, natomiast fragmenty poprawione przez studentów i dostosowane do ich badań nie powinny być zaliczane jako wygenerowane bezpośrednio. Przestrzegł również przed ocenianiem prac na podstawie tzw. „wrażenia AI”: język naukowy bywa schematyczny, a wartość akademicka powinna opierać się na oryginalności, nie na stylu prozy.
Chu Zhaohui, pracownik naukowy Chińskiej Narodowej Akademii Nauk o Edukacji, podkreślił, że AI nie zastąpi oryginalnych badań opartych na realnych uwarunkowaniach, eksperymentach i danych. Przytoczył dwa przypadki fabrykowania materiałów przez AI: wygenerowane przez maszynę zdanie krążące w sieci pod jego nazwiskiem oraz pracę studencką powołującą się na nieistniejący artykuł przypisany właśnie jemu — wraz z tytułem, nazwą czasopisma i numerami stron.
Mimo tych ograniczeń wiele chińskich uczelni przyjęło procentowe limity „wskaźnika AI”, ponieważ są stosunkowo łatwe do egzekwowania i mogą działać odstraszająco — wskazała Zhang. Ostrzegła jednak, że progi te nie mają solidnego oparcia naukowego, grożą karaniem za uprawnione korzystanie z AI i napędzają szarą strefę usług obiecujących obniżenie wyników detekcji AI.
Sztywne reguły punktowe mogą także popychać studentów do bezsensownego przerabiania tekstu wyłącznie po to, by obniżyć wynik detektora — dodała Zhang. Lepszym rozwiązaniem byłoby dopuszczenie użycia AI przy przejrzystym jego ujawnianiu, wzmocnienie oceny całego procesu badawczego i nadzoru promotorów oraz stopniowe odchodzenie od polegania na pojedynczej mierze ilościowej.
CO POWINNA MIERZYĆ PRACA DYPLOMOWA
Debata nad wykrywaniem AI prowadzi ostatecznie do bardziej fundamentalnego pytania: co właściwie powinna wykazywać praca dyplomowa?
Dla Chu sednem problemu nie jest AI, lecz sam system oceniania. Dobra praca powinna podejmować zagadnienia niezbadane dotąd przez innych lub przynosić wnioski poszerzające istniejącą wiedzę — powiedział. Prace oparte na powtórzeniach, stosach przypisów czy powierzchownych formalnościach miały niewielką wartość już przed erą AI, a nowa technologia jedynie uwypukliła ich słabości. Uczelnie powinny jego zdaniem przywiązywać większą wagę do oceny procesu badawczego, jednocześnie oceniając końcowe dzieło pod kątem merytorycznym i standardów środowiska naukowego.
Zhang opowiedziała się za połączeniem regulacji instytucjonalnych z osądem człowieka. Uczelnie powinny oceniać studentów w trakcie całego procesu badawczego — od wyboru tematu i koncepcji badań, przez badania terenowe i pisanie, aż po końcową obronę — powiedziała. Merytoryczna ocena oryginalności, rzetelności i wartości badawczej pracy powinna pozostać w rękach promotorów i recenzentów, przy zapewnieniu procedury odwoławczej w sprawach spornych.
Xiong zauważył, że ściślejsza opieka naukowa również zmniejszyłaby zależność od narzędzi detekcyjnych. Promotorzy towarzyszący studentom od wyboru tematu po badania i pisanie potrafią wychwycić wiele problemów jeszcze przed ukończeniem pracy.
Wang podkreślił z kolei rolę wykładowców w przeprowadzeniu tej zmiany. Zamiast po prostu zakazywać studentom korzystania z AI, uczelnie powinny więcej inwestować w podnoszenie kompetencji wykładowców w zakresie AI oraz badać, jak włączać tę technologię do dydaktyki i badań. Nauczyciele akademiccy powinni pomagać studentom poznawać właściwe zastosowania AI, prowadzić ich w jej używaniu i sprawować nadzór merytoryczny — ocenił.
Poglądy wszystkich czterech naukowców prowadzą do jednego wniosku: rzetelności akademickiej nie da się sprowadzić do pojedynczej liczby. Pracę dyplomową należy oceniać nie po tym, czy student zmieścił się poniżej progu wskaźnika AI, lecz po tym, czy potrafi stawiać istotne pytania, badać je poprzez autentyczną pracę badawczą i dochodzić do samodzielnych wniosków.
Źródło: Xinhua
