CENTRI I ODELJENJA
Novi materijali i nanotehnologije
Poluprovodnici i senzori
Robotika, mehatronika
Metalne konstrukcije u građevinarstvu

ENGLISH

Digital repository of ITS SASA

NOVOSTI
19. avgust 2009.

 

Gaj Guljota (Guy Gugliotta)


Indeks genijalnosti
Borba jednog naučnika da redefiniše merila ugleda

 

Prevod teksta: Guy Gugliotta, “The Genius Index: One Scientist's Crusade to Rewrite Reputation Rules”, WIRED MAGAZINE: 17.06.
http://www.wired.com/culture/geekipedia/magazine/17-06/mf_impactfactor?currentPage=all

Horhea Hirša (Jorge Hirsch) su zavitlavali. Godinama. Na jednoj naučnoj konferenciji održanoj 1989. predstavio je rad u kojem je izneo mišljenje da je opšteprihvaćena teorija o niskotemperaturnim superprovodnicima – tzv. BCS teorija – pogrešna. Istraživači su u to vreme uglavnom smatrali da pod određenim uslovima niske temperature, vibracije unutar kristalne rešetke metala dovode do privlačenja između elektrona, čime se električni otpor obara na nulu – tj. postiže se stanje superprovodljivosti. Hirš je tvrdio da ova „interakcija između elektrona i fonona“ u stvari nema nikakve veze sa superprovodljivošću. Bio je prilično mlad, jedan od onih čije vreme tek dolazi, ali u fizici se otpadništvo teško prašta. Nakon tog sudbonosnog izlaganja prestali su da ga pozivaju na takve konferencije. Kolege ga više nisu zvale da sarađuje s njima. Donacije su presušile. Renomirani časopisi su počeli da odbijaju njegove radove.

Ne radi se o tome da Hirš nije mogao da objavljuje radove. Objavljivao je. Fizičari su ga citirali, implicirajući da donekle prihvataju njegove zaključke. Hirš samo nije mogao da objavljuje u najuglednijim časopisima kao što su Science, Nature i, u oblasti fizike čvrstog stanja, Physical Review Letters. Postoji vrlo jasna hijerarhija časopisa, definisana i utvrđena u okviru nekoliko odvojenih sistema vrednovanja. Vodeću ulogu među njima ima Journal Impact Factor (Faktor uticaja časopisa).

Hirš je, baš kao i njegovi recenzenti, znao da ukoliko želi da izbije u prve redove naučne discipline kojom se bavi mora da objavljuje radove u časopisima sa većim faktorom uticaja. Ali on je to doživljavao kao nepravdu. Kao i većina fizičara, vrlo je bistar i toga se ne stidi. Sistem koji ga namerno isključuje ne valja – zaključio je Hirš. Sistem vrednovanja ne treba da polazi od činjenice gde se članci objavljuju već da se bavi radom jednog naučnika. Tako je 2003. godine Hirš odlučio da njemu – i, naravno, nauci – treba sistem koji će istraživače ocenjivati direktno.

Nakon dve godine mukotrpnog računanja u zakrčenoj kancelariji na Univerzitetu u Kaliforniji u San Dijegu, Hirš je uspeo da dodje do izuma dostojnog objavljivanja u (veoma prestižnom) zborniku Proceedings of the National Academy of Sciences. U članku objavljenom 2005. godine Hirš je uveo h-indeks (koji je, naravno, ime dobio po njemu). Ključ je bio u usmeravanju pažnje ka tome koliko su puta drugi istraživači citirali rad nekog naučnika, a ne ka tome gde on objavljuje. U praksi to izgleda ovako: sastavi se spisak svih objavljenih radova, koji se rangiraju u zavisnosti od toga koliko puta su citirani. Recimo da je prvi rad na listi citiran 10.000 puta, a drugi 8.000. Rad pod brojem 32 ima 33 citata, dok onaj pod brojem 33 ima, međutim, samo 28. Naučnik je objavio 32 rada sa više od 32 citata – dakle, negov h-indeks je 32.

Da se tehnički izrazimo, h-indeks je broj n radova jednog istraživača citiran u drugim radovima bar n puta. Veliki broj = značajna nauka = značajan naučnik.

Tokom nešto manje od četiri godine postojanja, relativno jednostavan, fleksibilan h-indeks postao je glavna tema među kriterijumima u uzavreloj nauci koja se bavi vrednovanjem istraživačkog rada, disciplini koja je doživela procvat kakav Hirš nije mogao ni da sanja. H-indeks je bio najupečatlivija novina u poplavi sistema vrednovanja koji se mogu naći na internetu – hronometriji rasta i raspada, merama semiometrije, ili tzv. hub/authority* merenja. Škole i laboratorije koriste ove sisteme vrednovanja kako bi lakše došle do donacija, dodelile mesto predavača, podelile nagrade i zaposlile postdoktorande. Slični statistički pristupi postali su standardna praksa prilikom izrade algoritama za pretraživanje interneta, a često se sreću i na društvenim mrežama na internetu. Ove brojke su za naučnike ono što je U.S. News & World Report bio za koledže,a „sabermetrija“ (sabermetrics) Bila Džemsa za bejzbol. Svi ovi sistemi bave se kvantifikacijom ugleda.

Ili se bar trude. U svakom slučaju, brojke su surovo precizne, a naučnici vole taj osećaj reda. „Ja sam fizičar“, kaže Hirš. „Ima ljudi koji veliki značaj pridaju subjektivnim kriterijumima, ali meni se se to uopšte ne dopada.“

Revolucija citiranosti naučnih radova počela je pre više od pedeset godina. Judžin Garfild (Eugene Garfiled), u to vreme mladi bibliotekar koji je radio na doktoratu iz strukturalne lingvistike, zamislio se nad najjednostavnijim bibliografskim alatom – fusnotom. Ljudi fusnote obično smatraju sredstvom da se putujući u prošlost dopre do izvora nekog dokumenta. Garfild je, međutim, smatrao da se tim putem stiže i u budućnost – u nekim budućim fusnotama citiraće se izvorni rad. „Citiranost postaje tema za proučavanje“, kaže Garfild, koji sada ima 83 godine i važi za osnivača moderne analize citiranosti. „To je bio vrlo radikalan pristup u pretraživanju informacija“.

Oko tri decenije pre no što će pojmovi kao što su hiperlink i World Wide Web bilo kome pasti na pamet, Garfild je već razvio sistem koji će umrežiti ogromnu masu naučnih saznanja. Početkom šezdesetih počeo je da objavljuje Science Citation Index. Prvo izdanje, pet mračnih tomova u tvrdom povezu, Garfild je prodao akademskim bibliotekama za 500 dolara.

Dok je indeks rastao, Garfild je sa velikim žarom pokušavao da ustanovi princip po kojem će odabirati i upoređivati časopise obuhvaćene indeksom. Odgovor je našao u jednostavnoj jednačini: ukupan broj citata koje radovi iz nekog časopisa dobiju tokom prethodne dve godine treba podeliti brojem članaka koji su tokom tog perioda u njemu objavljeni. Nazvao ju je faktorom uticajnosti časopisa (Journal Impact Factor ), a 1975. godine je odlučio da objavi kako ona funkcioniše. Činilo se da samo bibliotekari pokazuju neko interesovanje. „Bilo je jasno da većina nema nikakvu predstavu o čemu govorim“, kaže Garfild.

Ipak, bio je to lep poslić, a 1992. godine Garfild ga je prodao firmi koja se danas zove Tomson Rojters (Thomson Reuters). To, međutim, nije mnogo uticalo na njegovu popularnost, sve dok pet godina kasnije ova kompanija nije celu bazu postavila na internet. Faktor uticaja časopisa danas je deo baze ISI Web of Knowledge, a zahvaljujući činjenici da je dostupan online naučnici lako mogu da se upoznaju sa radom svojih kolega, odnosno da vide da li objavljuju u dobrim časopisima. Nauka je tako dobila semafor.

Web of Knowledge danas sadrži 700 miliona citiranih referenci iz 23.000 časopisa objavljenih od 1804. godine. Koristi ga 20 miliona naučnika iz skoro 100 zemalja. Bilo ko – naučnik, dekan, direktor laboratorije – sada može da razvrsta zapise u bazi i prorekne nečiju sudbinu. Po oblastima i vremenskom periodu koje pokriva, ova baza nema takmaca. Iako faktor uticaja časopisa ima konkurenciju, on se i dalje smatra zlatnim standardom. „Možda se vama ova baza ne sviđa, ali zamena za nju se još nije našla“, kaže Garfild.

Da kažemo još da čak i Journal Impact Factor  (JIF) ima određene mane. Časopisi koji objavljuju pregledne članke, odnosno one koji pokušavaju da daju zaokruženu sliku o tekućim istraživanjima, obično se citiraju znatno češće nego oni koji objavljuju nova otkrića. Bez obzira što se JIF bavi isključivo vrednovanjem časopisa, većina ga ipak koristi i kao referentno merilo za vrednovanje individualnog učinka naučnika.

Što je još gore, sistem dopušta varanje. Poznato je da urednici časopisa podstiču autore da citiraju članke iz njihovog časopisa (što miriše na iznuđivanje – „Ako hoćete da objavljujemo Vaše radove, pomozite da nam faktor uticaja bude veći“). Pored toga, on ide naruku časopisima koji štampaju nekrologe, uvodnike i pisma, zato što su citati koje ovi tekstovi dobiju prilikom računanja faktora uticaja uračunati u brojilac, a da ti tekstovi nisu uključeni u imenilac. Trebalo bi, ipak, da postoji pouzdaniji način vrednovanja.

Čak su i akademski krugovi, koji nisu mnogo skloni promenama, morali da priznaju da je Hirš izmislio drugačiju zamku. „Izgleda da h-indeks može da ukaže na dobre naučnike, pa se neformalno sve češće koristi“, kaže se, čini se pomalo nevoljno, 2007. godine u časopisu Nature. Hiršov indeks otežava varanje. Naučnici bi morali da budu šampioni u sakupljanju autocitata da bi to uticalo na visinu indeksa, a urednici nemaju nikakvog razloga da utiču na ovaj sistem.

S druge strane, sam Hirš priznaje da i h-indeks ima mana. Na primer, naklonjeniji je starijim istraživačima, a ne sjajnim mladim naučnicima. Ako neki naučnik napiše šest radova i potom umre, njegov h-indeks nikada neće moći da bude veći od 6, sve i da je svaki od radova citiran 10.000 puta. Stavljanjem akcenta na pojedinca, on podstiče istraživače da pišu o popularnim temama i pokoravaju se opšteprihvaćenim zaključcima – a to je upravo ono što je Hirš pokušao da izbegne. Osim toga, on ne rešava pitanje podele zasluga kod radova sa više autora. (Nekom komplikovanom računicom naučnici bi mogli da se razvrstaju u zavisnosti od ličnog doprinosa...možda).

I dok problemi vezani za različite sisteme vrednovanja zasnovane na prebrojavanju citata mogu (jel’!) delovati akademski, strategije u skladu sa kojima se oni razvijaju sve više čine stub online domena. Razumevanje i kvantifikacija ugleda predstavljaju najbolji pristup u upravljanju nekontrolisanim naletom informacija na internetu. Iz tog razloga, osnivači Gugla (Google) Lari Pejdž (Larry Page) i Sergej Brin (Sergey Brin) citiraju Judžina Garfilda u svom naučnom radu o PageRank-u, algoritmu na kojem počiva pretraživač njihove kompanije. „Članci koje ovaj članak citira“ i „članci u kojima se citira ovaj članak“ u stvari su linkovi koji od nekog sajta vode prema drugim sajtovima i linkovi koji sa drugih sajtova upućuju na taj sajt. Analiza citiranosti se tako vratila na svoj početak.

Eigenfactor i SCImago se u vrednovanju naučnih časopisa koriste varijacijama PageRank-a, a uvođenjem servisa Google Scholar, pretraživača namenjenog isključivo naučnicima, na raspolaganje se stavljaju novi podaci o citiranosti, mogućnost izračunavanja h-indeksa, kao i novi sistem vrednovanja – tzv. g-indeks, koji veći akcenat stavlja na članke sa većim brojem citata.

Zahvaljujući velikoj raznovrsnosti podataka koji su dostupni na internetu i sve većem značaju online arhiva i publikacija, kao što su ArXiv za fiziku i Public Library of Science za biomedicinske nauke, pojavili su se i novi sistemi merenja: na osnovu toga koliko puta je neko preuzeo rad sa interneta, broja preuzimanja u određenom vremenskom periodu (hronometrija), pa čak i na osnovu nivoa finansiranja i broja doktoranada zaposlenih u jednoj laboratoriji (nebibliometrijski indikatori uspeha). Ovi novi sistemi vrednovanja su toliko moćni da primenu nalaze i van domena vrednovanja postignuća naučnika. U jednom članku koji je skoro objavljen izneseno je mišljenje da se analiza citiranosti može koristiti za predviđanje pravca naučnih inovacija.

Čak ni izuzetno popularna društvena mreža Twitter nije imuna na ovakve stvari. Mikro-blog pokazuje broj korisnika koji prate određenog korisnika servisa, kao i broj korisnika koje on prati. Vidite i sami kuda to vodi: različiti sajtovi prate korišćenje Twittera uračunavajući za potrebe rangiranja korisnika i Twitter „citate“, odnosno preuzimanje sadržaja drugih korisnika i uključivanje istih u sopstveni profil. Što je popularnost neke web aplikacijae veća, to je njenim korisnicima više stalo do rangiranja.

„Faktor uticaja nije ni trebalo da služi za rangiranje naučnika“, kaže Mari Mekvej (Marie McVeigh), viši menadžer bibliografskog odeljenja Tomson Rojtersa. Ona je, naravno, u pravu, ali sada je već kasno da se o tome govori. Čini se da bar h-indeks pokazuje prave brojke. Edvard Viten (Edward Witten), genijalni kosmolog sa Instituta za napredna istraživanja (Institute for Advanced Study) ima h-indeks 120, najveći u oblasti fizike. Pisac „Kratke istorije vremena“, Stiven Hokong (Stephen Hawking) ima 67. A Hirš? On ima 52, što ga, po radu koji je objavio 2005, čini „izuzetnim“, te se „može očekivati da ćemo ga naći samo na nekom od vrhunskih univerziteta ili u nekoj od najznačajnijih laboratorija“. Jasno? Sistem funkcioniše.

Prevod s engleskog: Milica Ševkušić

* Authority – web stranica koja predstavlja verifikovani izvor informacija o određenoj temi; hub (čvorište) – web stranica koja sadrži adrese verifikovanih izvora informacija. Hub/authority merenja – sistem utvrđivanja relevantnosti web stranica u zavisnosti od toga u kojoj meri predstavljaju verifikovan izvor informacija ili kvalitetan adresar verifikovanih izvora informacija. (prim. prev.)

 

KONTAKT

Milica Ševkušić (On-line urednik)
Institut tehničkih nauka SANU, Beograd
tel.: +381 11 2636 994, lok. 103
e-mail: biblioteka@itn.sanu.ac.rs



 
   
Copyright © 2007 Institut tehničkih nauka Srpske akademije nauka i umetnosti