Vitenskapelig fagfellevurdering - Scholarly peer review

For bredere dekning av dette emnet, se Peer review .

Vitenskapelig fagfellevurdering (også kjent som dømming ) er prosessen med å få et utkast til en forskers metoder og funn gjennomgått (vanligvis anonymt) av eksperter (eller "jevnaldrende") i samme felt. Fagfellevurdering hjelper den akademiske utgiveren (det vil si sjefredaktøren , redaksjonen eller programkomiteen ) med å avgjøre om arbeidet skal aksepteres, anses akseptabelt med revisjoner eller avvist for offisiell publisering i et akademisk tidsskrift , en monografi eller i forbindelse med en akademisk konferanse .

Peer review krever et fellesskap av eksperter på et gitt (og ofte snevt definert) felt, som er kvalifiserte og i stand til å utføre rimelig upartisk gjennomgang. Upartisk gjennomgang, spesielt av arbeid på mindre snevert definerte eller tverrfaglige områder, kan være vanskelig å oppnå, og betydningen (god eller dårlig) av en idé vil kanskje aldri bli verdsatt mye blant samtidene. Fagfellevurdering anses generelt som nødvendig for akademisk kvalitet og brukes i de fleste store vitenskapelige tidsskrifter. Imidlertid forhindrer ikke fagfellevurdering publisering av ugyldig forskning, og ettersom det er vanskelig å ordne eksperimentelt kontrollerte studier av denne prosessen, er det lite av bevis på at fagfellevurdering forbedrer kvaliteten på publiserte artikler.

Vitenskapelig fagfellevurdering har blitt utsatt for flere kritikkpunkter, og forskjellige forslag til reform av systemet har blitt foreslått gjennom årene. Mange studier har understreket problemene som ligger i prosessen med fagfellevurdering. (se Squazzoni et al. 2017). Videre har Ragone et al., (2013) vist at det er en lav korrelasjon mellom fagfellevurderingsresultater og den fremtidige virkningen målt ved sitater. Brezis og Birukou viser også at Peer Review -prosessen ikke fungerer som den skal. De understreker at vurderingene ikke er robuste, f.eks. At skiftende anmeldere kan ha en dramatisk innvirkning på gjennomgangsresultatene. To hovedelementer påvirker skjevheten i likeprosessen.

  • Det første elementet er at dommere viser homofilt i sin smak og oppfatning av innovative ideer. Så anmeldere som utvikler konvensjonelle ideer, har en tendens til å gi lave karakterer til innovative prosjekter, mens anmeldere som har utviklet innovative ideer har en tendens til homofilt å gi høyere karakterer til innovative prosjekter.
  • Det andre elementet som fører til en stor variasjon i fagfellevurderingsprosessen, er at korrekturlesere ikke bruker like lang tid på å analysere prosjektene (eller tilsvarende ikke har de samme evnene). Brezis og Biruku viser at denne heterogeniteten blant dommerne vil føre til alvorlig påvirkning av hele fagfellevurderingsprosessen, og vil føre til hovedvilkårlighet i resultatene av prosessen.

Peer -prosessen er også i bruk for aksept av prosjekter. (For prosjekter er akseptene lave og er mellom 1%og 20%, med et gjennomsnitt på 10%. I de europeiske H2020 -samtalene er akseptprosenten 1,8%.) Fagfellevurdering er mer problematisk når de velger prosjektene som skal finansiert siden innovative prosjekter ikke er høyt rangert i den eksisterende fagfellevurderingsprosessen. Fagfellevurderingsprosessen fører til samsvar, det vil si valg av mindre kontroversielle prosjekter og artikler. Dette kan til og med påvirke hvilken type forslag forskere vil foreslå, siden forskere må finne finansiering for forskningen sin som diskutert av Martin, 1997: "Et vanlig uformelt syn er at det er lettere å skaffe midler til konvensjonelle prosjekter. De som er ivrige etter å få finansiering vil sannsynligvis ikke foreslå radikale eller uortodokse prosjekter. Siden du ikke vet hvem dommerne kommer til å være, er det best å anta at de er midt på veien. Derfor er det midt på veien -veisapplikasjon er tryggere ".

Andre forsøk på å reformere fagfellevurderingsprosessen stammer blant annet fra metavitenskap og journalistikk . Reformatorer søker å øke påliteligheten og effektiviteten til fagfellevurderingsprosessen og gi den et vitenskapelig grunnlag. Alternativer til vanlige fagfellevurderingspraksis har blitt testet, særlig åpen fagfellevurdering , der kommentarene er synlige for leserne, generelt med identiteten til fagfellevurdererne også, f.eks. F1000 , eLife , BMJ og BioMed Central .

Historie

Den første posten av en redaksjonell fagfellevurdering før publisering er fra 1665 av Henry Oldenburg , den grunnleggende redaktøren for Philosophical Transactions of the Royal Society ved Royal Society of London .

Den første fagfellevurderte publikasjonen kan ha vært Medical Essays and Observations utgitt av Royal Society of Edinburgh i 1731. Dagens fagfellevurderingssystem utviklet seg fra denne prosessen fra 1700-tallet, begynte å involvere eksterne korrekturlesere på midten av 1800-tallet århundre, og ble ikke vanlig før på midten av 1900-tallet.

Fagfellevurdering ble en berøringsstein for den vitenskapelige metoden , men ble frem til slutten av 1800-tallet ofte utført direkte av en sjefredaktør eller redaksjonskomité. Redaktører av vitenskapelige tidsskrifter på den tiden fattet publikasjonsbeslutninger uten å søke eksterne innspill, det vil si et eksternt panel av korrekturlesere, som ga etablerte forfattere bredde i sitt journalistiske skjønn. For eksempel ble Albert Einsteins fire revolusjonerende Annus Mirabilis- artikler i 1905-utgaven av Annalen der Physik fagfellevurdert av tidsskriftets sjefredaktør, Max Planck , og dets medredaktør, Wilhelm Wien , begge fremtidige nobelprisvinnere og sammen eksperter på emnene i disse oppgavene. Ved en mye senere anledning var Einstein sterkt kritisk til den eksterne gjennomgangsprosessen og sa at han ikke hadde autorisert sjefredaktøren til å vise manuskriptet sitt "til spesialister før det skrives ut", og informerte ham om at han ville "publisere avisen andre steder " - som han gjorde, og faktisk måtte han senere trekke publikasjonen.

Mens noen medisinske tidsskrifter systematisk begynte å oppnevne eksterne korrekturlesere, er det først siden midten av 1900 -tallet at denne praksisen har spredt seg mye og at eksterne korrekturlesere har fått en viss synlighet i akademiske tidsskrifter, inkludert å ha blitt takket av forfattere og redaktører. En lederartikkel i Nature fra 2003 uttalte at "på begynnelsen av 1900 -tallet var" bevisbyrden generelt på motstanderne i stedet for tilhengere av nye ideer. " Naturen selv innførte formell fagfellevurdering først i 1967. Tidsskrifter som Science og American Journal of Medicine stolte i økende grad på eksterne anmeldere på 1950- og 1960 -tallet, delvis for å redusere den redaksjonelle arbeidsmengden. På 1900 -tallet ble fagfellevurdering også vanlig for bevilgninger fra vitenskapelige midler. Denne prosessen ser ut til å ha utviklet seg uavhengig av redaksjonell fagfellevurdering.

Gaudet gir et samfunnsvitenskapelig syn på historien til fagfellevurderinger som nøye tar seg av det som er under etterforskning, her fagfellevurdering, og ser ikke bare på overfladiske eller selvfølgelige fellestrekk mellom inkvisisjon, sensur og fagfellevurdering fra journal. Den bygger på historisk forskning av Gould, Biagioli, Spier og Rip. Den første fagfellevurderingskongressen møttes i 1989. Over tid har brøkdelen av artikler som er viet til fagfellevurdering jevnlig gått ned, noe som tyder på at den som et sosiologisk fagfelt har blitt erstattet av mer systematiske studier av skjevhet og feil. Parallelt med definisjoner på "felles erfaring" basert på studiet av fagfellevurdering som en "forhåndskonstruert prosess", har noen samfunnsvitere sett på fagfellevurdering uten å anse det som forhåndskonstruert. Hirschauer foreslo at tidsskriftfellevurdering kan forstås som gjensidig ansvarlighet for dommer blant jevnaldrende. Gaudet foreslo at tidsskriftfellevurdering kunne forstås som en sosial form for grensedømmelse - å bestemme hva som kan anses som vitenskapelig (eller ikke) mot et overordnet kunnskapssystem, og følge forgjenger former for inkvisisjon og sensur.

Pragmatisk refererer fagfellevurdering til arbeidet som ble utført under visningen av innsendte manuskripter . Denne prosessen oppfordrer forfattere til å oppfylle de aksepterte standardene for disiplinen og reduserer spredning av irrelevante funn, uberettigede påstander, uakseptable tolkninger og personlige synspunkter. Publikasjoner som ikke har gjennomgått fagfellevurdering, vil sannsynligvis bli ansett som mistenksom av akademikere og fagfolk. Ikke-fagfellevurdert arbeid bidrar ikke, eller bidrar mindre, til den akademiske æren til forskere som h-indeksen , selv om dette avhenger sterkt av feltet.

Berettigelse

Det er vanskelig for forfattere og forskere, individuelt eller i team, å oppdage hver feil eller feil i et komplisert stykke arbeid. Dette er ikke nødvendigvis en refleksjon over de det gjelder, men fordi med et nytt og kanskje eklektisk emne kan en forbedringsmulighet være mer åpenbar for noen med spesiell kompetanse eller som bare ser på det med et friskt øye. Derfor øker sannsynligheten for at svakheter blir identifisert og forbedret ved å vise arbeid for andre. For både tilskuddsmidler og publisering i et vitenskapelig tidsskrift er det normalt også et krav at emnet er både nytt og vesentlig.

Beslutningen om å publisere en vitenskapelig artikkel eller hva som bør endres før publisering, ligger til syvende og sist hos forlaget ( sjefredaktøren eller redaksjonen ) som manuskriptet er sendt til. Beslutningen om å finansiere et foreslått prosjekt ligger på samme måte hos en tjenestemann i finansieringsbyrået. Disse personene refererer vanligvis til en eller flere korrekturlesers mening når de tar sin beslutning. Dette er først og fremst av tre grunner:

  • Arbeidsmengde. En liten gruppe redaktører/assessorer kan ikke bruke tilstrekkelig tid til hver av de mange artiklene som sendes til mange tidsskrifter.
  • Diverse ideer. Skulle redaktøren/assessoren selv bedømme alt innsendt materiale, ville godkjent materiale utelukkende gjenspeile deres mening.
  • Begrenset kompetanse. Det kan ikke forventes at en redaktør/assessor er tilstrekkelig ekspert på alle områder som dekkes av et enkelt tidsskrift eller finansieringsbyrå til å dømme alt innsendt materiale tilstrekkelig.

Anmeldere er ofte anonyme og uavhengige . Noen korrekturlesere kan imidlertid velge å frafalle sin anonymitet, og under andre begrensede omstendigheter, som for eksempel undersøkelse av en formell klage mot dommeren, eller en rettskjennelse, kan det hende at anmelderens identitet må avsløres. Anonymitet kan være ensidig eller gjensidig (enkelt- eller dobbelt- blindet gjennomgå).

Siden anmeldere normalt velges blant eksperter på feltene som er omtalt i artikkelen, hjelper prosessen med fagfellevurdering for å holde noen ugyldige eller ikke -begrunnede påstander utenfor kroppen av publisert forskning og kunnskap. Forskere vil lese publiserte artikler utenfor sitt begrensede område med detaljert ekspertise, og deretter til en viss grad stole på fagfellevurderingsprosessen for å ha levert pålitelig og troverdig forskning som de kan bygge videre på for påfølgende eller beslektet forskning. Det oppstår en betydelig skandale når en forfatter viser seg å ha forfalsket forskningen som er inkludert i en artikkel, ettersom andre forskere og selve fagområdet kan ha stolt på ugyldig forskning.

For amerikanske universiteter er fagfellevurdering av bøker før publisering et krav for fullt medlemskap i Association of American University Presses .

Fremgangsmåte

Når det gjelder foreslåtte publikasjoner, sender utgiveren ( sjefredaktør eller redaksjon , ofte med bistand fra tilsvarende eller assosierte redaktører) forhåndskopier av forfatterens arbeid eller ideer til forskere eller forskere som er eksperter på feltet (kjent som "dommere" eller "anmeldere"). Kommunikasjon er normalt via e-post eller via et nettbasert system for håndskrifter som ScholarOne , Scholastica eller Open Journal Systems . Avhengig av studieretningen og det spesifikke tidsskriftet, er det vanligvis en til tre dommere for en gitt artikkel. For eksempel sier Springer at det er to eller tre anmeldere per artikkel.

Fagfellevurderingsprosessen innebærer tre trinn:

Trinn 1: Skrivebordsevaluering

En redaktør evaluerer manuskriptet for å bedømme om papiret vil bli videreformidlet til journalister. I denne fasen får mange artikler et "skrivebordavslag", det vil si at redaktøren velger å ikke gå med artikkelen. Forfatterne kan få eller ikke motta et forklaringsbrev.

Avvisning av skrivebord er ment å være en strømlinjeformet prosess slik at redaktører raskt kan gå forbi ikke -levedyktige manuskripter og gi forfatterne muligheten til å forfølge et mer passende tidsskrift. For eksempel utsetter European Accounting Review -redaktørene hvert manuskript for tre spørsmål for å avgjøre om et manuskript går videre til dommere: 1) Er artikkelen egnet for tidsskriftets mål og omfang, 2) er papirinnholdet (f.eks. Litteraturgjennomgang, metoder , konklusjoner) tilstrekkelig og gir avisen et nyttig bidrag til den større litteraturen, og 3) følger den format og tekniske spesifikasjoner? Hvis "nei" til noen av disse, mottar manuskriptet en avvisning på skrivebordet.

Avvisningsrater for skrivebord varierer etter journal. For eksempel utarbeidet forskere ved Verdensbanken i 2017 avvisningsrater for flere globale økonomitidsskrifter; avvisningsgraden for skrivebordet varierte fra 21% ( Economic Lacea ) til 66% ( Journal of Development Economics ). The American Psychological Association publiserer avvisning priser for flere store publikasjoner i feltet, og selv om de ikke angir om avslaget er før eller etter skrivebord evaluering, sine tall i 2016 varierte fra et lavt på 49% til en topp på 90% .

Trinn 2: Ekstern gjennomgang

Hvis papiret ikke blir avvist, sender redaktørene manuskriptet til dommerne, som er valgt for sin ekspertise og avstand til forfatterne. På dette tidspunktet kan dommere avvise, godta uten endringer (sjeldne) eller instruere forfatterne om å revidere og sende inn på nytt.

Årsakene varierer for aksept av en artikkel av redaktører, men Elsevier publiserte en artikkel der tre redaktører veier inn faktorer som driver artikkelaksept. Disse faktorene inkluderer om manuskriptet: gir "ny innsikt i et viktig spørsmål", vil være nyttig for utøvere, gå videre eller foreslå en ny teori, stille nye spørsmål, ha passende metoder og konklusjoner, presentere et godt argument basert på litteraturen, og forteller en god historie. En redaktør bemerker at han liker papirer som han “skulle ønske han hadde gjort” selv.

Disse dommerne returnerer hver en evaluering av arbeidet til redaktøren, og noterer seg svakheter eller problemer sammen med forslag til forbedringer. Vanligvis blir de fleste av dommernes kommentarer etter hvert sett av forfatteren, selv om en dommer også kan sende kommentarer "bare for dine øyne " til forlaget; vitenskapelige tidsskrifter observerer denne konvensjonen nesten universelt. Redaktøren vurderer deretter dommernes kommentarer, hennes eller hans egen mening om manuskriptet før han sender en avgjørelse tilbake til forfatteren (e), vanligvis med dommernes kommentarer.

Dommeres evalueringer inkluderer vanligvis en eksplisitt anbefaling om hva de skal gjøre med manuskriptet eller forslaget, ofte valgt blant alternativer som tilbys av tidsskriftet eller finansieringsbyrået. For eksempel anbefaler Nature fire handlingsmåter:

  • ubetinget å godta manuskriptet eller forslaget,
  • å godta det i tilfelle forfatterne forbedrer det på visse måter
  • å avvise det, men oppmuntre til revisjon og invitere til ny innsending
  • å avvise det direkte.

Under denne prosessen er dommernes rolle rådgivende. Redaktøren (e) er vanligvis ikke forpliktet til å godta dommernes meninger, selv om han eller hun oftest vil gjøre det. Videre opptrer dommerne i vitenskapelig publikasjon ikke som en gruppe, kommuniserer ikke med hverandre og er vanligvis ikke klar over hverandres identiteter eller evalueringer. Talsmenn hevder at hvis korrekturleserne av et papir er ukjente for hverandre, kan redaktøren (e) lettere verifisere objektiviteten til anmeldelsene. Det er vanligvis ikke noe krav om at dommerne oppnår konsensus , med avgjørelsen i stedet ofte tatt av redaktøren (e) basert på hennes beste vurdering av argumentene.

I situasjoner der flere dommere er vesentlig uenige om kvaliteten på et arbeid, er det en rekke strategier for å ta en avgjørelse. Avisen kan bli avvist direkte, eller redaktøren kan velge hvilket anmelders poeng forfatterne skal ta for seg. Når en utgiver mottar veldig positive og svært negative anmeldelser for det samme manuskriptet, vil redaktøren ofte be om en eller flere tilleggsanmeldelser som uavgjort. Som en annen strategi når det gjelder bånd, kan forlaget invitere forfattere til å svare på en dommer kritikk og tillate en overbevisende motbevisning å bryte slipset. Hvis en utgiver ikke føler seg trygg på å veie overbevisningskraften til et tilbakevisning, kan utgiveren be om et svar fra dommeren som kom med den originale kritikken. En redaktør kan formidle kommunikasjon frem og tilbake mellom forfattere og en dommer, slik at de faktisk kan diskutere et punkt.

Selv i disse tilfellene tillater utgivere imidlertid ikke at flere dommere konfererer med hverandre, selv om hver anmelder ofte kan se tidligere kommentarer sendt av andre anmeldere. Målet med prosessen er eksplisitt ikke å oppnå konsensus eller å overtale noen til å endre sine meninger, men i stedet å gi materiale for et informert redaksjonelt vedtak. En tidlig studie om dommernes uenighet fant at avtale var større enn sjanse, om ikke mye større enn sjanse, om seks av syv artikkelen attributter (f.eks. Litteraturgjennomgang og endelig anbefaling for publisering), men denne studien var liten og den ble utført på bare én tidsskrift. Minst en studie har funnet ut at uenighet om korrekturlesere ikke er vanlig, men denne studien er også liten og kun på én journal.

Tradisjonelt vil korrekturlesere ofte forbli anonyme for forfatterne, men denne standarden varierer både med tid og med faglig felt. På noen fagområder tilbyr de fleste tidsskriftene anmelder muligheten til å forbli anonym eller ikke, eller en dommer kan velge å signere en anmeldelse og dermed avgi anonymitet. Publiserte artikler inneholder noen ganger, i bekreftelsesdelen, takket være anonyme eller navngitte dommere som bidro til å forbedre oppgaven. For eksempel tilbyr naturjournaler dette alternativet.

Noen ganger kan forfattere utelukke visse anmeldere: en studie utført på Journal of Investigative Dermatology fant at utelukkelse av anmeldere doblet sjansene for artikkelaksept. Noen forskere er ukomfortable med denne ideen, og argumenterer for at den forvrenger den vitenskapelige prosessen. Andre hevder at det beskytter mot dommere som er partiske på en eller annen måte (f.eks. Profesjonell rivalisering, nag). I noen tilfeller kan forfattere velge dommere for sine manuskripter. mSphere , et åpent tidsskrift innen mikrobiell vitenskap, har flyttet til denne modellen. Sjefredaktør Mike Imperiale sier at denne prosessen er utformet for å redusere tiden det tar å gå gjennom artikler og la forfatterne velge de mest korrekte anmeldere. Men en skandale i 2015 viser hvordan denne utvalgte anmeldere kan oppmuntre til falske anmeldelser. Falske anmeldelser ble sendt til Journal of the Renin-Angiotensin-Aldosterone System i navnene på forfatteranbefalte korrekturlesere, noe som fikk tidsskriftet til å eliminere dette alternativet.

Trinn 3: Revisjoner

Hvis manuskriptet ikke har blitt avvist under fagfellevurdering, returneres det til forfatterne for revisjon. I denne fasen tar forfatterne opp bekymringene fra anmeldere. Dr. William Stafford Noble tilbyr ti regler for å svare på anmeldere. Hans regler inkluderer:

  1. "Gi en oversikt, og siter deretter hele settet med anmeldelser"
  2. “Vær høflig og respektfull for alle anmeldere”
  3. "Godta skylden"
  4. "Gjør svaret frittstående"
  5. “Svar på hvert poeng som er omtalt av korrekturleseren”
  6. "Bruk typografi for å hjelpe korrekturleseren med å navigere i svaret ditt"
  7. "Når det er mulig, begynn svaret ditt på hver kommentar med et direkte svar på det punktet som tas opp"
  8. "Gjør hva anmelderen ber om mulig"
  9. "Vær tydelig på hva som endret seg i forhold til den forrige versjonen"
  10. "Skriv om nødvendig svaret to ganger" (dvs. skriv en versjon for "venting", men skriv deretter en versjon som anmeldere vil se)

Rekruttering av dommere

I et tidsskrift eller et bokforlag faller oppgaven med å velge anmeldere vanligvis på en redaktør . Når et manuskript kommer, ber en redaktør om anmeldelser fra forskere eller andre eksperter som allerede eller kanskje ikke allerede har uttrykt vilje til å dømme for tidsskriftet eller bokavdelingen. Bevilgende byråer rekrutterer vanligvis et panel eller en komité med korrekturlesere i forkant av søknadene.

Dommerne skal informere redaktøren om eventuelle interessekonflikter som måtte oppstå. Tidsskrifter eller individuelle redaktører kan invitere forfatterne til et manuskript til å nevne personer som de anser kvalifiserte til å dømme arbeidet sitt. For noen tidsskrifter er dette et krav om innsending. Forfattere får noen ganger også muligheten til å nevne naturlige kandidater som bør diskvalifiseres , i så fall kan de bli bedt om å gi begrunnelse (vanligvis uttrykt i interessekonflikter).

Redaktører ber om forfatterinnspill ved valg av dommere fordi akademisk skriving vanligvis er veldig spesialisert. Redaktører overvåker ofte mange spesialiteter, og kan ikke være eksperter på dem alle. Men etter at en redaktør velger dommere fra kandidatgruppen, er redaktøren vanligvis forpliktet til ikke å avsløre dommernes identitet til forfatterne og i vitenskapelige tidsskrifter for hverandre. Politikk på slike spørsmål er forskjellig mellom akademiske disipliner. En vanskelighet med hensyn til noen manuskripter er at det kan være få lærde som virkelig kvalifiserer som eksperter, folk som selv har utført arbeid som ligner det som er under vurdering. Dette kan frustrere målene om anmelderanonymitet og unngå interessekonflikter. Lavprestisje eller lokale tidsskrifter og bevilgende byråer som deler ut lite penger er spesielt handikappet når det gjelder rekruttering av eksperter.

En potensiell hindring for å rekruttere dommere er at de vanligvis ikke får lønn, hovedsakelig fordi det i seg selv ville skape en interessekonflikt . Gjennomgang tar også tid fra hovedaktivitetene, for eksempel hans eller hennes egen forskning. Til fordel for rekrutteren er de fleste potensielle dommere forfattere selv, eller i det minste lesere, som vet at publikasjonssystemet krever at eksperter donerer sin tid. Å tjene som dommer kan til og med være en betingelse for tilskudd eller medlemskap i en profesjonell forening.

Dommerne har muligheten til å forhindre at arbeid som ikke oppfyller feltets standarder blir publisert, noe som er et ansvar. Redaktører har en spesiell fordel når det gjelder å rekruttere en forsker når de har overvåket publiseringen av hans eller hennes verk, eller hvis den lærde er en som håper å sende inn manuskripter til redaktørens publiseringsenhet i fremtiden. Tilbyr byråer, på samme måte, har en tendens til å søke dommere blant deres nåværende eller tidligere bidragsytere.

Peerage of Science er en uavhengig tjeneste og et fellesskap der rekrutteringsrekruttering skjer via Open Engagement: forfattere sender inn manuskriptet til tjenesten der det gjøres tilgjengelig for alle ikke-tilknyttede forskere, og 'validerte brukere' velger selv hva de vil gjennomgå. Motivasjonen til å delta som fagfellevurderer kommer fra et omdømmesystem der kvaliteten på vurderingsarbeidet blir bedømt og scoret av andre brukere, og bidrar til brukerprofiler. Peerage of Science belaster ikke forskere noen gebyrer, og betaler ikke fagfellevurderere. Deltakende utgivere betaler imidlertid for å bruke tjenesten, får tilgang til alle pågående prosesser og muligheten til å gi publiseringstilbud til forfatterne.

Med uavhengige fagfellevurderingstjenester beholder forfatteren vanligvis retten til arbeidet gjennom fagfellevurderingsprosessen, og kan velge den mest passende journalen å sende arbeidet til. Peer review -tjenester kan også gi råd eller anbefalinger om de mest passende tidsskriftene for arbeidet. Tidsskrifter vil kanskje fortsatt utføre en uavhengig fagfellevurdering, uten den potensielle interessekonflikten som økonomisk refusjon kan forårsake, eller risikoen for at en forfatter har inngått flere fagfellevurderingstjenester, men bare presenterer den mest gunstige.

Et alternativt eller komplementært system for å utføre fagfellevurdering er at forfatteren betaler for å få det utført. Eksempel på en slik tjenesteleverandør er Rubriq , som for hvert arbeid tildeler fagfellevurderere som får økonomisk kompensasjon for innsatsen.

Ulike stiler

Anonym og tilskrevet

For de fleste vitenskapelige publikasjoner holdes identiteten til korrekturleserne anonymisert (også kalt "blind fagfellevurdering"). Den alternative, tilskrivte fagfellevurderingen innebærer å avsløre identiteten til korrekturleserne. Noen anmeldere velger å gi avkall på retten til anonymitet, selv når tidsskriftets standardformat er blind fagfellevurdering.

I anonym fagfellevurdering er anmeldere kjent for tidsskriftredaktøren eller konferansearrangøren, men navnene deres blir ikke gitt til artikkelforfatteren. I noen tilfeller kan forfatterens identitet også anonymiseres for gjennomgangsprosessen, med identifiserende informasjon fjernet fra dokumentet før gjennomgang. Systemet er ment å redusere eller eliminere skjevhet.

Noen eksperter foreslo blinde gjennomgangsprosedyrer for gjennomgang av kontroversielle forskningstemaer.

I dobbeltblind fagfellevurdering , som har blitt utformet av sosiologiske tidsskrifter på 1950-tallet og fortsatt er mer vanlig innen samfunnsvitenskap og humaniora enn i naturvitenskap, blir identiteten til forfatterne skjult for korrekturleserne (" blindet "), og omvendt, for at kunnskapen om forfatterskap eller bekymring for misbilligelse fra forfatteren skal være skjev for deres anmeldelse. Kritikere av den dobbeltblinde gjennomgangsprosessen påpeker at til tross for enhver redaksjonell innsats for å sikre anonymitet, unnlater prosessen ofte å gjøre det, siden visse tilnærminger, metoder, skrivestiler, notasjoner etc. peker på en bestemt gruppe mennesker i en forskningsstrøm, og til og med til en bestemt person.

På mange områder av " stor vitenskap " ville de offentlig tilgjengelige driftsplanene for større utstyr, for eksempel teleskoper eller synkrotroner , gjøre forfatternes navn åpenbare for alle som ville bry seg om å slå dem opp. Tilhengere av dobbeltblind anmeldelse mener at den ikke fungerer dårligere enn enkelblind, og at den genererer en oppfatning av rettferdighet og likhet i akademisk finansiering og publisering. Enkeltblind anmeldelse er sterkt avhengig av deltakernes velvilje, men ikke mer enn dobbeltblind gjennomgang med lett identifiserte forfattere.

Som et alternativ til enkeltblind og dobbeltblind anmeldelse, oppfordres forfattere og anmeldere til å erklære sine interessekonflikter når navnene på forfattere og noen ganger anmeldere er kjent for den andre. Når konflikter blir rapportert, kan det være forbudt for den motstridende korrekturleseren å gjennomgå og diskutere manuskriptet, eller hans eller hennes anmeldelse kan i stedet tolkes med tanke på den rapporterte konflikten; det siste alternativet blir oftere vedtatt når interessekonflikten er mild, for eksempel en tidligere profesjonell tilknytning eller et fjernt familieforhold. Insentivet for anmeldere til å erklære sine interessekonflikter er et spørsmål om profesjonell etikk og individuell integritet. Selv om anmeldelsene ikke er offentlige, er de fremdeles et spørsmål om rekord og korrekturleserens troverdighet avhenger av hvordan de representerer seg selv blant sine jevnaldrende. Noen tidsskrifter for programvareutvikling, for eksempel IEEE Transactions on Software Engineering , bruker ikke-blinde anmeldelser med rapportering til redaktører av interessekonflikter fra både forfattere og anmeldere.

En strengere standard for ansvarlighet er kjent som en revisjon . Fordi korrekturlesere ikke får betalt, kan de ikke forventes å legge så mye tid og krefter på en gjennomgang som en revisjon krever. Derfor opprettholder og arkiverer vitenskapelige tidsskrifter som Science , organisasjoner som American Geophysical Union og byråer som National Institutes of Health og National Science Foundation vitenskapelige data og metoder hvis en annen forsker ønsker å replikere eller revidere forskningen etter utgivelse.

Den tradisjonelle anonyme fagfellevurderingen har blitt kritisert for mangel på ansvarlighet, muligheten for misbruk av anmeldere eller av dem som administrerer fagfellevurderingsprosessen (det vil si journalredaktører), dens mulige skjevhet og inkonsekvens, sammen med andre feil. Eugene Koonin , seniorforsker ved National Center for Biotechnology Information , hevder at systemet har "velkjente plager" og tar til orde for " åpen fagfellevurdering ".

Åpen fagfellevurdering

Hovedartikkel: Åpen fagfellevurdering

I 1999 ble det åpnet tidsskriftet Journal of Medical Internet Research med åpen tilgang , som fra starten bestemte seg for å publisere navnene på korrekturleserne nederst i hver publiserte artikkel. Også i 1999 flyttet British Medical Journal til et åpent fagfellevurderingssystem som avslørte korrekturlesernes identitet for forfatterne, men ikke for leserne, og i 2000 ble de medisinske tidsskriftene i BMC -serien med åpen tilgang utgitt av BioMed Central , lansert ved bruk av åpen peer anmeldelse. Som med BMJ , er anmeldernes navn inkludert i fagfellevurderingsrapportene. I tillegg, hvis artikkelen er publisert, blir rapportene gjort tilgjengelig online som en del av "førpublikasjonshistorikken" '.

Flere andre tidsskrifter utgitt av BMJ Group tillater valgfri åpen fagfellevurdering, det samme gjør PLoS Medicine , utgitt av Public Library of Science . Den BMJ ' s Rapid Responses tillater pågående debatt og kritikk etter publisering.

I juni 2006 lanserte Nature et eksperiment i parallell åpen fagfellevurdering: noen artikler som hadde blitt sendt til den vanlige anonyme prosessen var også tilgjengelig online for åpen, identifisert offentlig kommentar. Resultatene var mindre enn oppmuntrende - bare 5% av forfatterne gikk med på å delta i eksperimentet, og bare 54% av disse artiklene mottok kommentarer. Redaktørene har antydet at forskere kan ha vært for opptatt til å delta og var motvillige til å offentliggjøre navnene sine. Vetskapen om at artikler samtidig ble utsatt for anonym fagfellevurdering, kan også ha påvirket opptaket.

I februar 2006 ble tidsskriftet Biology Direct lansert av BioMed Central , og la til et annet alternativ til den tradisjonelle modellen for fagfellevurdering. Hvis forfatterne kan finne tre medlemmer av redaksjonen som hver vil returnere en rapport eller selv vil be om en ekstern anmeldelse, vil artikkelen bli publisert. Som med Philica kan anmeldere ikke undertrykke publisering, men i motsetning til Philica er ingen anmeldelser anonyme og ingen artikkel publiseres uten å bli anmeldt. Forfattere har muligheten til å trekke tilbake artikkelen, revidere den som svar på anmeldelser eller publisere den uten revisjon. Hvis forfatterne fortsetter med publiseringen av artikkelen til tross for kritiske kommentarer, kan leserne tydelig se eventuelle negative kommentarer sammen med navnene på anmeldere. I samfunnsvitenskapene har det vært eksperimenter med wiki -stil, signerte fagfellevurderinger, for eksempel i et nummer av Shakespeare Quarterly .

I 2010 begynte BMJ å publisere signerte anmelderrapporter sammen med godkjente papirer, etter å ha fastslått at det å fortelle korrekturlesere at deres signerte anmeldelser kan legges ut offentlig ikke påvirket kvaliteten på anmeldelsene vesentlig.

I 2011 ble Peerage of Science , en uavhengig peer review-tjeneste, lansert med flere ikke-tradisjonelle tilnærminger til akademisk fagfellevurdering. Mest fremtredende inkluderer disse bedømmelse og poengsum av nøyaktigheten og forsvarligheten til fagfellevurderinger, og samtidig bruk av en enkelt fagfellevurderingsrunde av flere deltakende tidsskrifter.

Fra og med 2013 med lanseringen av F1000Research har noen utgivere kombinert åpen fagfellevurdering med etterutgivelse av fagfellevurdering ved å bruke et versjonert artikkelsystem. På F1000Research publiseres artikler før gjennomgang, og inviterte fagfellevurderingsrapporter (og korrekturlesernavn) publiseres med artikkelen etter hvert som de kommer inn. Forfatterreviderte versjoner av artikkelen kobles deretter til originalen. Et lignende system for etterutgivelse av gjennomgang med versjonerte artikler brukes av Science Open som ble lansert i 2014.

I 2014 implanterte Life et åpent fagfellevurderingssystem, der fagfellevurderingsrapporter og forfatteres svar publiseres som en integrert del av den endelige versjonen av hver artikkel.

Siden 2016 har Synlett eksperimentert med fagfellevurdering for lukket publikum. Artikkelen som er under gjennomgang sendes til en gruppe med over 80 ekspertanmeldelser som deretter kommenterer manuskriptet i fellesskap.

I et forsøk på å løse problemer med reproduserbarhet av forskningsresultater, ber noen forskere om at forfattere samtykker i å dele rådataene sine som en del av fagfellevurderingsprosessen. Så langt tilbake som i 1962 har for eksempel en rekke psykologer forsøkt å skaffe rådata fra andre forskere, med blandede resultater, for å analysere dem på nytt. Et nylig forsøk resulterte i bare syv datasett av femti forespørsler. Forestillingen om å innhente, enn si kreve, åpne data som betingelse for fagfellevurdering er fortsatt kontroversiell. I 2020 førte fagfellevurdering mangel på tilgang til rådata til artikkeltrekk i prestisjetunge The New England Journal of Medicine og The Lancet . Mange tidsskrifter krever nå tilgang til rådata for å bli inkludert i fagfellevurdering.

Peer review før og etter publisering

Prosessen med fagfellevurdering er ikke begrenset til publiseringsprosessen som administreres av akademiske tidsskrifter. Spesielt kan noen former for fagfellevurdering forekomme før en artikkel sendes til et tidsskrift og/eller etter at den er publisert av tidsskriftet.

Peer review før publisering

Manuskripter blir vanligvis vurdert av kolleger før innlevering, og hvis manuskriptet er lastet opp til dokumentutkast servere, for eksempel arxiv , BioRxiv eller SSRN , kan forskerne lese og kommentere manuskriptet. Praksisen med å laste opp til forhåndstrykk-servere og diskusjonsaktivitet er sterkt avhengig av feltet, og den tillater en åpen fagfellevurdering før publisering . Fordelen med denne metoden er hastighet og åpenhet i gjennomgangsprosessen. Alle kan gi tilbakemelding, vanligvis i form av kommentarer, og vanligvis ikke anonymt. Disse kommentarene er også offentlige og kan besvares, derfor er kommunikasjon mellom forfatter og anmelder ikke begrenset til de typiske 2–4 rundene med utvekslinger i tradisjonell publisering. Forfatterne kan inkorporere kommentarer fra et bredt spekter av mennesker i stedet for tilbakemeldinger fra de vanligvis 3-4 anmeldere. Ulempen er at et langt større antall papirer blir presentert for samfunnet uten noen garanti for kvalitet.

Etter publisering fagfellevurdering

Etter at et manuskript er publisert, fortsetter prosessen med fagfellevurdering mens publikasjoner leses, kjent som fagfellevurdering etter publisering . Lesere sender ofte brev til redaktøren av et tidsskrift, eller korresponderer med redaktøren via en online journalklubb. På denne måten kan alle "jevnaldrende" tilby anmeldelse og kritikk av publisert litteratur. Innføringen av " epub before print" -praksisen i mange tidsskrifter har muliggjort samtidig publisering av uoppfordrede brev til redaktøren sammen med originalpapiret i trykte nummer.

En variant av dette temaet er åpen fagfellekommentar , der kommentarer fra spesialister blir bedt om publiserte artikler og forfatterne blir invitert til å svare. Tidsskrifter som bruker denne prosessen ber om og publiserer ikke-anonyme kommentarer til "målpapiret" sammen med avisen, og med originale forfatteres svar som en selvfølge. Open peer commentary ble først implementert av antropologen Sol Tax , som grunnla tidsskriftet Current Anthropology i 1957. Tidsskriftet Behavioral and Brain Sciences , utgitt av Cambridge University Press , ble grunnlagt av Stevan Harnad i 1978 og modellert etter Current Anthropology 's open peer kommentarfunksjon. Psycoloquy (1990–2002) var basert på den samme funksjonen, men denne gangen implementert online. Siden 2016 er også åpen fagfellekommentar levert av tidsskriftet Animal Sentience .

I tillegg til tidsskrifter som er vert for sine egne artikler, er det også eksterne, uavhengige nettsteder dedikert til fagfellevurdering etter publisering, for eksempel PubPeer som tillater anonym kommentar til publisert litteratur og presser forfattere til å svare på disse kommentarene. Det har blitt foreslått at anmeldelser etter publisering fra disse nettstedene også bør vurderes redaksjonelt. Megatidsskriftene F1000Research og ScienceOpen publiserer åpent både identiteten til korrekturleserne og anmelderens rapport ved siden av artikkelen.

Noen tidsskrifter bruker etterutgivelse av fagfellevurderinger som formell gjennomgangsmetode, i stedet for forhåndspublisering. Dette ble først introdusert i 2001, av Atmospheric Chemistry and Physics (ACP). Nylig ble F1000Research og ScienceOpen lansert som megatidsskrifter med etterpublikasjonsanmeldelse som formell gjennomgangsmetode. Både på ACP og F1000Research er fagfellevurderere formelt invitert, omtrent som i forhåndspublikasjonsanmeldelser. Artikler som består fagfellevurdering i de to tidsskriftene er inkludert i eksterne vitenskapelige databaser.

I 2006 lanserte en liten gruppe britiske akademiske psykologer Philica , øyeblikkelig online journal Journal of Everything, for å rette opp mange av det de så på som problemene med tradisjonell fagfellevurdering. Alle innsendte artikler publiseres umiddelbart og kan bli vurdert etterpå. Enhver forsker som ønsker å gå gjennom en artikkel kan gjøre det, og anmeldelser er anonyme. Anmeldelser vises på slutten av hver artikkel, og brukes til å gi leseren kritikk eller veiledning om verket, i stedet for å bestemme om det skal publiseres eller ikke. Dette betyr at anmeldere ikke kan undertrykke ideer hvis de er uenige med dem. Leserne bruker anmeldelser for å veilede lesningen, og spesielt populært eller upopulært arbeid er lett å identifisere.

Sosiale medier og uformell fagfellevurdering

Nyere forskning har vakt oppmerksomhet til bruk av sosiale medieteknologier og vitenskapsblogger som et middel til uformell fagfellevurdering etter publisering, som i #arseniclife (eller GFAJ-1 ) kontroversen. I desember 2010 genererte en artikkel publisert i Scienceexpress (den forhåndsutgitte versjonen av Science ) både spenning og skepsis, da forfatterne-ledet av NASA- astrobiologen Felisa Wolfe-Simon- hevdet å ha oppdaget og dyrket en bestemt bakterie som kunne erstatte fosfor med arsen i de fysiologiske byggesteinene. På tidspunktet for artikkelens publisering ga NASA pressemeldinger som antydet at funnet ville påvirke jakten på utenomjordisk liv, noe som skapte spenning på Twitter under hashtaggen #arseniclife, samt kritikk fra andre eksperter som uttrykte skepsis via sine personlige blogger. Til syvende og sist vakte kontroversen rundt artikkelen medieoppmerksomhet, og en av de mest vokale vitenskapelige kritikerne - Rosemary Redfield - ble formelt publisert i juli 2012 om hennes og hennes kollegers mislykkede forsøk på å gjenskape NASA -forskernes opprinnelige funn.

Forskere som fulgte virkningen av #arseniclife -saken på diskusjoner i sosiale medier og fagfellevurderingsprosesser konkluderte med følgende:

Våre resultater indikerer at interaktiv elektronisk kommunikasjonsteknologi kan gjøre det mulig for medlemmer i det bredere vitenskapelige samfunn å utføre rollen som journalister for å legitimere vitenskapelig informasjon etter at den har avansert gjennom formelle gjennomgangskanaler. I tillegg kan en rekke publikummere ta seg av vitenskapelige kontroverser gjennom disse teknologiene og observere en uformell prosess med fagfellevurdering etter publisering. (s 946)

Resultatblind fagfellevurdering

Studier som rapporterer et positivt eller statistisk signifikant resultat er langt mer sannsynlig å bli publisert enn de som ikke gjør det . Et motmål for denne positivitetsskjevheten er å skjule eller gjøre resultatene utilgjengelige, noe som gjør journalaksept mer lik vitenskapelige tilskuddsbyråer som gjennomgår forskningsforslag. Versjoner inkluderer:

  1. Resultatblind fagfellevurdering eller resultater blind fagfellevurdering , første forslag til 1966: Anmeldere mottar en redigert versjon av det innsendte papiret som utelater delen om resultater og konklusjoner. I en to-trinns versjon er en andre runde med anmeldelser eller redaksjonell vurdering basert på hele papirversjonen, som først ble foreslått i 1977.
    Konklusjonsblind anmeldelse , foreslått av Robin Hanson i 2007, utvider dette ytterligere og ber alle forfattere om å sende inn en positiv og en negativ versjon, og først etter at tidsskriftet har akseptert artikkelforfatterne avslører hvilken som er den virkelige versjonen.
  2. Forhånds aksepterte artikler eller resultat-upartiske tidsskrifter eller forhåndsgjennomgang av publikasjoner eller registrerte rapporter eller før resultatinnlevering eller tidlig aksept utvider studie forhåndsregistrering til det punktet at tidsskrifter godtok eller avviser papirer basert på versjonen av papiret skrevet før resultatene eller konklusjoner er gjort (en forstørret studieprotokoll), men beskriver i stedet den teoretiske begrunnelsen, eksperimentelle utformingen og statistiske analysen. Bare når den foreslåtte hypotesen og metodikken har blitt akseptert av korrekturlesere, ville forfatterne samle inn dataene eller analysere tidligere innsamlede data. Et begrenset variant av en pre-akseptert artikkel var The Lancet 's studieprotokoll anmeldelse fra 1997-2015 gjennomgått og publisert randomiserte behandlingsprotokollen med en garanti for at den endelige papiret i det minste ville bli sendt ut til fagfellevurdering i stedet umiddelbart avvist. For eksempel har Nature Human Behavior vedtatt det registrerte rapportformatet, ettersom det "flytter vektene fra forskningsresultater til spørsmålene som styrer forskningen og metodene som brukes for å svare på dem". Den europeiske Journal of Personality definerer dette formatet: “I et registrert rapport, forfattere skape en studie forslag som inkluderer teoretisk og empirisk bakgrunn, problemstillinger / hypoteser, og pilotdata (hvis tilgjengelig). Ved innsending vil dette forslaget deretter bli gjennomgått før datainnsamling, og hvis det godtas, vil papiret som følger av denne fagfellevurderte prosedyren bli publisert, uavhengig av studieresultatene. "

Følgende tidsskrifter brukte resultatblind fagfellevurdering eller forhånds aksepterte artikler:

  • The European Journal of Parapsychology , under Martin Johnson (som foreslo en versjon av registrerte rapporter i 1974), begynte å godta papirer basert på innsendte design og deretter publisere dem, fra 1976 til 1993, og publiserte 25 RR totalt
  • The International Journal of Forecasting brukte opt-in resultatblind fagfellevurdering og forhåndsaksepterte artikler fra før 1986 til 1996/1997.
  • Tidsskriftet Applied Psychological Measurement tilbød en opt-in "forhåndspublikasjonsgjennomgang" -prosess fra 1989–1996, og avsluttet bruken etter at bare 5 papirer ble sendt inn.
  • Den JAMA Internal Medicine funnet i en undersøkelse 2009 at 86% av sine anmeldere ville være villig til å arbeide i et resultat blind fagfellevurdering, og kjørte et pilotforsøk med en to-trinns resultat-blind peer review, viser unblinded trinnet nytte positive studier mer enn negative. men journalen bruker foreløpig ikke resultatblind fagfellevurdering.
  • The Center for Open Science oppfordrer bruke "Registrerte Reports" (pre-aksepterte artikler) som begynner i 2013. Per oktober 2017, ~ 80 tidsskrifter tilby Registrerte Reports generelt, har hatt spesielle problemer registrerte Reports, eller begrenset aksept av registrerte Reports ( f.eks. bare replikasjoner) inkludert AIMS Neuroscience , Cortex , Perspectives on Psychological Science , Social Psychology , and Comparative Political Studies
    • Comparative Political Studies publiserte resultater fra pilotforsøket på 19 innsendinger, hvorav 3 var forhåndsakseptert i 2016. prosessen fungerte bra, men innsendingene ble vektet mot kvantitative eksperimentelle design, og reduserte mengden "fiske" ettersom innsendere og anmeldere fokuserte på teoretisk støtte, vesentlig betydning av resultatene, med oppmerksomhet på den statistiske kraften og implikasjonene av et nullresultat, og konkluderer med at "vi klart kan si at denne formen for gjennomgang førte til papirer som var av høyeste kvalitet. Vi vil gjerne se et toppjournal vedta resultatfri gjennomgang som en policy, i det minste tillate resultatfri gjennomgang som en blant flere standardinnleveringsalternativer. "

Kritikk

Ulike redaktører har uttrykt kritikk av fagfellevurdering. I tillegg fant en Cochrane-gjennomgang lite empirisk bevis for at fagfellevurdering sikrer kvalitet i biomedisinsk forskning, mens en annen systematisk gjennomgang og metaanalyse fant et behov for bevisbasert fagfellevurdering i biomedisin gitt mangelen på vurdering av intervensjonene for å forbedre prosessen.

For en utenforstående er den anonyme fagfellevurderingsprosessen før publisering ugjennomsiktig. Enkelte tidsskrifter er anklaget for ikke å ha utført strenge fagfellevurderinger for lettere å utvide kundebasen, spesielt i tidsskrifter der forfattere betaler et gebyr før publisering. Richard Smith, MD, tidligere redaktør for British Medical Journal , har hevdet at fagfellevurdering er "ineffektiv, stort sett et lotteri, anti-innovativt, sakte, dyrt, sløsing med vitenskapelig tid, ineffektivt, lett misbrukt, utsatt for skjevhet, ikke i stand til å oppdage svindel og irrelevant; Flere studier har vist at fagfellevurdering er partisk mot provinsen og de fra lav- og mellominntektsland; Mange tidsskrifter tar måneder og til og med år å publisere og prosessen kaster bort forskernes tid. Når det gjelder kostnadene, forskningsinformasjonsnettverket estimerte de globale kostnadene ved fagfellevurdering til 1,9 milliarder pund i 2008. "

I tillegg Australia 's innovative forskningsuniversiteter gruppe (en sammenslutning av syv omfattende universiteter forpliktet til inkluderende god undervisning, læring og forskning i Australia) har funnet ut at "peer review ulemper forskere i sine tidlige karriere, når de er avhengige av konkurransedyktige tilskudd til dekke lønnene sine, og når mislykkede finansieringssøknader ofte markerer slutten på en forskningsidé ".

Low-end distinksjoner i artikler som er forståelige for alle jevnaldrende

John Ioannidis hevder at siden eksamenene og andre tester som folk består på vei fra "lekmann" til "ekspert" fokuserer på å svare på spørsmålene i tide og i samsvar med en liste med svar, og ikke på å gjøre presise skille (sistnevnte av som ville være ugjenkjennelig for eksperter med lavere kognitiv presisjon), er det like mye individuell variasjon i evnen til å skille årsakssammenheng fra korrelasjon blant "eksperter" som det er blant "lekmenn". Ioannidis argumenterer for at vitenskapelig fagfellevurdering av mange "eksperter" tillater at bare artikler som er forståelige på et bredt spekter av kognitive presisjonsnivåer, inkludert svært lave, passerer, og forstyrrer publikasjoner mot å favorisere artikler som utleder årsakssammenheng fra korrelasjon mens de feilmerker artikler som gjøre skillet som "inkompetent overvurdering av ens evne" på siden av forfatterne fordi noen av de gjennomgående "ekspertene" er kognitivt ute av stand til å skille skillet fra påstått rasjonalisering av spesifikke konklusjoner. Det argumenteres av Ioannidis at dette gjør fagfellevurdering til en årsak til selektiv publisering av falske forskningsresultater samtidig som det stopper publisering av streng kritikk av dette, og at ytterligere post-publisering gjennomgang gjentar den samme skjevheten ved selektivt å trekke tilbake de få strenge artiklene som kan ha gjort det gjennom den første forhåndsutgivelsen fagfellevurderingen mens du lar de avanserte som forvirrer sammenheng og årsakssammenheng forbli på trykk.

Peer review og tillit

Forskere har fagfellevurderte manuskripter før de publiserte dem på en rekke måter siden 1700 -tallet. Hovedmålet med denne praksisen er å forbedre relevansen og nøyaktigheten av vitenskapelige diskusjoner. Selv om eksperter ofte kritiserer fagfellevurdering av flere årsaker, blir prosessen fremdeles ofte ansett som vitenskapens "gullstandard". Noen ganger godkjenner imidlertid fagfellevurderinger studier som senere er funnet å være feil, og sjelden villedende eller uredelige resultater blir oppdaget før publisering. Dermed ser det ut til å være et element av uenighet mellom ideologien bak og praksisen med fagfellevurdering. Ved ikke å kommunisere effektivt at fagfellevurdering er ufullkommen, er budskapet som formidles til publikum at studier publisert i fagfellevurderte tidsskrifter er "sanne" og at fagfellevurdering beskytter litteraturen mot feil vitenskap. Det finnes en rekke veletablert kritikk av mange elementer i fagfellevurdering. I det følgende beskriver vi tilfeller av den større innvirkning upassende fagfellevurdering kan ha på offentlig forståelse av vitenskapelig litteratur.

Flere eksempler på tvers av flere vitenskapsområder finner at forskere økte betydningen av fagfellevurdering for forskning som var tvilsom eller ødelagt. For eksempel har fornektere av klimaendringer publisert studier i tidsskriftet Energy and Environment , i et forsøk på å undergrave forskningsgruppen som viser hvordan menneskelig aktivitet påvirker jordens klima. Politikere i USA som avviser den etablerte vitenskapen om klimaendringer, har da sitert dette tidsskriftet flere ganger i taler og rapporter.

Noen ganger har fagfellevurdering blitt avslørt som en prosess som ble organisert for et forutinntatt utfall. New York Times fikk tilgang til konfidensielle fagfellevurderingsdokumenter for studier sponset av National Football League (NFL) som ble sitert som vitenskapelig bevis på at hjerneskader ikke forårsaker langvarig skade på spillerne. Under fagfellevurderingsprosessen uttalte forfatterne av studien at alle NFL -spillere var en del av en studie, en påstand som reporterne fant å være usanne ved å undersøke databasen som ble brukt til forskningen. Videre bemerket The Times at NFL forsøkte å legitimere studiens "metoder og konklusjon ved å sitere en" streng, konfidensiell fagfellevurderingsprosess "til tross for bevis på at noen fagfellevurderere virket" desperate "for å stoppe publiseringen. Nyere forskning har også vist at utbredt næringsfinansiering for publisert medisinsk forskning blir ofte svart og at slike interessekonflikter ikke blir løst på passende måte ved fagfellevurdering.

Et annet problem som fagfellevurderingen ikke klarer å fange er ghostwriting , en prosess der selskaper utarbeider artikler for akademikere som deretter publiserer dem i tidsskrifter, noen ganger med små eller ingen endringer. Disse studiene kan deretter brukes til politiske, regulatoriske og markedsføringsformål. I 2010 ga den amerikanske senatets finanskomité ut en rapport som fant at denne praksisen var utbredt, at den ødela vitenskapelig litteratur og økte reseptrater. Ghostwritten -artikler har dukket opp i dusinvis av tidsskrifter, som involverte professorer ved flere universiteter.

Akkurat som eksperter på et bestemt felt har en bedre forståelse av verdien av artikler publisert i sitt område, anses forskere å ha bedre forståelse av verdien av publiserte artikler enn allmennheten og å se fagfellevurdering som en menneskelig prosess, med menneskelige feil, og at "til tross for begrensningene, trenger vi det. Det er alt vi har, og det er vanskelig å forestille seg hvordan vi ville klare oss uten det". Men disse finessene går tapt for allmennheten, som ofte blir villedet til å tro at publisert i et tidsskrift med fagfellevurdering er "gullstandarden" og feilaktig kan sette lik forskrift mellom publisert forskning og sannheten. Dermed må det tas mer hensyn til hvordan fagfellevurdering, og resultatene av fagfellevurdert forskning, kommuniseres til ikke-spesialiserte målgrupper; spesielt i en tid der en rekke tekniske endringer og en dypere forståelse av kompleksiteten ved fagfellevurderinger dukker opp. Dette vil være nødvendig ettersom det vitenskapelige publiseringssystemet må konfrontere bredere spørsmål som tilbaketrekking og replikering eller reproduserbar "krise".

Syn på fagfellevurdering

Peer review anses ofte som en integrert del av vitenskapelig diskurs i en eller annen form. Portvaktrollen skal være nødvendig for å opprettholde kvaliteten på vitenskapelig litteratur og unngå risiko for upålitelige resultater, manglende evne til å skille signal fra støy og treg vitenskapelig fremgang.

Mangler ved fagfellevurdering har blitt møtt med krav om enda sterkere filtrering og mer gatekeeping. Et vanlig argument for slike initiativer er troen på at dette filteret er nødvendig for å opprettholde integriteten til den vitenskapelige litteraturen.

Oppfordringer om mer tilsyn har minst to implikasjoner som er i motsetning til det som er kjent for å være sant stipend.

  1. Troen på at lærde ikke er i stand til å evaluere kvaliteten på arbeidet på egen hånd, at de trenger en portvakt for å informere dem om hva som er bra og hva som ikke er det.
  2. Troen på at lærde trenger en "verge" for å sikre at de gjør godt arbeid.

Andre hevder at forfattere mest av alt har en egen interesse i kvaliteten på et bestemt stykke arbeid. Bare forfatterne kunne ha, som Feynman (1974) uttrykker det, den "ekstra typen integritet som er utenfor å ikke lyve, men bøye seg bakover for å vise hvordan du kanskje tar feil, som du burde ha når du opptrer som forsker. " Om noe kan den nåværende fagfellevurderingsprosessen og det akademiske systemet straffe, eller i det minste unnlate å stimulere, slik integritet.

I stedet kan troverdigheten gitt av den "peer-reviewed" label avta hva Feynman kaller kultur tvil nødvendig for vitenskapen å drive et selvkorrigerende, sannhetssøkende prosess. Effekten av dette kan sees i den pågående replikasjonskrisen , hoaxes og utbredt forargelse over ineffektiviteten til det nåværende systemet. Det er vanlig å tro at mer tilsyn er svaret, siden fagfellevurderere slett ikke mangler skepsis. Men problemet er ikke skepsisen som deles av de få utvalgte som avgjør om en artikkel passerer gjennom filteret. Det er validering og medfølgende mangel på skepsis som kommer etterpå. Her øker mer tilsyn bare inntrykket av at fagfellevurdering sikrer kvalitet, og derved reduserer tvilskulturen ytterligere og motvirker vitenskapelig undersøkelses ånd.

Kvalitetsforskning - til og med noen av våre mest grunnleggende vitenskapelige funn - dateres tilbake til århundrer, lenge før fagfellevurderingen tok sin nåværende form. Uansett fagfellevurdering som eksisterte for århundrer siden, tok den en annen form enn den gjør i moderne tid, uten innflytelse fra store, kommersielle forlag eller en gjennomgripende kultur for publisering eller fortapelse . Selv om det i sin første oppfatning ofte var en møysommelig og tidkrevende oppgave, tok forskerne likevel fagfellevurderinger, ikke av plikt, men av plikt til å opprettholde integriteten til sitt eget stipend. De klarte det stort sett uten hjelp fra sentraliserte tidsskrifter, redaktører eller noen formalisert eller institusjonalisert prosess overhodet. Tilhengere av moderne teknologi argumenterer for at det gjør det mulig å kommunisere øyeblikkelig med lærde rundt om i verden, gjøre slike faglige utvekslinger enklere og gjenopprette fagfellevurderingen til en renere vitenskapelig form, som en diskurs der forskere engasjerer seg i hverandre for å bedre avklare, forstå , og formidle sin innsikt.

Slik moderne teknologi inkluderer publisering av resultater på forhåndstrykk -servere , forhåndsregistrering av studier, åpen fagfellevurdering og annen åpen vitenskapelig praksis. I alle disse initiativene forblir portvaktens rolle fremtredende, som om det er et nødvendig trekk ved all vitenskapelig kommunikasjon, men kritikere hevder at en riktig implementering i virkeligheten kan teste og motbevise denne antagelsen; demonstrere forskernes ønske om mer som tradisjonelle tidsskrifter kan tilby; viser at forskere kan bli betrodd å utføre sin egen kvalitetskontroll uavhengig av journalkoblet anmeldelse. Jon Tennant argumenterer også med at ramaskriket over ineffektiviteten til tradisjonelle tidsskrifter fokuserer på deres manglende evne til å gi grundig nok granskning og outsourcing av kritisk tenkning til en skjult og dårlig forstått prosess. Antagelsen om at tidsskrifter og fagfellevurdering er nødvendig for å beskytte vitenskapelig integritet synes således å undergrave selve grunnlaget for vitenskapelig undersøkelse.

For å teste hypotesen om at filtrering faktisk er unødvendig for kvalitetskontroll, må mange av de tradisjonelle publikasjonsmetodene omdesignes, redaksjonene omformes hvis de ikke oppløses, og forfattere gir kontroll over fagfellevurderingen av eget arbeid. Å sette forfattere ansvarlig for sin egen fagfellevurdering blir sett på å tjene et dobbelt formål. På den ene siden fjerner den kvalitetsoverdragelsen i det tradisjonelle systemet, og eliminerer dermed prestisje knyttet til den enkle publiseringshandlingen. Kanskje paradoksalt nok kan fjerning av denne barrieren faktisk resultere i en økning i kvaliteten på publiserte arbeider, ettersom den eliminerer utgivelsesboken for sin egen skyld. På den annen side vet leserne at det ikke er noe filter, så de må tolke alt de leser med en sunn dose skepsis, og dermed gjenopprette tvilkulturen naturlig til vitenskapelig praksis.

I tillegg til bekymringene for kvaliteten på arbeidet som produseres av velmenende forskere, er det bekymringer for at et virkelig åpent system ville tillate litteraturen å bli befolket med useriøsitet og propaganda av de med egeninteresse i visse spørsmål. Et motargument er at den konvensjonelle modellen for fagfellevurdering reduserer den sunne skepsisen som er et kjennetegn på vitenskapelig undersøkelse, og dermed gir troverdighet til subversive forsøk på å infiltrere litteraturen. Å tillate slik "søppel" å bli publisert kan gjøre enkeltartikler mindre pålitelige, men gjøre den generelle litteraturen mer robust ved å fremme en "tvilskultur".

Påstander om skjevhet og undertrykkelse

Interposisjonen mellom redaktører og anmeldere mellom forfattere og lesere kan gjøre det mulig for mellommennene å fungere som portvakter . Noen vitenskapssosiologer hevder at fagfellevurdering gjør publiseringsevnen utsatt for kontroll av eliter og personlig sjalusi. Fagfellevurderingsprosessen kan noen ganger hindre fremgang og være partisk mot nyhet. En språklig analyse av gjennomgangsrapporter antyder at korrekturlesere fokuserer på å avslå søknadene ved å søke etter svake punkter, og ikke på å finne de banebrytende ideene med høy risiko/høy gevinst som kan være i forslaget. Anmelderne har en tendens til å være spesielt kritiske til konklusjoner som motsier deres eget syn , og er milde med dem som matcher dem. Samtidig er det mer sannsynlig at etablerte forskere enn andre blir oppsøkt som dommere, spesielt av høyt prestisjetidsskrifter/forlag. Som et resultat er det mer sannsynlig at ideer som harmonerer med de etablerte ekspertene ser trykk og vises i fremste tidsskrifter enn ikonoklastiske eller revolusjonære. Dette stemmer overens med Thomas Kuhns velkjente observasjoner angående vitenskapelige revolusjoner . Det er etablert en teoretisk modell hvis simuleringer innebærer at fagfellevurdering og overkonkurransedyktig forskningsmidler fremmer den vanlige oppfatningen til monopol.

Kritikk av tradisjonell anonym fagfellevurdering påstår at den mangler ansvarlighet, kan føre til misbruk av anmeldere og kan være partisk og inkonsekvent.

Det har også vært forslag om kjønnsskjevhet i fagfellevurdering, der mannlige forfattere sannsynligvis vil motta gunstigere behandling. Imidlertid fant en studie fra 2021 ingen bevis for slik skjevhet (og fant at kvinnelige forfattere på noen punkter ble behandlet mer gunstig).

Åpne tilgangsskrifter og fagfellevurdering

Noen kritikere av open access (OA) tidsskrifter har hevdet at, sammenlignet med tradisjonelle abonnementsjournaler, kan open access journaler benytte seg av substandard eller mindre formell fagfellevurderingspraksis, og som en konsekvens vil kvaliteten på vitenskapelig arbeid i slike tidsskrifter lide. I en studie publisert i 2012 ble denne hypotesen testet ved å evaluere den relative "innvirkningen" (ved hjelp av siteringer) av artikler publisert i open access og abonnementstidsskrifter, med den begrunnelse at medlemmer av det vitenskapelige samfunnet antagelig vil være mindre sannsynlig å sitere undermålige arbeid, og at siteringen derfor kan fungere som en indikator på om tidsskriftformatet virkelig påvirket fagfellevurdering og kvaliteten på publisert stipend. Denne studien konkluderte til slutt med at "OA -tidsskrifter indeksert i Web of Science og/eller Scopus nærmer seg den samme vitenskapelige virkningen og kvaliteten som abonnementstidsskrifter, spesielt innen biomedisin og for tidsskrifter finansiert av artikkelbehandlingsgebyrer", og forfatterne hevder følgelig at "det er ingen grunn for forfattere til ikke å velge å publisere i OA -tidsskrifter bare på grunn av OA -etiketten.

Svikt

Peer review mislykkes når en fagfellevurdert artikkel inneholder grunnleggende feil som undergraver minst en av hovedkonklusjonene, og som kunne vært identifisert av mer nøye anmeldere. Mange tidsskrifter har ingen prosedyre for å håndtere feil i fagfellevurderinger utover å publisere brev til redaktøren. Peer review i vitenskapelige tidsskrifter forutsetter at artikkelen som er gjennomgått, er ærlig utarbeidet. Prosessen av og til oppdager svindel, men er ikke designet for å gjøre det. Når fagfellevurderingen mislykkes og et papir blir publisert med uredelige eller på annen måte ureproduserbare data, kan papiret trekkes tilbake . Et eksperiment fra 1998 med fagfellevurdering med et fiktivt manuskript fant at fagfellevurderere ikke klarte å oppdage noen manuskriptfeil, og flertallet av korrekturleserne kan ikke legge merke til at konklusjonene i oppgaven ikke støttes av resultatene.

Falske fagfellevurdering

Det har vært tilfeller der det ble hevdet at fagfellevurdering ble utført, men faktisk ikke var det; dette er dokumentert i noen rovdyr med åpen tilgang (f.eks . saken Who's Afraid of Peer Review? ) eller for sponsede Elsevier -tidsskrifter .

I november 2014 avslørte en artikkel i Nature at noen akademikere sendte falske kontaktdetaljer for anbefalte korrekturlesere til tidsskrifter, slik at hvis utgiveren kontaktet den anbefalte korrekturleseren, var de den opprinnelige forfatteren som anmeldte sitt eget verk under et falskt navn. The Committee on Publication Ethics utstedt en uttalelse advarer uredelig praksis. I mars 2015 trakk BioMed Central tilbake 43 artikler og Springer trakk tilbake 64 artikler i 10 tidsskrifter i august 2015. Tumor Biology journal er et annet eksempel på fagfellevurderingssvindel.

I 2020 ble Journal of Nanoparticle Research offer for et "organisert useriøst redaktørnettverk", som utga seg til respekterte akademikere, fikk opprettet et temanummer og fikk publisert 19 substandard -artikler (av 80 innsendte). Tidsskriftet ble rost for å håndtere svindelen åpent og transparent.

Plagiat

Anmeldere mangler generelt tilgang til rådata, men ser fullstendig tekst i manuskriptet, og er vanligvis kjent med nylige publikasjoner i området. Dermed har de en bedre posisjon til å oppdage plagiat av prosa enn uredelige data. Noen få tilfeller av slik tekstplagiat av historikere, for eksempel, har blitt mye omtalt.

På den vitenskapelige siden fant en meningsmåling blant 3247 forskere finansiert av US National Institutes of Health 0,3% innrømmet falske data og 1,4% innrømmet plagiat. I tillegg innrømmet 4,7% av den samme meningsmålingen selvplagiat eller autoplagiarisme, der en forfatter publiserer det samme materialet, dataene eller teksten på nytt uten å sitere tidligere arbeid.

Eksempler

Ytterligere informasjon: SCIgen
  • "Den kanskje mest anerkjente fiaskoen ved fagfellevurdering er dens manglende evne til å sikre identifisering av arbeid av høy kvalitet. Listen over viktige vitenskapelige artikler som ble avvist av noen fagfellevurderte tidsskrifter, går minst tilbake til redaktøren av Philosophical Transaction's 1796 avvisning av Edward Jenners rapport om den første vaksinasjonen mot kopper . "
  • Den snart og Baliunas kontroversen involvert utgivelsen i 2003 av en anmeldelse studie skrevet av luftfart ingeniør Willie Soon og astronomen Sallie Baliunas i tidsskriftet klimaforskning , som raskt ble tatt opp av GW Bush-administrasjonen som grunnlag for å endre den første Environmental Protection Agency Rapport om miljø . Avisen ble sterkt kritisert av mange forskere for metodikken og for misbruk av data fra tidligere publiserte studier, noe som førte til bekymring for fagfellevurderingsprosessen til papiret. Kontroversen resulterte i at flere redaktører av tidsskriftet trakk seg og innrømmet av utgiveren Otto Kinne at avisen ikke burde vært utgitt som den var.
  • Den trapesformede regelen , der metoden for Riemann summerer for numerisk integrasjon, ble publisert på nytt i et Diabetes forskningstidsskrift, Diabetes Care . Metoden blir nesten alltid undervist i videregående beregning, og ble dermed betraktet som et eksempel på at en ekstremt kjent idé ble merket på nytt som en ny oppdagelse.
  • En konferanse organisert av Wessex Institute of Technology var målet for en utstilling av tre forskere som skrev useriøse artikler (inkludert en som var sammensatt av tilfeldige setninger). De rapporterte at papirene ble "gjennomgått og godtatt foreløpig" og konkluderte med at konferansen var et forsøk på å "selge" publikasjonsmuligheter til mindre erfarne eller naive forskere. Dette kan imidlertid beskrives bedre som mangel på noen egentlig fagfellevurdering, i stedet for at fagfellevurdering har mislyktes.
  • I humaniora involverte et av de mest beryktede tilfellene av plagiat som ikke ble oppdaget av fagfellevurdering Martin Stone, tidligere professor i middelalder- og renessansefilosofi ved Hoger Instituut voor Wijsbegeerte ved KU Leuven . Martin Stone klarte å publisere minst førti artikler og bokkapitler som nesten helt ble stjålet fra andres arbeid. De fleste av disse publikasjonene dukket opp i høyt vurderte fagfellevurderte tidsskrifter og bokserier.

I populærkulturen

I 2017 avduket Higher School of Economics i Moskva et "Monument for en anonym fagfellevurderer". Den har form av en stor betongbit, eller terninger, med "Godta", "Mindre endringer", "Store endringer", "Revider og send på nytt" og "Avvis" på de fem synlige sidene. Sosiolog Igor Chirikov , som utviklet monumentet, sa at mens forskere har et kjærlighetshat-forhold til fagfellevurderinger, gjør fagfellevurderere likevel verdifullt, men for det meste usynlig arbeid, og monumentet er en hyllest til dem.

Se også

Referanser

Videre lesning