Felles gjennomgang - Common Crawl

Common Crawl er en ideell 501 (c) (3) organisasjon som gjennomsøker nettet og fritt gir sine arkiver og datasett til publikum. Common Crawles webarkiv består av petabyte med data samlet inn siden 2011. Den gjennomfører vanligvis gjennomganger hver måned.

Common Crawl ble grunnlagt av Gil Elbaz . Rådgivere til den ideelle organisasjonen inkluderer Peter Norvig og Joi Ito . Organisasjonens søkeroboter respekterer retningslinjene for nofollow og robots.txt . Åpen kildekode for behandling av Common Crawls datasett er offentlig tilgjengelig.

Historie

Amazon Web Services begynte å være vert for Common Crawl's arkiv gjennom programmet Public Data Sets i 2012.

Organisasjonen begynte å gi ut metadatafiler og tekstutdataene fra søkeroboten sammen med .arc -filer i juli samme år. Common Crawls arkiver hadde bare inkludert .arc -filer tidligere.

I desember 2012 donerte blekko til metadata blekko fra Common Crawl -søkemotoren samlet fra gjennomsøkelser den gjennomførte fra februar til oktober 2012. De donerte dataene hjalp Common Crawl med å "forbedre gjennomsøkingen samtidig som det unngikk spam, porno og påvirkning av overdreven SEO ."

I 2013 begynte Common Crawl å bruke Apache Software Foundation's Nutch webcrawler i stedet for en tilpasset crawler. Common Crawl byttet fra å bruke .arc -filer til .warc -filer med gjennomgangen fra november 2013.

En filtrert versjon av Common Crawl ble brukt til å trene OpenAIs GPT-3- språkmodell, kunngjort i 2020. En utfordring ved bruk av Common Crawl-data er at til tross for den store mengden dokumenterte webdata, kan enkelte biter av gjennomsøkte nettsteder bli bedre dokumentert. Dette kan skape utfordringer når du prøver å diagnostisere problemer i prosjekter som bruker Common Crawl -data. En løsning foreslått av Timnit Gebru, et al., I 2020 for en dokumentasjonsmangel i bransjen, er at hvert datasett skal ledsages av et datablad som dokumenterer motivasjon, sammensetning, innsamlingsprosess og anbefalte bruksområder.

Historikk for vanlige gjennomsøkingsdata

Følgende data er samlet inn fra den offisielle Common Crawl Blog.

Norvig Web Data Science Award

Som bekreftelse med SURFsara sponser Common Crawl Norvig Web Data Science Award, en konkurranse som er åpen for studenter og forskere i Benelux . Prisen er oppkalt etter Peter Norvig som også leder dommerkomiteen for prisen.

Referanser

Eksterne linker

• Vanlig gjennomgang i California, USA
• Vanlig Crawl GitHub -depot med søkeroboten, bibliotekene og eksempelkoden
• Common Crawl Discussion Group
• Felles gjennomsøkingsblogg