Endre oppdagelse og varsling - Change detection and notification

Endringsdeteksjon og varsling refererer til automatisk registrering av endringer på World Wide Web -sider og varsling til interesserte brukere via e -post eller andre midler. Mens søkemotorer er designet for å finne nettsider, er CDN -systemer designet for å overvåke endringer på nettsider. Før deteksjon og varsling av endringer, var det nødvendig for brukerne å manuelt se etter endringer i nettsider, enten ved å gå tilbake til nettsteder eller søke jevnlig igjen. Effektiv og effektiv endringsdeteksjon og varsling hindres av det faktum at de fleste servere ikke sporer innholdsendringer nøyaktig gjennom Sist modifiserte eller ETag- overskrifter. En omfattende analyse av CDN -systemer kan bli funnet

Historie

I 1996 utviklet NetMind det første verktøyet for gjenkjenning og varsling av endringer, kjent som Mind-it, som kjørte i seks år. Dette skapte nye tjenester som ChangeDetection (1999), ChangeDetect (2002), Google Alerts (2003) og Versionista (2007) som ble brukt av John McCain 2008 presidentkampanje i løpet av presidentvalget i USA i 2008 . Historisk sett har endringsundersøkelser blitt utført enten av en server som sendte e -postvarsler eller et skrivebordsprogram som varslet brukeren om en endring. Endringsvarsling er også mulig direkte til mobile enheter og gjennom push -varsler , webhooks og HTTP -tilbakeringinger for applikasjonsintegrasjon.

Overvåkingsalternativene varierer etter service eller produkt og spenner fra overvåking av en enkelt webside om gangen til hele nettsteder. Hva som faktisk overvåkes varierer også etter tjeneste eller produkt med mulighetene for å overvåke tekst, lenker, dokumenter, skript, bilder eller skjermbilder.

Med unntak av Googles patentsøknader knyttet til Google Alerts , er immateriell eiendomsaktivitet fra endringsdeteksjon og varslingsleverandører minimal. Ingen leverandør har lykkes med eksklusive rettigheter til å endre deteksjons- og varslingsteknologi gjennom patenter eller andre juridiske midler. Dette har resultert i betydelig funksjonell overlapping mellom produkter og tjenester.

Arkitektoniske tilnærminger

Endringsdeteksjon og varslingstjenester kan kategoriseres etter programvarearkitekturen de bruker. To hovedtilnærminger kan skilles:

Serverbasert

En server undersøker innhold, sporer endringer og logger data, sender varsler i form av e -postvarsler , webhooks , RSS . Vanligvis administreres et tilknyttet nettsted med en konfigurasjon av brukeren. Noen tjenester har også en applikasjon for mobilenheter som kobles til en skyserver og gir varsler til den mobile enheten.

Klientbasert

En lokal klientapplikasjon med et grafisk brukergrensesnitt undersøker innhold, sporer endringer og logger data. Klientprogrammer kan være nettleserutvidelser, mobilapper eller programmer.

Betraktninger

Noen nettsider endres regelmessig på grunn av inkludering av annonser eller feeder på siden som presenteres. Dette kan utløse falske positiver i endringsdeteksjonen, siden brukerne ofte bare er interessert i endringer i hovedinnholdet. Det finnes noen tilnærminger for å dempe dette problemet.

  • Lag en forskjell mellom to versjoner av en side (beregnet for eksempel fra endring i total størrelse, endringer i HTML -fil eller endringer i DOM -treet ) og ignorere endringer under en terskel. Terskelen kan angis av brukeren, eller estimeres automatisk ved å sammenligne noen tidlige versjoner av siden.
  • Innholdsutvinning. For populære nettsteder eller nettsteder som kjører populær programvare, kan innhold skilles aktivt fra agn ved å velge et undertre i DOM, for eksempel ved å bruke XPath . En annen typisk metode er bruk av vanlige uttrykk for å trekke ut bare teksten brukeren er interessert i.

Referanser