Vapnik - Chervonenkis teori - Vapnik–Chervonenkis theory

Del av en serie om
Maskinlæring og data mining
Problemer Klassifisering Gruppering Regresjon Anomali deteksjon AutoML Foreningsregler Forsterkningslæring Strukturert spådom Feature engineering Funksjonslæring Online læring Semi-overvåket læring Læring uten tilsyn Lær å rangere Grammatikkinduksjon
Overvåket læring ( klassifisering  • regresjon ) Beslutningstrær Ensembler Sekker Boosting Tilfeldig skog k -NN Lineær regresjon Naive Bayes Kunstige nevrale nettverk Logistisk regresjon Perceptron Relevansvektormaskin (RVM) Støttevektormaskin (SVM)
Gruppering BJØRK KURERE Hierarkisk k -betyr Forventning – maksimering (EM) DBSCAN OPTIKK Gjennomsnittlig skift
Reduksjon av dimensjoner Faktor analyse CCA ICA LDA NMF PCA PGD t-SNE
Strukturert spådom Grafiske modeller Bayes netto Betinget tilfeldig felt Skjult Markov
Anomali deteksjon k -NN Lokal avviksfaktor
Kunstig nevrale nettverk Autoencoder Kognitiv databehandling Dyp læring DeepDream Flerlags perceptron RNN LSTM GRU ESN Begrenset Boltzmann -maskin GAN SOM Konvolusjonelt nevrale nettverk U-Net Transformator Spiking nevrale nettverk Memtransistor Elektrokjemisk RAM (ECRAM)
Forsterkningslæring Q-læring SARSA Temporal forskjell (TD)
Teori Bias -varians -avveining Beregningslæringsteori Empirisk risikominimering Occam læring PAC -læring Statistisk læring VC teori
Maskinlæringssteder NeurIPS ICML ML JMLR ArXiv: cs.LG
Relaterte artikler Ordliste over kunstig intelligens Liste over datasett for maskinlæringsforskning Oversikt over maskinlæring
v t e

Vapnik - Chervonenkis teori (også kjent som VC teori ) ble utviklet i løpet av 1960–1990 av Vladimir Vapnik og Alexey Chervonenkis . Teorien er en form for beregningslæringsteori , som forsøker å forklare læringsprosessen fra et statistisk synspunkt.

VC -teori er relatert til statistisk læringsteori og til empiriske prosesser . Richard M. Dudley og Vladimir Vapnik , blant andre, har brukt VC-teori på empiriske prosesser .

Introduksjon

VC -teorien dekker minst fire deler (som forklart i The Nature of Statistical Learning Theory ):

• Teori om konsistens av læringsprosesser
  • Hva er (nødvendige og tilstrekkelige) betingelser for konsistens i en læringsprosess basert på empirisk risikominimeringsprinsipp ?
• Nonasymptotic teori om graden av konvergens av læringsprosesser
  • Hvor fort er læringsprosessens konvergenshastighet?
• Teori om å kontrollere generaliseringsevnen til læringsprosesser
  • Hvordan kan man kontrollere konvergenshastigheten ( generaliseringsevnen ) til læringsprosessen?
• Teori om konstruksjon av læringsmaskiner
  • Hvordan kan man konstruere algoritmer som kan kontrollere generaliseringsevnen?

VC Theory er en viktig undergren av statistisk læringsteori . En av hovedapplikasjonene i statistisk læringsteori er å gi generaliseringsbetingelser for læringsalgoritmer. Fra dette synspunktet er VC -teori knyttet til stabilitet , som er en alternativ tilnærming for å karakterisere generalisering.

I tillegg er VC -teori og VC -dimensjon avgjørende for teorien om empiriske prosesser , når det gjelder prosesser indeksert av VC -klasser. Dette er uten tvil de viktigste anvendelsene av VC -teorien, og brukes for å bevise generalisering. Flere teknikker vil bli introdusert som er mye brukt i den empiriske prosessen og VC -teorien. Diskusjonen er hovedsakelig basert på boken Weak Convergence and Empirical Processes: With Applications to Statistics .

Oversikt over VC -teori i empiriske prosesser

Bakgrunn om empiriske prosesser

La være tilfeldige elementer definert på et målbart mellomrom . For ethvert mål på og eventuelle målbare funksjoner , definer ${\ displaystyle X_ {1}, \ ldots, X_ {n}}$ ${\ displaystyle ({\ mathcal {X}}, {\ mathcal {A}})}$${\ displaystyle Q}$${\ displaystyle ({\ mathcal {X}}, {\ mathcal {A}})}$${\ displaystyle f: {\ mathcal {X}} \ to \ mathbf {R}}$

${\ displaystyle Qf = \ int fdQ}$

Målbarhetsproblemer vil bli ignorert her, for mer teknisk detalj se. La oss være en klasse med målbare funksjoner og definere: ${\ displaystyle {\ mathcal {F}}}$${\ displaystyle f: {\ mathcal {X}} \ to \ mathbf {R}}$

${\ displaystyle \ | Q \ | _ {\ mathcal {F}} = \ sup \ {\ vert Qf \ vert \: \ f \ in {\ mathcal {F}} \}.}$

Definer det empiriske målet

${\ displaystyle \ mathbb {P} _ {n} = n^{-1} \ sum _ {i = 1}^{n} \ delta _ {X_ {i}},}$

hvor δ her står for Dirac -mål . Det empiriske tiltaket induserer et kart gitt av: ${\ displaystyle {\ mathcal {F}} \ to \ mathbf {R}}$

${\ displaystyle f \ mapsto \ mathbb {P} _ {n} f = {\ frac {1} {n}} (f (X_ {1})+...+f (X_ {n}))}}$

Anta nå at P er den underliggende sanne fordelingen av dataene, som er ukjent. Empiriske prosesser teori tar sikte på å identifisere klasser som utsagn som følgende holder: ${\ displaystyle {\ mathcal {F}}}$

• ensartet lov med store tall :

  ${\ displaystyle \ | \ mathbb {P} _ {n} -P \ | _ {\ mathcal {F}} {\ undersett {n} {\ to}} 0,}$

Det er, som ,${\ displaystyle n \ to \ infty}$

${\ displaystyle \ left | {\ frac {1} {n}} (f (X_ {1})+...+f (X_ {n}))-\ int fdP \ right | \ to 0}$

jevnt for alle .${\ displaystyle f \ in {\ mathcal {F}}}$

• enhetlig sentral grense teorem :

${\ displaystyle \ mathbb {G} _ {n} = {\ sqrt {n}} (\ mathbb {P} _ {n} -P) \ rightsquigarrow \ mathbb {G}, \ quad {\ text {in}} \ ell ^{\ infty} ({\ mathcal {F}})}$

I det tidligere tilfellet kalles Glivenko -Cantelli -klassen, og i det siste tilfellet (under forutsetning ) kalles klassen Donsker eller P -Donsker. En Donsker-klasse er Glivenko-Cantelli i sannsynlighet ved bruk av Slutskys teorem . ${\ displaystyle {\ mathcal {F}}}$${\ displaystyle \ forall x, \ sup \ nolimits _ {f \ in {\ mathcal {F}}} \ vert f (x) -Pf \ vert <\ infty}$${\ displaystyle {\ mathcal {F}}}$

Disse utsagnene er sanne for et enkelt , med standard LLN , CLT -argumenter under regelmessighetsbetingelser, og vanskeligheten i empiriske prosesser kommer inn fordi det blir fremsatt felles uttalelser for alle . Intuitivt da kan settet ikke være for stort, og som det viser seg at geometrien til spiller en veldig viktig rolle. ${\ displaystyle f}$${\ displaystyle f \ in {\ mathcal {F}}}$${\ displaystyle {\ mathcal {F}}}$${\ displaystyle {\ mathcal {F}}}$

En måte å måle hvor stort funksjonssettet er å bruke de såkalte dekkende tallene . Dekningsnummeret ${\ displaystyle {\ mathcal {F}}}$

${\ displaystyle N (\ varepsilon, {\ mathcal {F}}, \ | \ cdot \ |)}$

er det minimale antallet baller som trengs for å dekke settet (her antas det åpenbart at det er en underliggende norm på ). Entropien er logaritmen til dekknummeret. ${\ displaystyle \ {g: \ | gf \ | <\ varepsilon \}}$${\ displaystyle {\ mathcal {F}}}$${\ displaystyle {\ mathcal {F}}}$

To tilstrekkelige betingelser er gitt nedenfor, under hvilke det kan bevises at settet er Glivenko-Cantelli eller Donsker. ${\ displaystyle {\ mathcal {F}}}$

En klasse er P -Glivenko -Cantelli hvis den er P -målbar med konvolutt F slik at den tilfredsstiller: ${\ displaystyle {\ mathcal {F}}}$${\ displaystyle P^{\ ast} F <\ infty}$

${\ displaystyle \ forall \ varepsilon> 0 \ quad \ sup \ nolimits _ {Q} N (\ varepsilon \ | F \ | _ {Q}, {\ mathcal {F}}, L_ {1} (Q)) < \ infty.}$

Den neste betingelsen er en versjon av den berømte Dudleys teorem . Hvis er en klasse med funksjoner slik at ${\ displaystyle {\ mathcal {F}}}$

${\ displaystyle \ int _ {0}^{\ infty} \ sup \ ngrenser _ {Q} {\ sqrt {\ logg N \ venstre (\ varepsilon \ | F \ | _ {Q, 2}, {\ mathcal { F}}, L_ {2} (Q) \ høyre)}} d \ varepsilon <\ infty}$

da er P -Donsker for hvert sannsynlighetsmål P slik at . I den siste integralen betyr notasjonen ${\ displaystyle {\ mathcal {F}}}$${\ displaystyle P^{\ ast} F^{2} <\ infty}$

${\ displaystyle \ | f \ | _ {Q, 2} = \ left (\ int | f |^{2} dQ \ right)^{\ frac {1} {2}}}$.

Symmetrisering

Flertallet av argumentene om hvordan den empiriske prosessen skal bindes, er avhengige av symmetrisering, maksimal ulikhet og konsentrasjon og ulikhet. Symmetrisering er vanligvis det første trinnet i bevisene, og siden det brukes i mange maskinlæringsbevis om begrensende empiriske tapfunksjoner (inkludert beviset på VC -ulikheten som diskuteres i neste avsnitt), presenteres det her.

Vurder den empiriske prosessen:

${\ displaystyle f \ mapsto (\ mathbb {P} _ {n} -P) f = {\ dfrac {1} {n}} \ sum _ {i = 1}^{n} (f (X_ {i} ) -Pf)}$

Det viser seg at det er en sammenheng mellom den empiriske og den følgende symmetriserte prosessen:

${\ displaystyle f \ mapsto \ mathbb {P} _ {n}^{0} f = {\ dfrac {1} {n}} \ sum _ {i = 1}^{n} \ varepsilon _ {i} f (X_ {i})}$

Den symmetriiserte prosessen er en Rademacher -prosess , betinget av dataene . Derfor er det en sub-gaussisk prosess av Hoeffdings ulikhet . ${\ displaystyle X_ {i}}$

Lemma (symmetrisering). For hver nedadgående, konvekse Φ: R → R og klasse målbare funksjoner , ${\ displaystyle {\ mathcal {F}}}$

${\ displaystyle \ mathbb {E} \ Phi (\ | \ mathbb {P} _ {n} -P \ | _ {\ mathcal {F}}) \ leq \ mathbb {E} \ Phi \ venstre (2 \ venstre \ | \ mathbb {P} _ {n}^{0} \ right \ | _ {\ mathcal {F}} \ right)}$

Beviset på Symmetrization -lemmaet er avhengig av å introdusere uavhengige kopier av de originale variablene (noen ganger referert til som et spøkelseseksempel ) og erstatte den indre forventningen til LHS med disse kopiene. Etter en anvendelse av Jensens ulikhet kunne forskjellige tegn innføres (derav navnet symmetrisering) uten å endre forventningen. Beviset finner du nedenfor på grunn av dets lærerike natur. ${\ displaystyle X_ {i}}$

En typisk måte å bevise empiriske CLT på, bruker først symmetrisering for å overføre den empiriske prosessen til og deretter argumentere betinget om dataene, ved å bruke det faktum at Rademacher -prosesser er enkle prosesser med fine egenskaper. ${\ displaystyle \ mathbb {P} _ {n}^{0}}$

VC -tilkobling

Det viser seg at det er en fascinerende sammenheng mellom visse kombinatoriske egenskaper til settet og entropintallene. Uniform dekknummer kan styres av forestillingen om Vapnik -Chervonenkis -sett med sett - eller kort tid VC -sett . ${\ displaystyle {\ mathcal {F}}}$

Vurder en samling undersett av prøveområdet . sies å velge en bestemt delmengde av det endelige settet hvis for noen . sies å knuse S hvis den plukker ut hver av sine 2 ⁿ undersett. Den VC-indeks (tilsvarende VC dimensjon + 1 for et riktig valgt klassifiseringsenhet sett) av er den minste n som ingen sett av størrelse n er knust av . ${\ displaystyle {\ mathcal {C}}}$${\ displaystyle {\ mathcal {X}}}$${\ displaystyle {\ mathcal {C}}}$${\ displaystyle W}$${\ displaystyle S = \ {x_ {1}, \ ldots, x_ {n} \} \ delsett {\ mathcal {X}}}$${\ displaystyle W = S \ cap C}$${\ displaystyle C \ i {\ mathcal {C}}}$${\ displaystyle {\ mathcal {C}}}$ ${\ displaystyle V ({\ mathcal {C}})}$${\ displaystyle {\ mathcal {C}}}$${\ displaystyle {\ mathcal {C}}}$

Sauer's lemma sier da at antall undersett valgt av en VC-klasse tilfredsstiller: ${\ displaystyle \ Delta _ {n} ({\ mathcal {C}}, x_ {1}, \ ldots, x_ {n})}$${\ displaystyle {\ mathcal {C}}}$

${\ displaystyle \ max _ {x_ {1}, \ ldots, x_ {n}} \ Delta _ {n} ({\ mathcal {C}}, x_ {1}, \ ldots, x_ {n}) \ leq \ sum _ {j = 0}^{V ({\ mathcal {C}})-1} {n \ velg j} \ leq \ venstre ({\ frac {ne} {V ({\ mathcal {C}} ) -1}} \ høyre)^{V ({\ mathcal {C}})-1}}$

Som er et polynomisk antall undersett i stedet for et eksponentielt tall. Intuitivt betyr dette at en endelig VC-indeks innebærer at den har en tilsynelatende enkel struktur. ${\ displaystyle O (n^{V ({\ mathcal {C}})-1})}$${\ displaystyle {\ mathcal {C}}}$

En lignende grense kan vises (med en annen konstant, samme hastighet) for de såkalte VC-subgrafklassene . For en funksjon av subgraf er en delmengde av slik at: . En samling kalles en VC-subgrafklasse hvis alle undergrafer danner en VC-klasse. ${\ displaystyle f: {\ mathcal {X}} \ to \ mathbf {R}}$${\ displaystyle {\ mathcal {X}} \ times \ mathbf {R}}$${\ displaystyle \ {(x, t): t <f (x) \}}$${\ displaystyle {\ mathcal {F}}}$

Betrakt et sett av indikatorfunksjoner i for diskrete empirisk type tiltak Q (eller ekvivalent for enhver sannsynlighet tiltak Q ). Det kan da vises det ganske bemerkelsesverdig, for : ${\ displaystyle {\ mathcal {I}} _ {\ mathcal {C}} = \ {1_ {C}: C \ in {\ mathcal {C}} \}}$${\ displaystyle L_ {1} (Q)}$${\ displaystyle r \ geq 1}$

${\ displaystyle N (\ varepsilon, {\ mathcal {I}} _ {\ mathcal {C}}, L_ {r} (Q)) \ leq KV ({\ mathcal {C}}) (4e)^{V ({\ mathcal {C}})} \ varepsilon ^{-r (V ({\ mathcal {C}})-1)}}}$

Vurder videre det symmetriske konvekse skroget til et sett : å være samlingen av funksjoner i skjemaet med . Så hvis ${\ displaystyle {\ mathcal {F}}}$${\ displaystyle \ operatorname {sconv} {\ mathcal {F}}}$${\ displaystyle \ sum _ {i = 1}^{m} \ alpha _ {i} f_ {i}}$${\ displaystyle \ sum _ {i = 1}^{m} | \ alpha _ {i} | \ leq 1}$

${\ displaystyle N \ left (\ varepsilon \ | F \ | _ {Q, 2}, {\ mathcal {F}}, L_ {2} (Q) \ right) \ leq C \ varepsilon ^{-V}}$

følgende gjelder for det konvekse skroget på : ${\ displaystyle {\ mathcal {F}}}$

${\ displaystyle \ log N \ left (\ varepsilon \ | F \ | _ {Q, 2}, \ operatorname {sconv} {\ mathcal {F}}, L_ {2} (Q) \ right) \ leq K \ varepsilon ^{-{\ frac {2V} {V+2}}}}$

Den viktige konsekvensen av dette faktum er det

${\ displaystyle {\ frac {2V} {V+2}}> 2,}$

som er akkurat nok til at entropi -integralet skal konvergere, og derfor kommer klassen til å være P -Donsker. ${\ displaystyle \ operatorname {sconv} {\ mathcal {F}}}$

Til slutt vurderes et eksempel på en VC-subgrafklasse. Enhver endelig-dimensjonal vektorrom med målbare funksjoner er VC-subgraf av indeksen mindre enn eller lik . ${\ displaystyle {\ mathcal {F}}}$${\ displaystyle f: {\ mathcal {X}} \ to \ mathbf {R}}$${\ displaystyle \ dim ({\ mathcal {F}})+2}$

Bevis: Ta poeng . Vektorene: ${\ displaystyle n = \ dim ({\ mathcal {F}})+2}$${\ displaystyle (x_ {1}, t_ {1}), \ ldots, (x_ {n}, t_ {n})}$

${\ displaystyle (f (x_ {1}), \ ldots, f (x_ {n}))-(t_ {1}, \ ldots, t_ {n})}$

er i et n - 1 dimensjonalt underrom av R ⁿ . Ta en ≠ 0 , en vektor som er ortogonal til dette underrommet. Derfor:

${\ displaystyle \ sum _ {a_ {i}> 0} a_ {i} (f (x_ {i})-t_ {i}) = \ sum _ {a_ {i} <0} (-a_ {i} ) (f (x_ {i})-t_ {i}), \ quad \ forall f \ in {\ mathcal {F}}}$

Vurder settet . Dette settet kan ikke plukkes ut siden hvis det er noe slikt som kan antyde at LHS er strengt positivt, men RHS er ikke-positivt. ${\ displaystyle S = \ {(x_ {i}, t_ {i}): a_ {i}> 0 \}}$${\ displaystyle f}$${\ displaystyle S = \ {(x_ {i}, t_ {i}): f (x_ {i})> t_ {i} \}}$

Det er generaliseringer av begrepet VC-subgrafklasse, f.eks. Er det forestillingen om pseudodimensjon. Den interesserte leseren kan se nærmere på.

VC ulikhet

En lignende setting vurderes, noe som er mer vanlig for maskinlæring . Let er et funksjonsrom og . En funksjon kalles en klassifikator. La oss være et sett med klassifiseringer. På samme måte som den forrige delen, definer knusekoeffisienten (også kjent som vekstfunksjon): ${\ displaystyle {\ mathcal {X}}}$${\ displaystyle {\ mathcal {Y}} = \ {0,1 \}}$${\ displaystyle f: {\ mathcal {X}} \ to {\ mathcal {Y}}}$${\ displaystyle {\ mathcal {F}}}$

${\ displaystyle S ({\ mathcal {F}}, n) = \ max _ {x_ {1}, \ ldots, x_ {n}} | \ {(f (x_ {1}), \ ldots, f ( x_ {n})), f \ i {\ mathcal {F}} \} |}$

Legg merke til her at det er en 1: 1 gå mellom hver av funksjonene i og settet som funksjonen er 1. Vi kan dermed definere å være samlingen av undersett hentet fra ovennevnte kartlegging for hver . Derfor, i forhold til forrige seksjon, er splintringskoeffisienten presis ${\ displaystyle {\ mathcal {F}}}$${\ displaystyle {\ mathcal {C}}}$${\ displaystyle f \ in {\ mathcal {F}}}$

${\ displaystyle \ max _ {x_ {1}, \ ldots, x_ {n}} \ Delta _ {n} ({\ mathcal {C}}, x_ {1}, \ ldots, x_ {n})}$.

Denne ekvivalensen sammen med Sauer's Lemma innebærer at det kommer til å være polynom i n , for tilstrekkelig stort n forutsatt at samlingen har en endelig VC-indeks. ${\ displaystyle S ({\ mathcal {F}}, n)}$${\ displaystyle {\ mathcal {C}}}$

Let er et observert datasett. Anta at dataene genereres av en ukjent sannsynlighetsfordeling . Definer det som forventet tap på 0/1 . Selvfølgelig siden det er ukjent generelt, har man ingen tilgang til . Imidlertid er den empiriske risikoen gitt av: ${\ displaystyle D_ {n} = \ {(X_ {1}, Y_ {1}), \ ldots, (X_ {n}, Y_ {m}) \}}$${\ displaystyle P_ {XY}}$${\ displaystyle R (f) = P (f (X) \ neq Y)}$${\ displaystyle P_ {XY}}$${\ displaystyle R (f)}$

${\ displaystyle {\ hat {R}} _ {n} (f) = {\ dfrac {1} {n}} \ sum _ {i = 1}^{n} \ mathbb {I} (f (X_ { i}) \ neq Y_ {i})}$

kan absolutt evalueres. Da har man følgende teorem:

Teorem (VC ulikhet)

For binær klassifisering og 0/1 tapfunksjonen har vi følgende generaliseringsgrenser:

${\ displaystyle {\ begin {align} P \ left (\ sup _ {f \ in {\ mathcal {F}}} \ left | {\ hat {R}} _ {n} (f) -R (f) \ right |> \ varepsilon \ right) & \ leq 8S ({\ mathcal {F}}, n) e ^{-n \ varepsilon ^{2}/32} \\\ mathbb {E} \ left [\ sup _ {f \ in {\ mathcal {F}}} \ left | {\ hat {R}} _ {n} (f) -R (f) \ right | \ right] & \ leq 2 {\ sqrt {\ dfrac {\ log S ({\ mathcal {F}}, n)+\ log 2} {n}}} \ end {align}}}$

Med ord sier VC -ulikheten at når prøven øker, forutsatt at den har en begrenset VC -dimensjon, blir den empiriske 0/1 risikoen en god proxy for den forventede 0/1 risikoen. Vær oppmerksom på at begge RHS av de to ulikhetene vil konvergere til 0, forutsatt at det vokser polynomt i n . ${\ displaystyle {\ mathcal {F}}}$${\ displaystyle S ({\ mathcal {F}}, n)}$

Sammenhengen mellom dette rammeverket og det empiriske prosessrammeverket er tydelig. Her har man å gjøre med en modifisert empirisk prosess

${\ displaystyle \ left | {\ hat {R}} _ {n} -R \ right | _ {\ mathcal {F}}}$

men ikke overraskende er ideene de samme. Beviset på (første del av) VC -ulikhet, er avhengig av symmetrisering, og argumenterer deretter betinget med dataene ved å bruke konsentrasjonsulikheter (spesielt Hoeffdings ulikhet ). Den interesserte leseren kan sjekke boken Theorems 12.4 og 12.5.

Referanser

• ^ Vapnik, Vladimir N (2000). Naturen til statistisk læringsteori . Informasjonsvitenskap og statistikk. Springer-Verlag . ISBN 978-0-387-98780-4.
• Vapnik, Vladimir N (1989).Statistisk læringsteori. Wiley-Interscience . ISBN 978-0-471-03003-4.
• ^ van der Vaart, Aad W .; Wellner, Jon A. (2000). Svak konvergens og empiriske prosesser: Med applikasjoner til statistikk (2. utg.). Springer. ISBN 978-0-387-94640-5.
• ^ Gyorfi, L .; Devroye, L .; Lugosi, G. (1996). En sannsynlighetsteori om mønstergjenkjenning (1. utg.). Springer. ISBN 978-0387946184.
• Se referanser i artikler: Richard M. Dudley , empiriske prosesser , Shattered set .
• ^ Pollard, David (1990).Empiriske prosesser: Teori og applikasjoner. NSF-CBMS Regional Conference Series in Probability and Statistics Volume 2. ISBN 978-0-940600-16-4.
• Bousquet, O .; Boucheron, S .; Lugosi, G. (2004). "Introduksjon til statistisk læringsteori". I O. Bousquet; U. von Luxburg; G. Ratsch (red.). Avanserte forelesninger om maskinlæring . Forelesningsnotater i kunstig intelligens. 3176 . Springer. s. 169–207.
• Vapnik, V .; Chervonenkis, A. (2004). "Om den enhetlige konvergensen av relative frekvenser av hendelser til deres sannsynligheter". Teori Probab. Appl . 16 (2): 264–280. doi : 10.1137/1116025 .