De Finettis sats

I sannolikhetsteorin säger de Finettis sats att utbytbara observationer är villkorligt oberoende i förhållande till någon latent variabel . En epistemisk sannolikhetsfördelning skulle sedan kunna tilldelas denna variabel. Den är uppkallad efter Bruno de Finetti .

För det speciella fallet med en utbytbar sekvens av Bernoullis slumpvariabler står det att en sådan sekvens är en " blandning " av sekvenser av oberoende och identiskt fördelade (iid) Bernoullis slumpvariabler.

En sekvens av slumpvariabler kallas utbytbar om den gemensamma fördelningen av sekvensen är oförändrad av någon permutation av indexen. Även om variablerna i den utbytbara sekvensen inte i sig själva är oberoende, bara utbytbara, finns det en underliggande familj av iid slumpvariabler. Det vill säga, det finns underliggande, generellt oobserverbara, kvantiteter som är iid – utbytbara sekvenser är blandningar av iid-sekvenser.

Bakgrund

En Bayesiansk statistiker söker ofta den villkorade sannolikhetsfördelningen av en slumpmässig kvantitet givet data. Begreppet utbytbarhet introducerades av de Finetti. De Finettis teorem förklarar ett matematiskt samband mellan oberoende och utbytbarhet.

En oändlig sekvens

av slumpvariabler sägs vara utbytbara om för vilket naturligt tal n och vilken finit sekvens som helst i 1 , ..., i n och varje permutation av sekvensen π:{ i 1 , ..., i n } → { i 1 , ..., i n },

båda har samma gemensamma sannolikhetsfördelning .

Om en identiskt fördelad sekvens är oberoende , är sekvensen utbytbar; men det omvända är falskt – det finns utbytbara slumpvariabler som inte är statistiskt oberoende, till exempel Pólya-urnmodellen .

Uttalande av satsen

En stokastisk variabel X har en Bernoulli-fördelning om Pr( X = 1) = p och Pr( X = 0) = 1 − p för något p ∈ (0, 1).

De Finettis teorem säger att sannolikhetsfördelningen för alla oändliga utbytbara sekvenser av Bernoullis slumpvariabler är en " blandning " av sannolikhetsfördelningarna av oberoende och identiskt fördelade sekvenser av Bernoullis slumpvariabler. "Blandning", i denna mening, betyder ett viktat medelvärde, men detta behöver inte betyda ett ändligt eller countably oändligt (dvs. diskret) viktat medelvärde: det kan vara en integral snarare än en summa .

Mer exakt, anta att X 1 , X 2 , X 3 , ... är en oändlig utbytbar sekvens av Bernoulli-fördelade slumpvariabler. Sedan finns det någon sannolikhetsfördelning m på intervallet [0, 1] och någon stokastisk variabel Y så att

  • Sannolikhetsfördelningen för Y är m , och
  • Den villkorade sannolikhetsfördelningen för hela sekvensen X 1 , X 2 , X 3 , ... givet värdet på Y beskrivs genom att säga att
    • X 1 , X 2 , X 3 , ... är villkorligt oberoende givet Y , och
    • För alla i ∈ {1, 2, 3, ...} är den villkorade sannolikheten att X i = 1, givet värdet på Y , Y .

Ett annat sätt att formulera satsen

Antag att är en oändlig utbytbar sekvens av Bernoullis slumpvariabler. Då är villkorligt oberoende och identiskt fördelade givet den utbytbara sigma-algebra (dvs. sigma- algebra av händelser är mätbar med avseende på och invariant under ändliga permutationer av indexen).

Exempel

Här är ett konkret exempel. Vi konstruerar en sekvens

av slumpvariabler, genom att "mixa" två iid-sekvenser enligt följande.

Vi antar p = 2/3 med sannolikhet 1/2 och p = 9/10 med sannolikhet 1/2. Givet händelsen p = 2/3 är den villkorliga fördelningen av sekvensen att X i är oberoende och identiskt fördelade och X 1 = 1 med sannolikhet 2/3 och X 1 = 0 med sannolikhet 1 − 2/3. Givet händelsen p = 9/10, är ​​den villkorliga fördelningen av sekvensen att X i är oberoende och identiskt fördelade och X 1 = 1 med sannolikhet 9/10 och X 1 = 0 med sannolikhet 1 − 9/10.

Detta kan tolkas på följande sätt: Gör två snedställda mynt, ett som visar "huvuden" med 2/3 sannolikhet och ett visar "huvuden" med 9/10 sannolikhet. Vänd ett rättvist mynt en gång för att bestämma vilket partiskt mynt som ska användas för alla vändningar som registreras. Här betyder "huvuden" vid flip i X i =1.

Oberoendet som hävdas här är villkorligt oberoende, dvs Bernoullis slumpvariabler i sekvensen är villkorligt oberoende givet händelsen att p = 2/3, och är villkorligt oberoende givet händelsen att p = 9/10. Men de är inte villkorslöst oberoende; de är positivt korrelerade .

Med tanke på den starka lagen om stora siffror kan vi säga det

Istället för att koncentrera sannolikheten 1/2 vid var och en av två punkter mellan 0 och 1, kan "blandningsfördelningen" vara vilken sannolikhetsfördelning som helst som stöds på intervallet från 0 till 1; vilken det är beror på den gemensamma fördelningen av den oändliga sekvensen av Bernoullis slumpvariabler.

Definitionen av utbytbarhet, och uttalandet av satsen, är också meningsfullt för sekvenser med ändlig längd

men satsen är i allmänhet inte sann i det fallet. Det är sant om sekvensen kan utökas till en utbytbar sekvens som är oändligt lång. Det enklaste exemplet på en utbytbar sekvens av Bernoullis slumpvariabler som inte kan utökas så är det där X 1 = 1 − X 2 och X 1 är antingen 0 eller 1, var och en med sannolikhet 1/2. Denna sekvens är utbytbar, men kan inte utökas till en utbytbar sekvens av längd 3, än mindre en oändligt lång.

Tillägg

Versioner av de Finettis teorem för ändliga utbytbara sekvenser och för Markov utbytbara sekvenser har bevisats av Diaconis och Freedman och av Kerns och Szekely. Två begrepp om partiell utbytbarhet av arrayer, känd som separat och gemensam utbytbarhet leder till förlängningar av de Finettis sats för arrayer av Aldous och Hoover.

Den beräkningsbara de Finetti-satsen visar att om en utbytbar sekvens av verkliga slumpvariabler ges av ett datorprogram, så kan ett program som samplar från blandningsmåttet automatiskt återställas.

I inställningen av fri sannolikhet finns det en icke-kommutativ förlängning av de Finettis sats som karaktäriserar icke-kommutativa sekvenser som är invarianta under kvantpermutationer.

Utvidgningar av de Finettis teorem till kvanttillstånd har visat sig vara användbara i kvantinformation , i ämnen som kvantnyckelfördelning och intrasslingsdetektering .

Se även

externa länkar

Hämtad från " https://en.wikipedia.org/w/index.php?title=De_Finetti%27s_theorem&oldid=1113104644 "