6 april 2020
Naar aanleiding van Mathematical theory of communication, Shannon & Weaver.
Gegeven een set van n onafhankelijke symbolen of boodschappen, wiens waarschijnlijkheid van (kans op) keuze zijn p1, p2, p3, ..., pn. Formule voor informatie: H = - som(i over alle n) van (pi * log2(pi)) in bits. Als alle kansen pi gelijk zijn, dan heeft H de grootste waarde. H(max) = -n * 1/n * log2(1/n) = log2(n). Dat geldt vanaf n = 2, anders is er geen keuze en dus geen informatie. Bij H(max) is de entropie maximaal, de keuzevrijheid ook (want de kans op alles is precies gelijk) en over te brengen informatie ook (want het had echt alles even waarschijnlijk kunnen zijn).
In een georganiseerde situatie worden sommige kansen groter dan anderen. De entropie neemt dan af. De entropie H van een systeem, gedeeld door H(max) noemt men de relatieve entropie. In formule: H(relatief) = H(systeem) / H(max). Als de relatieve entropie bijvoorbeeld 0,8 is, dan betekent dat in dat systeem de keuzevrijheid in het kiezen van een onafhankelijk symbool 80% is van het maximum in dezelfde set met symbolen.
1 - H(relatief) = redundantie van het systeem. Oftewel: de fractie van de boodschap die niet in de vrije keuze van de zender valt, maar bepaald wordt door de regels over het gebruik van de symbolen.
Aanvullende gedachten op 13 oktober 2020: Entropie is de verwachte informatiewaarde (mate van verrassing) van een willekeurige boodschap B. De informatiewaarde neemt af als de kans op een boodschap toeneemt. Er zit een vorm van entropie in elke boodschap: namelijk de boodschap die de zender koos ten opzichte van alle andere mogelijke boodschappen. Er zit entropie in elke actie: de keuze uit alle mogelijke acties. De verrassing is groot als er één gekozen wordt uit een grote set. Stel dat sportteams A en B ongeveer even sterk zijn. De uitslag van elke wedstrijd is even verrassend maar de verrassing is elke keer even groot. Stel dat B bijna altijd wint. Dan is is de uitslag van de wedstrijd meestal niet verrassend (omdat deze overeenkomst met de verwachte uitkomst), maar de verrassing des te groter als A een keer wint. Je hebt dus mate van verrassing voor individuele wedstrijden, maar ook een mate voor verrassing in een reeks wedstrijden.