Comments for post Entropia dell'informazione

Navigatore Anonimo writes:
Samuele writes: Ho fatto ricerche su ricerche per approfondire il concetto di entropia e di informazione. Questo è risultato uno dei siti migliori. Se posso invece dare un consiglio personale, potresti chiarire il concetto preciso di entropia, che da quello che ho capito da altri siti, è la lunghezza media di bit con il quale noi potremo rappresentare i nostri caratteri :D
Massimiliano Monittola writes: bravissimo. mi e' piaciuto moltissimo, in contenuto e chiarezza. grazie. Massimiliano
antirez writes: @Domenico: forse abbiamo usato una terminlogia diversa su questa cosa del calcolo delle probabilita': Quando dico nel caso medio, non dico ad entropia media. Se la sequenza da indovinare e' totalmente casuale, dunque altissima entropia dell'informazione che non puo' essere affatto compressa, la probabilita' di indovinare il prossimo simbolo e' nel caso medio 1/27. Forse l'incomprensione e' nata dal fatto che nell'articolo non ho scritto che "YBOLMAGBNMAQLQYVTKZTQPTIBYXCLI" e' davvero una stinga presa da /dev/urandom di Linux! Dunque se fosse piu' lunga asintoticamente si puo' indovinare ogni carattere con probabilita' 1/27. E' esattamente come il problema del lancio di una moneta. I simboli sono due, nel caso medio si potra' indovinare il 50% delle uscite. Grazie a te, a presto.
Domenico writes: Sul PI, scusami, avevo interpretato capacità come probabilità, che effettivamente non può essere peggiore di 1 su 27 con 27 simboli, cioè tiri sempre ad indovinare. Per l'algoritmo, effettivamente al link: http://it.wikipedia.org/wiki/Calcolo_di_pi_greco (e link collegati) Ne vengono illustrati alcuni che non si basano sulla frazione circonferenza/raggio che avevo subito ipotizzato, rimane forse aperta la problema dell'esattezza dovuta all'arrotondamento, ma non ho approfondito... devo dire però che sono molto complessi. Ciao e grazie per i costanti stimoli!
antirez writes: @Domenico: Grazie per i complimenti, per il resto: Se hai 27 simboli, e tenti di indovinare, ne becchi 1/27 NEL CASO MEDIO :) non in quello peggiore. Per quanto riguarda PI, ci sono sul web diversi siti con programmi che generano 200 MILIONI di cifre di PI :) Non solo, molti algoritmi hanno come input il numero di cifre che vuoi generare, dunque anche PI come numero composto da numero infinito di cifre ha una entropia bassa. Anche se un PC ci stara' tanto ad andare oltre alcuni milioni di cifre il punto e' che quell'algoritmo contiene tutto il necessario per generare teoricamente tutte le cifre che vuoi. Ciao e grazie del commento.
Domenico writes: Come al solito la tua capacità espressiva è invidiabile, tuttavia permettimi un po' di pignoleria: [quote] Se invece la stringa fosse stata "YBOLMAGBNMAQLQYVTKZTQPTIBYXCLI" la nostra capacita' di previsione sarebbe stata ben piu' bassa [...]sarebbe stata in media di 1/27[/quote] 1/27 è comunque il caso peggiore, la media potrebbe essere migliore. [quote]milioni di cifre di PI possono essere generate tramite un piccolo programma per computer[/quote] Non credo possa esistere un programma che sappia generare PI. Posto X (numero finito) il diametro, la circonferenza sarebbe uguale a X moltiplicato un numero con infinite cifre quindi anch'esso un numero con cifre infinite. Se ne conclude che l'entropia di PI è elevata. Naturalmente noi potremmo avere una soglia di precisione limitata (100 cifre decimali) in questo caso allora sarebbe possibile scrivere un algoritmo che ritorni questo valore, anche se dubito possa essere inferiore a 102 cifre (3,100cifre). Ciao
antirez writes: @riffraff: grazie, aggiunto un link all'articolo.
riffraff writes: siccome inspiegabilmente non è linkata dalla pagina su shannon, penso sia utile anche il link al primo teorema di shannon, che contiene anche una definizione di entropia: http://it.wikipedia.org/wiki/Primo_teorema_di_Shannon :)
antirez writes: @Massimo Moruzzi: per meglio dire l'entropia del PI e' bassa rispetto ad un determinato modello perche' l'informazione che costituisce tutte le sue cifre e' esprimibile attraverso un rapporto matematico, o in maniera simile attraverso un algoritmo, esprimibile utilizzando una quantita' di informazione molto piu' piccola rispetto alle cifre di PI (che sono infinite).
Massimo Moruzzi writes: quindi l'entropia delle cifre del pi greco è bassa perchè è generabile da una semplice divisione fra la circonferenza di un cerchio e il suo diametro?
antirez writes: @Emanuele: Grazie Emanuele.
Emanuele writes: Devo dire che come Prima visita a questo blog, questo post mi ha piacevolmente impressionato, complimenti per la chiarezza !
home