noc-istrazivaca-m-objekti

Upoznajte svemir u Noći istraživača

Departman za fiziku PMF-a u Nišu za ovogodišnju Noć istraživača vodi vas na putovanje kroz svemir, od planeta i kometa do zvezda, maglina, zvezdanih jata i udaljenih galaksija. Na ovom ...
crna-rupa-noc-istrazivaca

Od crne rupe do Nobelove nagrade za fiziku - snimak predavanja

Ovogodišnja, 11. po redu, „Evropska noć istraživača“ u virtuelnom okruženju, donoseći putem interneta brojne eksperimente, radionice, izložbe, predavanja i druženja sa naučnicima.Naučnici i istraživači iz najrazličitijih oblasti biće na istom ...
NightOfThePerseids_Horalek_1800

Meteorska kiša - Perseidi 2020 (Stižu zvezde “padalice”)

Svake vedre noći, ako odete negde daleko od svetla grada i ako ste dovoljno strpljivi možete da vidite nekoliko meteora svakog sata. Međutim, svake godine oko 10. avgusta "zvezde padalice" ...
kupola-atomske-bombe

Dan kada je eksplodirala prva atomska bomba

Pre tačno 75 godine, tačnije 6. avgusta 1945. američki avion bombarder bacio je jednu jedinu bombu na japanski grad. Taj grad bila je Hirošima, a posledice te bombe pamtiće generacije ...
APOD-Soponyai-PenumbralEclipse

“Pomračenje” Meseca – 5. jun 2020

Za večeras (5. jun) nebeska mehanika “pripremila” je pomračenje Meseca, Međutim, ovo pomračenje značajno će se razlikovati od onih atraktivnih delimičnih i totalnih pomračenja Meseca koja smo posmatrali tokom prethodnih par godina.Večerašnje pomračenje biće ...
demo2-launch-1024x584-1

Uspešno poletanje - Falkon 9 i Dragon

Sinoć, 30. maja, u 21:22 h po našem vremenu raketa Falcon 9 uspešno je poletela sa lansirne rampe 39A u Kenedi svemirskom centru. Na vrhu rakete nalazila se kapsula Dragon, ...

Entropija i teorija informacija 1

Primena entropije na teoriju informacija u stvari predstavlja statistički opis informacija, izvora informacija i operacija sa njima (kompresovanje itd.).

Teorija informacija je grana primenjene matematike nastala u 20 veku. Osnovu ove teorije čine radovi „Prenos informacija“ koji je objavio Ralf Hartli 1928 zatim možda i najvažniji „Matematička teorija komunikacije“ Kloda Šenona iz 1948 i „Kibernetika“ koju je takođe 1948 godne objavio Norbert Viner. Hartli je prvi definisaoizraz za količinu informacije , Šenon je uz pomoć matematičara Von Njumana definsao entropiju izvora informacija proučavajući izgubljene signale u telefonskim žicama a Viner je dao svoju teoriju po kojoj je informacija mera uređenosti dok je neodređenost mera neorganizovanosti i po količinama su iste pa važi

(информација) = (неодређеност).

U matematici je svaki iskaz ili tačan (T) ili netačan (┴) i to je osnova binarne logike (o ili 1). Međutim problem nastaje kada se postavi pitanje čiji odgovor je neodređen odnosno nije samo T ili ┴.

Na primer pitanje: „koje je boje zid?“. Ako imamo 6 ponuđenih boja i vervatnoć da je svaka od njih tačan odgovor jednaka kako da postavljamo pitanja da dobijamo tačan odgovor?

U teoriji se pokazuje da ako imamo 2n mogućih i isto verovatnih odgovora ( p(n)═1/n) treba da postavimo n binarnih pitanja da pi sigurno znali odgovora. Zbog toga je Hartli predložio da se količina informacija računa kao negativan logaritam verovatnoće njenog pojavljivanja.Jedinica za količinu informacija je 1 bit mada postoje i Šenon po simbolu (shanon/symbol) a koristi se i Hartli po  simbolu (Hartley/symbol)

I(p) = −log2 (n) = log2n za p(n) ═ 1/n

Logaritam verovatnoće je negativan broj!!!! Takođe mogu da se koriste i druger osnove za logaritam

npr. 10, e – Ojlerov broj, ali i dualni logaritam ld I=l_d \frac {1} {P(S_i)}

Međutim, nakon ovoga javlja se problem u slučaju kada nije verovatnoća svih mogućih odgovora ista. Ovaj problem rešili su Šenon i Viver i to nezavisno jedan od drugog ali su dobili isto rešenje.

Na primer ako imamo dva moguća rešenja verovatnoće P1 i P2 tada je količina informacija za prvi slučaj I1 ═ -log2 P1 a za drugi I2 ═ -log2 P2. Srednja vrednost tj. matematičko očekivanje za ova dva broja je I = − P1I1 − P2I2.

U opštem slučaju za n ═ 2,3,4,5………. i za P1, P2, P3……..Pn važi

I = − P1log2P1 − P2log2P2 − … − PnlognPn.

Ovako definisana srednja vrednost količine informacija predstavlja entropiju odnosno neodređenost.

Ovu definiciju dao je Šenon koji je bio inžinjer i matematičar uz pomoć još von Njumana koji mu je pomogao i u davanju imena veličini jer je Šenon upotrebljavao izraz neodređenost ali mu je von Njuman rekao da je nazove entropija zbog sličnosti sa ovom veličinom u termodinamici a izbog togo što kako je rekao entropiju niko ne razume pa će mu to pomoći eventualnim debatama.

Za razliku od Šenona, Viver je do svog rešenja došao koristeći termodinamiku odnosno Bolcmanove radove. On je entropiju označio sa H i došao do formule

H(P1, P2, P3,…) = − P1log2P1 − P2log2P2 − P3log2P3 − ….

I = H

Series NavigationEntropija i teorija informacija 2Čovek i entropija

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

%d bloggers like this: