Slide9

Predavanje Saturn - gospodar prstenova

Predavanje „Najvišu planetu vidim trostruko ili Saturn - gospodar prstenova" biće održano u četvrtak 4. marta od 19:00 h. Predavač će biti prof. dr Dragan Gajić.Predavanje možete pratiti na sajtu i YouTube kanalu AD Alfa, kao i na ...
Slide8

Predavanje “Da Jupitera nije bilo, ni nas ne bi bilo!”

Predavanje „Da Jupitera nije bilo, ni nas ne bi bilo!“ biće održano u četvrtak 18. februara od 19:00 h. Predavač će biti prof. dr Dragan Gajić.Predavanje možete pratiti na sajtu i YouTube kanalu AD ...
Slide7

Predavanje: “Mars – Mirna planeta boga rata”

Predavanje „Mars – Mirna planeta boga rata“ biće održano u četvrtak 11. februara od 19:00 h. Predavač će biti prof. dr Dragan Gajić.Predavanje možete pratiti na sajtu i YouTube kanalu Astronomskog društva “Alfa” iz Niša, kao ...
earth-sun

Svet nauke u 2020. godini

Stigao je kraj još jedne i to prilično "lude" godine. Godine u kojoj ništa nije bilo isto kao pre, godine u kojoj se mnogo toga promenilo, godine u kojoj mnogo ...
predavanje-02

Predavanje “Sunce – zvezda Sunčevog sistema”

U četvrtak 24. decembra od 19 h biće održano online predavanjeSunce – zvezda Sunčevog sistemapredavač će biti dr Milan Milošević. Predavanje možete pratiti na sajtu AD Alfa i na našem YouTube kanalu, kao i na ...
Jupiter-and-Saturn-777x466-1

Velika konjunkcija Jupitera i Saturna

Sutra, u ponedeljak 21. decembra 2020. godine dve najveće planete Sunčevog sistema. Jupiter i Saturn, na nebu će izgledati vrlo blizu. Kad padne mrak, na zapadu, nisko na horizontu sijaće ...

Entropija i teorija informacija 2

Osobine entropije kao veličine u informatici su: Neprekidnost- s obzirom da se entropija računa kao logaritam, menjanje verovatnoće menja entropiju za malu vrednost.Simetrija- entropija je ista bez obzira po redu se računa

f36

Maksimum – Entropija je maksimalna kada su verovatnoće svih mogućih odgovora jednake.

f37

Aditivnost – u skupu koji ima n elemenata i k podsistema u kojim ima b1,b2,….bk tako da važi b1+b2+…bn═n ukupna entropija je jednaka sumi entropija svih podstistema i individualnim entropijama podsistema

f38

Na primer ako bacamo novčić i verovatnoća da se padne glava ili pismo je ista (1/2) onda je neizvesnost najveća i entropija je 1. Međutim ako je iz nekog razloga verovatnoća da se padne glava q a pismo p (q≠p) onda je entropija manja.

200px-Binary_entropy_plot

Izvori informacija

Ovo su izvori koji generišu signal – informaciju. Poruka se šalje određenim znakovima koji čine skup kojim je određen izvor S═(si). Ovakav izvor se naziva diskretan izvor. Koristeći znakove koji se nalaze u skupu S (azbuka izvora) izvor generiše poruku kojom nam saopštava stanje u kom se nalazi. Ako stalno šalje iste poruke to znači da nas obaveštava da mu se stanje ne menja i da se neće promeniti. Ako izvor generiše informacije nezavisno jedan od drugog onda je to izvor bez pamćenja ali ako pamti jedan ili više poslednje generisanih elemenata i na osnovu njih dalje generiše simbole onda je to izvor sa pamćenjem koji se još naziva Markovljev izvor.

Za izračunavanje količine informacija i entropije koriste se već pomenute formule u istom obliku s tim što se za izvor sa memorijom koristi drugačiji oblik. Na primer za Markovljev izvor k-tog reda (izvor koji pamti k poslednje generisanih elemenata) entropija se računa po formuli:

F44

inf 333

Klod Senon, Ralf Hartli, Norbert Viner

Series NavigationStrela vremenaEntropija i teorija informacija 1

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

%d bloggers like this: