covid-19

Korona virus - COVID-19 (korisni linkovi)

Ako prethodnih par nedelja (meseci) niste bili na godišnjem odmoru na Mesecu, Marsu ili Jupiteru sigurno ste puno toga čuli, videli, pročitali o tzv. korona virusu (tj. virusu SARS-CoV-2) koji ...
CREATOR: gd-jpeg v1.0 (using IJG JPEG v62), quality = 82

Ajnštajn, Hoking i broj π

Postoje oni datume za koje čovek ne može da izdvoji najvažniji događaj koji se tada dogodio ili zbog čega je taj datum značajan. Jedan takav datum je 14. mart. U ...
qgmm-wgis-07

Žene u nauci

Danas je 8. mart, jedan od onih dana kad cvećare i "gift šopovi" prodaju i ono što je teško prodati. Nažalost, u gomili cveća i različitih poklona gotovo da je ...
530px-palebluedot

30 godina Plave tačke u beskraju i Porodičnog portreta

Šta mislite šta je ovo na slici? Ne znate? …  Ova svetla tačka je Zemlja, naša planeta. Generacije ljudi, hiljadama godina žive na toj svetloj tački, sve što ste ikada… nalazi se na njoj…A fotografije je ...
cezar-milankovic

Srpska Nova godina?

Stigao je još jedan 13. januar i “nova” godina. Ali, da li je ova Nova godina "Srpska" ili je ona možda Cezarova saznaćete u tekstu koji sledi.Od nastanka civilizacije ljudi su tražili sve ...
Muhammad-Rayhan-PLE-2016_1474060079

Pomračenje Meseca - 10. januar 2020

Za večeras (10. januar) nebeska mehanika “pripremila” je pomračenje Meseca, Međutim, ovo pomračenje značajno će se razlikovati od onih atraktivnih delimičnih i totalnih pomračenja Meseca koja smo posmatrali tokom prethodnih ...

Entropija i teorija informacija 2

Osobine entropije kao veličine u informatici su: Neprekidnost- s obzirom da se entropija računa kao logaritam, menjanje verovatnoće menja entropiju za malu vrednost.Simetrija- entropija je ista bez obzira po redu se računa

f36

Maksimum – Entropija je maksimalna kada su verovatnoće svih mogućih odgovora jednake.

f37

Aditivnost – u skupu koji ima n elemenata i k podsistema u kojim ima b1,b2,….bk tako da važi b1+b2+…bn═n ukupna entropija je jednaka sumi entropija svih podstistema i individualnim entropijama podsistema

f38

Na primer ako bacamo novčić i verovatnoća da se padne glava ili pismo je ista (1/2) onda je neizvesnost najveća i entropija je 1. Međutim ako je iz nekog razloga verovatnoća da se padne glava q a pismo p (q≠p) onda je entropija manja.

200px-Binary_entropy_plot

Izvori informacija

Ovo su izvori koji generišu signal – informaciju. Poruka se šalje određenim znakovima koji čine skup kojim je određen izvor S═(si). Ovakav izvor se naziva diskretan izvor. Koristeći znakove koji se nalaze u skupu S (azbuka izvora) izvor generiše poruku kojom nam saopštava stanje u kom se nalazi. Ako stalno šalje iste poruke to znači da nas obaveštava da mu se stanje ne menja i da se neće promeniti. Ako izvor generiše informacije nezavisno jedan od drugog onda je to izvor bez pamćenja ali ako pamti jedan ili više poslednje generisanih elemenata i na osnovu njih dalje generiše simbole onda je to izvor sa pamćenjem koji se još naziva Markovljev izvor.

Za izračunavanje količine informacija i entropije koriste se već pomenute formule u istom obliku s tim što se za izvor sa memorijom koristi drugačiji oblik. Na primer za Markovljev izvor k-tog reda (izvor koji pamti k poslednje generisanih elemenata) entropija se računa po formuli:

F44

inf 333

Klod Senon, Ralf Hartli, Norbert Viner

Series NavigationStrela vremenaEntropija i teorija informacija 1

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

%d bloggers like this: