apolo11-pre-poletanja

Apolo 11: 50 godina kasnije

Na današnji dan, pre tačno 50 godina, tj. 16. jula 1969. godine u 9:32h po lokalnom vremenu (13:32 po Griniču), iz Kennedy Space Center-a lansirana je raketa nosač Saturn V. Na vrhu te ...
sunbathing

Sunčanje i/ili zdravlje? Izaberite sami!

Sunce, taj žuti disk koji svakoga dana putuje po plavom nebeskom svodu, je samo jedna od nekoliko milijardi zvezda rasutih svuda po praznom prostoru svemira. Ono je jedna sasvim obična ...
davinci

Leonardo da Vinči: Umetnik. Naučnik. Pronalazač.

Pišu: Jovana Savić i Jovana Stanimirović“Onaj ko isključivo ceni praksu bez teorije je poput moreplovca koji se ukrca na brod bez kormila i kompasa, ne znajući kuda se plovi.” - ...
crna-rupa-prva

Prva fotografija crne rupe!

Već nekoliko decenija, a može se reći i vekova, crne rupe privlače ogromnu pažnju kako naučnika tako i javnosti, kroz popularne tekstove, različite ideje i SF romane i (visokobudžetne) filmove.Do ...
dositej-obradovic

Dositej Obradović – srpski prosvetitelj i reformator

„Knjige, braćo moja, knjige, a ne zvona i praporce!“Dositej ObradovićNa današnji dan 28. marta 1811. godine u Beogradu je umro najveći srpski prosvetitelj i reformator – Dositej Obradović. Sahranjen je ...
proposal

CERN – mesto gde je nastao “Internet”

Prvi World Wide Web Logo (Autor: Robert Cailliau)Prethodnih nekoliko godina imali smo prilike da često slušamo o CERN-u, LHC-u - i "najvećem eksperimentu čovečanstva", ulasku Srbije u punopravno članstvo, akceleratoru, ...

Entropija i teorija informacija 2

Osobine entropije kao veličine u informatici su: Neprekidnost- s obzirom da se entropija računa kao logaritam, menjanje verovatnoće menja entropiju za malu vrednost.Simetrija- entropija je ista bez obzira po redu se računa

f36

Maksimum – Entropija je maksimalna kada su verovatnoće svih mogućih odgovora jednake.

f37

Aditivnost – u skupu koji ima n elemenata i k podsistema u kojim ima b1,b2,….bk tako da važi b1+b2+…bn═n ukupna entropija je jednaka sumi entropija svih podstistema i individualnim entropijama podsistema

f38

Na primer ako bacamo novčić i verovatnoća da se padne glava ili pismo je ista (1/2) onda je neizvesnost najveća i entropija je 1. Međutim ako je iz nekog razloga verovatnoća da se padne glava q a pismo p (q≠p) onda je entropija manja.

200px-Binary_entropy_plot

Izvori informacija

Ovo su izvori koji generišu signal – informaciju. Poruka se šalje određenim znakovima koji čine skup kojim je određen izvor S═(si). Ovakav izvor se naziva diskretan izvor. Koristeći znakove koji se nalaze u skupu S (azbuka izvora) izvor generiše poruku kojom nam saopštava stanje u kom se nalazi. Ako stalno šalje iste poruke to znači da nas obaveštava da mu se stanje ne menja i da se neće promeniti. Ako izvor generiše informacije nezavisno jedan od drugog onda je to izvor bez pamćenja ali ako pamti jedan ili više poslednje generisanih elemenata i na osnovu njih dalje generiše simbole onda je to izvor sa pamćenjem koji se još naziva Markovljev izvor.

Za izračunavanje količine informacija i entropije koriste se već pomenute formule u istom obliku s tim što se za izvor sa memorijom koristi drugačiji oblik. Na primer za Markovljev izvor k-tog reda (izvor koji pamti k poslednje generisanih elemenata) entropija se računa po formuli:

F44

inf 333

Klod Senon, Ralf Hartli, Norbert Viner

Series NavigationStrela vremenaEntropija i teorija informacija 1

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

%d bloggers like this: