noc-istrazivaca-m-objekti

Upoznajte svemir u Noći istraživača

Departman za fiziku PMF-a u Nišu za ovogodišnju Noć istraživača vodi vas na putovanje kroz svemir, od planeta i kometa do zvezda, maglina, zvezdanih jata i udaljenih galaksija. Na ovom ...
crna-rupa-noc-istrazivaca

Od crne rupe do Nobelove nagrade za fiziku - snimak predavanja

Ovogodišnja, 11. po redu, „Evropska noć istraživača“ u virtuelnom okruženju, donoseći putem interneta brojne eksperimente, radionice, izložbe, predavanja i druženja sa naučnicima.Naučnici i istraživači iz najrazličitijih oblasti biće na istom ...
NightOfThePerseids_Horalek_1800

Meteorska kiša - Perseidi 2020 (Stižu zvezde “padalice”)

Svake vedre noći, ako odete negde daleko od svetla grada i ako ste dovoljno strpljivi možete da vidite nekoliko meteora svakog sata. Međutim, svake godine oko 10. avgusta "zvezde padalice" ...
kupola-atomske-bombe

Dan kada je eksplodirala prva atomska bomba

Pre tačno 75 godine, tačnije 6. avgusta 1945. američki avion bombarder bacio je jednu jedinu bombu na japanski grad. Taj grad bila je Hirošima, a posledice te bombe pamtiće generacije ...
APOD-Soponyai-PenumbralEclipse

“Pomračenje” Meseca – 5. jun 2020

Za večeras (5. jun) nebeska mehanika “pripremila” je pomračenje Meseca, Međutim, ovo pomračenje značajno će se razlikovati od onih atraktivnih delimičnih i totalnih pomračenja Meseca koja smo posmatrali tokom prethodnih par godina.Večerašnje pomračenje biće ...
demo2-launch-1024x584-1

Uspešno poletanje - Falkon 9 i Dragon

Sinoć, 30. maja, u 21:22 h po našem vremenu raketa Falcon 9 uspešno je poletela sa lansirne rampe 39A u Kenedi svemirskom centru. Na vrhu rakete nalazila se kapsula Dragon, ...

Entropija i teorija informacija 2

Osobine entropije kao veličine u informatici su: Neprekidnost- s obzirom da se entropija računa kao logaritam, menjanje verovatnoće menja entropiju za malu vrednost.Simetrija- entropija je ista bez obzira po redu se računa

f36

Maksimum – Entropija je maksimalna kada su verovatnoće svih mogućih odgovora jednake.

f37

Aditivnost – u skupu koji ima n elemenata i k podsistema u kojim ima b1,b2,….bk tako da važi b1+b2+…bn═n ukupna entropija je jednaka sumi entropija svih podstistema i individualnim entropijama podsistema

f38

Na primer ako bacamo novčić i verovatnoća da se padne glava ili pismo je ista (1/2) onda je neizvesnost najveća i entropija je 1. Međutim ako je iz nekog razloga verovatnoća da se padne glava q a pismo p (q≠p) onda je entropija manja.

200px-Binary_entropy_plot

Izvori informacija

Ovo su izvori koji generišu signal – informaciju. Poruka se šalje određenim znakovima koji čine skup kojim je određen izvor S═(si). Ovakav izvor se naziva diskretan izvor. Koristeći znakove koji se nalaze u skupu S (azbuka izvora) izvor generiše poruku kojom nam saopštava stanje u kom se nalazi. Ako stalno šalje iste poruke to znači da nas obaveštava da mu se stanje ne menja i da se neće promeniti. Ako izvor generiše informacije nezavisno jedan od drugog onda je to izvor bez pamćenja ali ako pamti jedan ili više poslednje generisanih elemenata i na osnovu njih dalje generiše simbole onda je to izvor sa pamćenjem koji se još naziva Markovljev izvor.

Za izračunavanje količine informacija i entropije koriste se već pomenute formule u istom obliku s tim što se za izvor sa memorijom koristi drugačiji oblik. Na primer za Markovljev izvor k-tog reda (izvor koji pamti k poslednje generisanih elemenata) entropija se računa po formuli:

F44

inf 333

Klod Senon, Ralf Hartli, Norbert Viner

Series NavigationStrela vremenaEntropija i teorija informacija 1

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

%d bloggers like this: