CERN-MC2024

CERN Masterclass 2024

U periodu od 15. februara do 27. marta 2024. godine pod pokroviteljstvom CERN-a i grupe IPPOG (International Particle Physics Outreach Group) održaće se 20. međunarodni program “MasterClasses – Hands on Particle Physics” (MC2024). U ...
skolaPMN

Otvaranje Škole prirodno-matematičkih nauka u Nišu

U subotu, 18. novembra na Prirodno-matematičkom fakultetu u Nišu počinje Škola prirodno-matematičkih nauka. Ovu školu namenjenu učenicima 7. i 8. razreda osnovne i svih razreda srednje škole ove godine po ...
biosignatureNajava

Astrobiologija i astronomsko posmatranje povodom Noći istraživača

Povodom predstojeće Evropske noći istraživača AD "Alfa" i Departman za fiziku PMF-a u Nišu organizuju naučno-popularno predavanje (četvrtak, 28. septembar) i teleskopsko posmatranje (petak, 29. septembar).Jedno od kanonskih pitanja astrobiologije ...
Perseid Meteors over Mount Shasta

Letnji vatromet u epizodi Perseidi 2023

Svake vedre noći, ako odete negde daleko od svetla grada i ako ste dovoljno strpljivi možete da vidite nekoliko meteora svakog sata. Međutim, svake godine u vreme Nisville Jazz festivala, ...
Unearthed-SuperMoon-1611-1-web

Dva (plava) Supermeseca u avgustu 2023. godine

Ako sutra uveče pogledate u nebo videćete Supermesec, najveći Mesec u mnogo godina! Bićete svedok spektakularnog prizora kakav se retko viđa na nebu, pun Mesec će biti ogroman, najveći koji ...
kvark-kvazar

Od kvarka do kvazara - uz mnogo astrofizike i malo matematike u Maju mesecu matematike u Nišu

Obeležavanje Maja meseca matematike, u organizaciji Departmana za matematiku PMF-a u Nišu nastavlja se u petak, 26. maja, od 17:00 h, u amfiteatru Prirodno-matematičkog fakulteta u Nišu sa tri nova ...
Slika dana: Mesec u polusenci [18.10.2013]

Pomračenje Meseca polusenkom (5. maj 2023)

Za ovaj petak (5. maj) nebeska mehanika “pripremila” je pomračenje Meseca, Međutim, ovo pomračenje značajno će se razlikovati od onih atraktivnih delimičnih i totalnih pomračenja Meseca koja smo posmatrali tokom ...
slika2

Нобелова награда за физику 2022. године

Аутор: проф. др Мирољуб Дугић(Институт за физику, Природно-математички факултет, Универзитет у Крагујевцу)Нобелову награду за физику за 2022. годину поделила су тројица експерименталних физичара за област заснивања квантне механике, Ален Аспе ...
CometZtf_Hernandez_960

Kometa C/2022 E3 (ZTF)

Ako ste tokom prethodnih par meseci bili totalno izolovani od vesti ili toliko ne volite vesti iz astronomije da čim ih čujete menjate sajt/TV kanal/radio stanicu onda verovatno niste čuli ...
solar-eclipse

Delimično pomračenje Sunca (25. oktobar 2022)

Još tačno deset dana deli nas do predstojećeg delimičnog pomračenja Sunca koje će biti vidljivo iz Srbije. Pomračenje Sunca za mnoge je verovatno najznačajnija i najazanimljivija pojava koju možemo da ...
kosmicke-litice

Džejms Veb Teleskop - prve fotografije

Odavno je "Svet nauke" otišao u zimski... letnji... višegodišnji san i teško ga je probuditi ali neki događaji u nauci su toliko značajni da mogu da predstavljaju prekretnicu u budućem ...
800px-Benjamin_Franklin_1767

Bendžamin Frenklin (1706 - 1790)

Na današnji dan, 17. januara, 1706. godine, u Bostonu (Masačusets, SAD), rođen je Benžamin Frenklin (Benjamin Franklin), američki naučnik i političar, borac za ljudska prava, učesnik u Američkom ratu za ...
1280px-ALH84001_structures

Meteorit sa Marsa ALH84001

Najpoznatiji meteorit sa Marsa otkriven je 27. decembra 1984. godine na Antarktiku.Ovaj meteorit nosi oznaku ALH84001 i otkriven je u oblasti Allan Hills, grupi brda na Antarktiku. Pronašao ga tim ...
Slika dana: Galileo Galilej i teleskop [25.08.2014]

Prvi teleskop

Galileo Galilej i prvi teleskop (izvor: Physics Today)Na današnji dan 1609. godine Galileo Galilej predstavio je "prvi teleskop" Leonardu Donatu, vladaru Venecije, i njegovim savetnicima. Galileo Galilej napravio je ovaj ...
apolo11-pre-poletanja

52 godine od Malog koraka za čoveka - Apolo 11

Na današnji dan, pre tačno 52 godine, 20. jula 1969. godine čovek je prvi sleteo na površinu drugog nebeskog tela.Oko šest sati pre “malog koraka za čoveka, ali velikog za čovečanstvo” dvočlana posada ...
yuri_gagarin_01

Juri Gagarin - 60 godina od prvog leta u svemir

Pre tačno 60 godina, 12. aprila 1961. godine oko 9 sati po Moskovskom vremenu, raketa Vostok 1 poletela je ka svemiru. U raketi je sedeo Juri Gagarin koji je nekoliko minuta kasnije postao prvi čovek u ...
ada_lovelace_portrait

Rođendan Ejde King Lavlejs - prve programerke

Samo dan kasnije ali i mnogo godina pre rođenja Grejs Hoper, na današnji dan, 10. decembra 1815. godine rođena je Ejda King Lavlejs (Ada Lovelace), ćerka čuvenog engleskog pesnika Lorda Bajrona, ...
Grace-Hopper

Grejs Hoper: do ratne mornarice do kompajlera i buba

Kada govorimo o IT sektoru, matematici i vojsci verovatno nam prva asocijacija budu muškarci. Međutim, tu sliku menja žena rođena na današnji dan, 9. decembra 1906. godine u Njujorku. Doktorirala ...
kupola-atomske-bombe

Dan kada je eksplodirala prva atomska bomba

Pre tačno 75 godine, tačnije 6. avgusta 1945. američki avion bombarder bacio je jednu jedinu bombu na japanski grad. Taj grad bila je Hirošima, a posledice te bombe pamtiće generacije ...
530px-palebluedot

30 godina Plave tačke u beskraju i Porodičnog portreta

Šta mislite šta je ovo na slici? Ne znate? …  Ova svetla tačka je Zemlja, naša planeta. Generacije ljudi, hiljadama godina žive na toj svetloj tački, sve što ste ikada… nalazi se na njoj…A fotografije je ...
planeta-vlasina

Planeta Vlasina oko zvezde Morave

Povodom jubileja koji ove godine obeležava Međunarodna astronomska unija (MAU), 100 godina od svog osnivanja, sve zemlje članice MAU su imale jedinstvenu priliku da kumuju imenu jednoj od novootkrivenih planeta ...
sunbathing

Sunčanje i/ili zdravlje? Izaberite sami!

Sunce, taj žuti disk koji svakoga dana putuje po plavom nebeskom svodu, je samo jedna od nekoliko milijardi zvezda rasutih svuda po praznom prostoru svemira. Ono je jedna sasvim obična ...
davinci

Leonardo da Vinči: Umetnik. Naučnik. Pronalazač.

Pišu: Jovana Savić i Jovana Stanimirović“Onaj ko isključivo ceni praksu bez teorije je poput moreplovca koji se ukrca na brod bez kormila i kompasa, ne znajući kuda se plovi.” - ...
crna-rupa-prva

Prva fotografija crne rupe!

Već nekoliko decenija, a može se reći i vekova, crne rupe privlače ogromnu pažnju kako naučnika tako i javnosti, kroz popularne tekstove, različite ideje i SF romane i (visokobudžetne) filmove.Do ...
dositej-obradovic

Dositej Obradović – srpski prosvetitelj i reformator

„Knjige, braćo moja, knjige, a ne zvona i praporce!“Dositej ObradovićNa današnji dan 28. marta 1811. godine u Beogradu je umro najveći srpski prosvetitelj i reformator – Dositej Obradović. Sahranjen je ...

Entropija i teorija informacija 1

Primena entropije na teoriju informacija u stvari predstavlja statistički opis informacija, izvora informacija i operacija sa njima (kompresovanje itd.).

Teorija informacija je grana primenjene matematike nastala u 20 veku. Osnovu ove teorije čine radovi „Prenos informacija“ koji je objavio Ralf Hartli 1928 zatim možda i najvažniji „Matematička teorija komunikacije“ Kloda Šenona iz 1948 i „Kibernetika“ koju je takođe 1948 godne objavio Norbert Viner. Hartli je prvi definisaoizraz za količinu informacije , Šenon je uz pomoć matematičara Von Njumana definsao entropiju izvora informacija proučavajući izgubljene signale u telefonskim žicama a Viner je dao svoju teoriju po kojoj je informacija mera uređenosti dok je neodređenost mera neorganizovanosti i po količinama su iste pa važi

(информација) = (неодређеност).

U matematici je svaki iskaz ili tačan (T) ili netačan (┴) i to je osnova binarne logike (o ili 1). Međutim problem nastaje kada se postavi pitanje čiji odgovor je neodređen odnosno nije samo T ili ┴.

Na primer pitanje: „koje je boje zid?“. Ako imamo 6 ponuđenih boja i vervatnoć da je svaka od njih tačan odgovor jednaka kako da postavljamo pitanja da dobijamo tačan odgovor?

U teoriji se pokazuje da ako imamo 2n mogućih i isto verovatnih odgovora ( p(n)═1/n) treba da postavimo n binarnih pitanja da pi sigurno znali odgovora. Zbog toga je Hartli predložio da se količina informacija računa kao negativan logaritam verovatnoće njenog pojavljivanja.Jedinica za količinu informacija je 1 bit mada postoje i Šenon po simbolu (shanon/symbol) a koristi se i Hartli po  simbolu (Hartley/symbol)

I(p) = −log2 (n) = log2n za p(n) ═ 1/n

Logaritam verovatnoće je negativan broj!!!! Takođe mogu da se koriste i druger osnove za logaritam

npr. 10, e – Ojlerov broj, ali i dualni logaritam ld I=l_d \frac {1} {P(S_i)}

Međutim, nakon ovoga javlja se problem u slučaju kada nije verovatnoća svih mogućih odgovora ista. Ovaj problem rešili su Šenon i Viver i to nezavisno jedan od drugog ali su dobili isto rešenje.

Na primer ako imamo dva moguća rešenja verovatnoće P1 i P2 tada je količina informacija za prvi slučaj I1 ═ -log2 P1 a za drugi I2 ═ -log2 P2. Srednja vrednost tj. matematičko očekivanje za ova dva broja je I = − P1I1 − P2I2.

U opštem slučaju za n ═ 2,3,4,5………. i za P1, P2, P3……..Pn važi

I = − P1log2P1 − P2log2P2 − … − PnlognPn.

Ovako definisana srednja vrednost količine informacija predstavlja entropiju odnosno neodređenost.

Ovu definiciju dao je Šenon koji je bio inžinjer i matematičar uz pomoć još von Njumana koji mu je pomogao i u davanju imena veličini jer je Šenon upotrebljavao izraz neodređenost ali mu je von Njuman rekao da je nazove entropija zbog sličnosti sa ovom veličinom u termodinamici a izbog togo što kako je rekao entropiju niko ne razume pa će mu to pomoći eventualnim debatama.

Za razliku od Šenona, Viver je do svog rešenja došao koristeći termodinamiku odnosno Bolcmanove radove. On je entropiju označio sa H i došao do formule

H(P1, P2, P3,…) = − P1log2P1 − P2log2P2 − P3log2P3 − ….

I = H

Series NavigationEntropija i teorija informacija 2Čovek i entropija

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.