Click here to load reader

Termodynamika informacji - th- · PDF fileTermodynamika informacji 25 z róznic w energii swobodnej, musza˛ by˙ c znaczne, a wówczas nie ma´ mowy o odwracalnosci, albo te´ z ró˙

  • View
    214

  • Download
    0

Embed Size (px)

Text of Termodynamika informacji - th- · PDF fileTermodynamika informacji 25 z róznic w...

Termodynamika informacji

P. F. GraWydzia Fizyki, Astronomii i Informatyki Stosowanej UJ

http://th-www.if.uj.edu.pl/zfs/gora/

30 pazdziernika 2014

http://th-www.if.uj.edu.pl/zfs/gora/

Pojecia z dwu rznych dyscyplin

Fizyka InformatykaDemon Maxwella Maszyna Turinga

podstawy termodynamiki podstawy teorii obliczalnosci

przetwarza informacje o czastkach przetwarza informacje o symbolach

przetwarzaja informacje

Termodynamika informacji 2

Pojecie entropii

Niech pewien ukad fizyczny moze znajdowac sie w jednym z N stanw{i}Ni=1. Kazdy z tych stanw moze byc przybrany z prawdopodobien-stwem pi = P (i).

i pi = 1.

Kiedy mamy pena informacje o ukadzie? Kiedy wiemy, ze ukad z caapewnoscia znajduje sie w konkretnym, znanym nam stanie i0: pi0 = 1,pi 6=i0 = 0.

Kiedy mamy najmniejsza informacje o ukadzie? Gdy kazdy stan ukadujest obsadzony z jednakowym prawdopodobienstwem: p1 = p1 = =pN ( = 1/N).

Termodynamika informacji 3

Im mniej prawdopodobny jest stan, w ktrym

znajduje sie ukad, tym bardziej uporzadkowany

nam sie wydaje.

Termodynamika informacji 4

Miara informacji

Przykad: w urnie jest sto ponumerowanych kul. Kule o numerach 1,2 saczerwone. Kule o numerach 3,4,. . . ,100 sa niebieskie. Ktos wylosowajedna kule i mwi nam

Wylosowaem kule czerwona

Wylosowaem kule niebieska

W ktrym przypadku dowiemy sie wiecej o wyniku losowania?

Dowiemy sie wiecej , gdy uzyskany wynik bedzie mniej prawdopodobny.

Termodynamika informacji 5

Miara informacji powinna byc

1. Ciaga funkcja prawdopodobienstwa zajscia zdarzenia,

2. Musi byc tym wieksza, im prawdopodobienstwo jest mniejsze,

3. Jezeli zdarzenie jest suma dwu zdarzen niezaleznych, miara informa-cyjna zdarzenia acznego musi byc rwna sumie miar zdarzen skado-wych.

Funkcja, ktra spenia te wymagania, jest

I(i) = log2

(1

P (i)

)= log2 P (i)

Termodynamika informacji 6

Entropia Gibbsa-Shannona

Claude Shannon, 1948: Entropia informacyjna jest srednia miara informa-cji zawartej w danym rozkadzie.

S = N

i=1

pi log2 pi

Ten wzr jest identyczny (z dokadnoscia do jednostek) z wyprowadzonymprzez Josiaha Willarda Gibbsa na przeomie XIX i XX wieku:

S = kBN

i=1

pi ln pi

Termodynamika informacji 7

Przypadki ekstremalne:

1. Pena wiedza o systemie S = 0.

2. Najmniejsza wiedza o systemie wszystkie mikrostany sa rwnowazne

i : pi = 1/N : S = kBN

i=1

1N ln

(1N

)= kB ln

(1N

)= kB lnN .

Mozna pokazac, ze jest to najwieksza mozliwa wartosc entropii.

Jest to entropia Boltzmanna: Jezeli wszystkie mikrostany sa jednakowoprawdopodobne, entropia ukadu jest proporcjonalna do logarytmu z liczbydostepnych stanw.

Termodynamika informacji 8

II zasada termodynamiki:W zadnych procesach zachodzacych

spontanicznie entropia nie moze malec.

Czy to sie odnosi do obliczen na komputerze?!A raczej, czy przeprowadzanie obliczen koniecznie

wiaze sie ze wzrostem entropii?Termodynamika informacji 9

Demon Maxwella

Czy demon Maxwella, po wyeliminowaniu (zminimalizowaniu) tarcia itp,narusza II zasade termodynamiki?

Termodynamika informacji 10

Silnik Szilarda minimalistyczna wersja demona Maxwella

1. Wstaw przegrode.2. Ustal, w ktrej powce jest czastka (pomiar!).3. Pzyczep ciegna.4. Poczekaj, az czastka przesunie przegrode do sciany.5. Odczep ciegna.6. GOTO 1.

Termodynamika informacji 11

Na ktrym etapie cyklu pracy silnika Szilarda wzrasta entropia?

Leo Szilard: Entropia wzrasta w wyniku dokonania pomiaru.

To nie jest prawidowa odpowiedz.

Mozna dokonac odwracalnego pomiaru stanu ukadu dwusta-nowego.

Termodynamika informacji 12

Reprezentacje jednego bitu

czastka w pudeku z przegroda

czastka w podwjnej studnipotencjau

spin 12

Termodynamika informacji 13

Jesli wiem, ze ukad na pewno znajduje sie w jednym z dwu mozliwychstanw, entropia wynosi

Swiem = k(1 ln 1 + 0 ln 0) = 0 . (1)

Jesli ukad z rwnym prawdopodobienstwem znajduje sie w kazdym z dwumozliwych stanw, entropia wynosi

Snie wiem = k(1

2 ln

1

2+

1

2 ln

1

2

)= k ln 2 . (2)

W silniku Szilarda wstawienie przegrody utrata informacji

o stanie ukadu powoduje wzrost entropii.

Termodynamika informacji 14

Kiedy jeszcze tracimy informacje?

Jesli w toku jakichs obliczen dwie sciezki zbiegaja sie (np. jesli dwa ze-stawy danych wejsciowych daja ten samy wynik), taka operacja jest lo-gicznie nieodwracalna. Przejscie od stanu 1 do stanu 2 mozna interpreto-wac jako znikniecie bariery oddzialejace dwa stany logiczne, czemu takzetowarzyszy wzrost entropii o k ln 2.Termodynamika informacji 15

Zasada Landauera (Rolf Landauer, 1961)

Kazda operacja logicznie nieodwracalna

usuniecie jednego bitu informacji

poaczenie dwu sciezek obliczen

powoduje wzrost entropii o k ln 2.

Istniejace komputery produkuja miliony razy wiecej entropii. . .

Termodynamika informacji 16

Dlaczego demon Maxwella nie amie II zasady?

Demon Maxwella, aby wiedziec, czy ma otworzyc drzwiczki, czy nie, musigromadzic informacje o czastach. Jesli demon jest automatem skonczo-nym, musi miec skonczona pamiec. W ktryms momencie ta pamiec siewyczerpie i demon, aby mc dalej pracowac, musi zaczac czyscic pamiec.Entropia wzrasta, gdy demon usuwa bity ze swojej pamieci.

Termodynamika informacji 17

Reversible computing

Czy da sie prowadzic obliczenia bez operacji logicznie nieodwracalnych?

Trzeba przetumaczyc cay kod programuna operacje na bitach, ktre mozna wykonacna bramkach logicznych (trudne, alemozliwe). Negacja i identycznosc sa odwracalne. Bramki AND, OR, NAND, XOR nie saodwracalne

Termodynamika informacji 18

Bramka Toffoli

Odwracalne bramki logiczne musza miec tyle samo wyjsc, co wejsc. Mu-sza tez zapamietywac swoje dane wejsciowe. Tego typu bramka jest za-proponowana przez Tommaso Toffoli bramka(x, y, z) (x, y, z XOR (x AND y)). Bramka ta odwraca trzeci bit,jesli dwa pierwsze sa ustawione.

INPUT OUTPUT0 0 0 0 0 00 0 1 0 0 10 1 0 0 1 00 1 1 0 1 11 0 0 1 0 01 0 1 1 0 11 1 0 1 1 11 1 1 1 1 0

Termodynamika informacji 19

Programy binarne, napisane przy uzyciu negacji i bramki Toffoliego, salogicznie odwracalne (ale maja bardzo duze wymagania pamieciowe).

Czy da sie bramke Toffoli zrealizowac praktycznie?

Przy uzyciu ukadw elektronicznych da sie, ale ukady elektronicznew czasie pracy rozpraszaja duzo ciepa, wiec obliczenie nie bedzie fizycz-nie odwracalne.

Termodynamika informacji 20

Billiard Ball Model

Toffoli & Fredkin, 1982: Bramki reprezentowane przez bilard (idealnie spre-zyste zderzenia kul, pod katem prostym). Hardware jest reprezentowanyprzez geometrie bilardu (ukad sztywnych odbijaczy, kanay), dane przezwarunki poczatkowe, software to zderzenia.

Termodynamika informacji 21

Realizacja Bramki Toffoli w modelu BBM (Hosseini & Dueck, 2010)

Bilard wymaga idealnych (nierealizowalnych w rzeczywistosci) materiawi jest chaotyczny.

Termodynamika informacji 22

Reversible computing ma sie dobrze jako koncept

teoretyczny, ale nie wydaje sie, aby mozna je byo

zrealizowac w praktyce.

Termodynamika informacji 23

Zebatka brownowska: Inne przedstawienie demona Maxwella

Smoluchowski, Feynman, Magnasco, Parrondo, Jarzynski. . .Termodynamika informacji 24

Inny model reversible computation

Inny model obliczen odwracalnych opiera sie na analogii z fizyka staty-styczna: W fizyce proces mozna realizowac na drodze kwazistatycznej,poprzez stany bardzo mao (nieskonczenie mao) rzniace sie od stanwrwnowagowych gdyby wszystkie stany byy rwnowagowe, ukad conajwyzej wykonywaby badzenie przypadkowe pomiedzy nimi, a zatempotrzebny jest jakis naped. Dla ukadw makroskopowych bardzo drobneodstepstwa od rwnowagi wystarczaja.

Jak pokaza John D. Norton, to nie dziaa dla ukadw bardzo maych,a wiec takich, jakie rozwaza sie w teoretycznej analizie obliczen odwra-calnych: Aby doprowadzic ukad od zadanego stanu poczatkowego do po-zadanego stanu koncowego czyli aby przeprowadzic obliczenie alborznice w prawdopodobienstwach poszczeglnych stanw, wynikajace np.Termodynamika informacji 25

z rznic w energii swobodnej, musza byc znaczne, a wwczas nie mamowy o odwracalnosci, albo tez rznice sa niewielkie, ale sa niwelowaneprzez fluktuacje. W tej sytuacji ukad wykonuje jedynie badzenie przypad-kowe.

Termodynamika informacji 26

Model Jarzynskiego

Co robi demon Maxwella? Otwiera lub zamyka drzwiczki w zaleznosci odtego, czy nadlatuje czastka szybka czy wolna jest to decyzja zero-jedynkowa. W jezyku zebatek mozna powiedziec, ze zebatka przeskakujeo jedna pozycje w zaleznosci od tego, w ktra strone zosta uderzony wia-traczek.

Minimalistyczny model demona Maxwella jako trjstanowego automatu:

Dybiendu Mandal, Christopher Jarzynski, Work and information proces-sing in a solvable model of Maxwells demon, PNAS 109, 1164111645(17 lipca 2012).

Termodynamika informacji 27

Ukad skada sie z automatu trjstanowego (trzy stany: minimalna liczbapozwalajaca zaobserwowac ruch kierunkowy) i jednego bitu informacji.W stanie swobodnym ukad przechodzi pomiedzy swoimi stanami o nie-zmienionym bicie. Mozliwe sa tez przejscia A C (z odwrceniembitu). Wszystkie 6 zozone stany sa