工業革命、熱、統計力學
18世紀，因為工業革命（1760–1840）的動力需求，蒸汽機讓「熱」成為動力，熱力學開始蓬勃發展。
而有幾件事讓「隨機」跟「熱」扯上了關係。
當時的科學家一直在探討「熱」這個虛無縹緲的東西到底實際上是什麼。
17到18世紀流行的「燃素說」（Phlogiston theory）認為，「熱」的本質是一種會在燃燒中釋放出來、像火的物質。但這個理論沒辦法解釋一些現象，所以仍有其他科學家在找其他理論詮釋、或做實驗來探討「熱」的本質。
首先，1738年，物理兼數學家 Daniel Bernoulli （跟上面不同人！！他就是流體力學的作者！可以看這篇“數學世家柏努利家族”），發表了「氣體動力學」（kinetic theory of gases），在裡面提了個創新的概念：氣體是「一大堆朝各個方向移動的分子」、氣壓是「分子運動對表面的碰撞」、還有「熱是分子運動的動能」。
…只是當時不太有人理他，因為「能量守恆定律當時還沒有建立，分子之間為彈性碰撞也不是那麼顯而易見。」（wiki）。
要把熱能跟分子運動連結在一起，還缺少了很多拼圖。
從燃燒開始。
羅蒙諾索夫（Mikhail Lomonosov）反對「燃素說」，因為燃素說無法解釋鎂在燃燒之後重量不減反增的事實（如果燃素是物質，燃燒之後燃素消逝，重量應該減少。）。1756年，羅蒙諾索夫用實驗證明，金屬在密閉容器內加熱，質量不會增加，而放在空氣裏加熱，質量就會增加 — 「質量守恆法則」（Law of Mass Conservation）。
他認為物質會守恆，並認為「熱」其實是一種運動的形式。就像光的波動理論一樣，熱是由氣體的運動動能所造成的。他這樣說過：
所有自然的改變，都是從一個東西拿走多少就會在另外一個東西增加多少。這個自然的萬有法則也包含了運動法則：一個物體使用他的力量移動了其他的物體，事實上是將他失去的力量傳遞給了另一個物體。
“All changes in nature are such that inasmuch is taken from one object insomuch is added to another. So, if the amount of matter decreases in one place, it increases elsewhere. This universal law of nature embraces laws of motion as well, for an object moving others by its own force in fact imparts to another object the force it loses”
（這麼看起來…他這段話甚至是把物質跟力/能量看成同一件事啊，這觀點早了世界不知道多少世紀！）
所以燃燒發出的熱，其實不是什麼物質（燃素）…而是跟「力」有關的。
前面提到，關於熱的研究其實肇始於工業革命的蒸汽機。那些科學家們雖然研究熱的本質，但實際一點，要「工業」就要有機器啊。當時的人多靠經驗法則來建蒸汽機，效率不一。於是那時有個叫卡諾（Sadi Carnot，看wiki說是個非常倒霉的人）就開始想，有沒有辦法利用科學的理論，來增加蒸汽機的效率、甚至做出完美的蒸汽機呢？
他問了兩個問題：「熱機效率是否有一極限？」和「是否有其他一些更理想的工作液體或氣體取代蒸汽來加熱引擎？」，並因此於1824年出了一本書（Reflections on the Motive Power of Fire），提出了卡諾循環（ Carnot cycle）。在書裡，卡諾將「動力」定義為「引擎可以產生的實際效果」，並且給了「功」第一個較為現代的定義：「舉高到某個高度的重量」（weight lifted through a height）。
卡諾將蒸汽機 — 或者是熱功轉換這件事 — 抽象化成為一個模型，在科學家探討熱的同時，奠定了熱力學的理論化。在下圖的模型裡，熱（Q）由高溫物體（Th）到了低溫物體（Tc），會在熱轉移的過程中做功W。
接著進入到 “Mechanical equivalent of heat”
有三個人差不多時間獨立証實了「熱和機械功是同一種能量」（ heat and mechanical work were both forms of energy），它們本質上相同，當然也可以彼此互相轉換。這講起來很有趣，理論派的人們探討本質，實務派的人們探討應用，結果卻在探索的道路上交會了，發現這其實是同一件事。
發現的三個人中最有名的是焦耳（James Prescott Joule）。
1845年，焦耳研究熱、功、還有溫度的關係。他透過實驗發現「熱和機械功等價」。
利用下圖這個「焦耳設備」，掉下來的重物會拉動水中的螺旋槳，進而攪動水。實驗中，重物下降失去的「重力位能」會使水的溫度上升（來自螺旋槳的摩擦力）。他於是提出，他對系統所做的功，在系統內被轉換成了「熱能」（thermal energy）。並且證明做的功跟增加的熱能相等。
蒸汽機將熱轉成功，而焦耳設備將功轉成熱，這是個可逆的循環過程。
「功與熱等價」的概念接著讓「能量守恆法則」 — 熱力學第一定律 — 得以在之後被證實。
1844年，William Robert Grove 將機械能、熱、光、電、磁，全部統整成一個單一的「力」（ “force”，其實比較像現在講的energy）。1847年，Hermann von Helmholtz 統整了焦耳、卡諾等人的研究，推論出跟 Grove相似的結論，然後出版了 Über die Erhaltung der Kraft（力的守恆…的德文。）
接著，Grove在1850年，第一次使用了「能量守恆」（the law of the conservation of energy）這詞彙。
熱力學可以開張了。
熱力學研究熱、溫度、還有其與能量和功的關聯。
Thermodynamics is a branch of physics concerned with heat and temperature and their relation to energy and work. — wiki
1850年，克勞修斯在他一戰成名的paper：“Ueber die bewegende Kraft der Wärme” (“On the Moving Force of Heat and the Laws of Heat which may be Deduced Therefrom”)討論了熱的力學理論。在這篇paper裡，他證明了卡諾循環和能量守恆有所矛盾（？），並重述了兩條熱力學的定律以解決這個矛盾，以此為原本不那麼完備的熱力學打下了扎實的理論基礎。
接著，克勞修斯在從1854到1865年，發展了「熵」的概念，以及熱力學第二定律。
卡诺定理指出，任何一個heat machine的效率都不會大於用溫度直接轉換的（理想？）可逆卡諾heat machine的效率，可以寫成：
使S為熵，表示為Q/T， Q指熱的總量，T是物體的絕對溫度。上面的式子可以用熵寫成以下表示：
其中ΔS大於等於0。所以克勞修斯這樣描述熱力學第二定律：
The algebraic sum of all the transformations occurring in a cyclical process can only be positive, or, as an extreme case, equal to nothing.
將ΔS寫成積分的形式就是：
這裡 δQ 是熱的變化，正值表示吸熱、負值則是放熱。這公式對所有循環過程都成立。若這過程可逆，不等式的等號會成立（小於是對應不可逆）。所以第二定律說，對一個穩定（熱平衡）、能量無法近來或出去的孤立系統，熵值永遠在增加。
至此，熱力學大都在研究巨觀系統的現象。
但如果氣體是由一大堆隨機運動的分子組成，這些分子是如何成為巨觀的現象跟系統呢？
談了巨觀的內部之後，就要對裡面一票東西形式化了。
在氣體的分子層次，1856年August Krönig提出了一個簡單的氣體動力模型。克勞修斯在1857年延伸了這個模型，讓這個模型除了考慮本來的「平動」，還考慮分子的轉動和振動（translational, rotational and vibrational molecular motions）。克勞修斯同時也介紹了氣體分子的平均自由徑（Mean free path） — 一個移動的分子在兩次連續的碰撞之間會移動的統計平均距離。
對，統計力學出場了。
統計力學用機率理論來研究一個確切狀態不明的動力系統的平均行為。
Statistical mechanics is a branch of theoretical physics that uses probability theory to study the average behaviour of a mechanical system whose exact state is uncertain.
19世紀後半，馬克士威（James Clerk Maxwell）在讀了克勞修斯談原子擴散的paper之後，於1859年發表了描述分子移動速率的 Maxwell distribution，推導出了氣體分子平均自由徑的（比克勞修斯更精準的）計算公式，亦給定在平衡的理想氣體中「在特定範圍中有特定速度的分子比例」 — 無論氣體內部是不是有隨機碰撞、能量交換的發生。
一開始馬克士威用了比較heuristic的方法（heuristic grounds）導出這分佈，之後，波茲曼（ Ludwig Boltzmann）於1871年generalize了馬克士威的分佈，提出了馬克士威–波茲曼分布這個分子速率的機率分佈（probability distribution ）。
這是第一條基於「統計」發展出的力學定律。
因為氣體裡有超級多分子，所以用一個統計的分佈函數來描述這些分子的速率。這就是這分佈的機率密度函數（pdf）：
v是速率，m是原子質量，k是波茲曼常數，T是溫度。
在網路上找到了一個推導。看起來似乎…是先model微觀分子的運動速率，然後透過統計的方式將單一分子的運動速率推演到整體分子的運動速率公式 — 就是寫成速率的分布函数。接著，跟描述理想氣體宏觀狀態的理想氣體狀態方程式套在一起，微觀狀態跟宏觀狀態就連在一起了。
所以微觀狀態是可以累積成宏觀狀態的。
不過，實際分子碰撞的時候具體又是發生了什麼事呢？這個「累積」實際上到底是怎麼發生的？
波茲曼繼續研究這個問題，跟著馬克士威，將氣體分子視為一堆在箱子裡狀態撞去的「撞球」來研究。
根據基本的古典力學，兩個粒子彈性（例如鋼球模型）碰撞的能量轉移會根據不同的初始狀態而不同（碰撞的角度等）。
波茲曼做了一個很關鍵的假設，稱為「Stosszahlansatz」（分子渾沌假設）。在任何一次氣體碰撞中，參與碰撞的分子會獨立地選取分布中的動能、運動方向和起始位置。在這些假設之下，並且給定能量轉移的機制，碰撞後的粒子能量會遵守一個特定的隨機分布。
考慮所有分子間重複多次獨立的碰撞事件，波茲曼建構出動力方程式波茲曼方程式 (Boltzmann’s equation)。波茲曼方程式可用於確定物理量是如何變化的，例如流體在輸運過程中的熱能和動量。 — wiki
有了波茲曼方程式後，波茲曼於是在1872年提出H定理，探討（他定義的）「H」在一個接近理想的氣體系統中的下降趨勢（tendency to decrease）。這個 H 的定義為：
其中 f(E, t) dE 是分子在時間 t 的能量分佈函數，所以H的積分值代表「分子隨時間流逝因傳遞而改變的動能」。把H跟波茲曼方程式一起看的話，就會發現這H會隨著一連串的相撞過程遞減。
這遞減聽起來很熟…熱力學的熵會遞增呢。這H跟熵的關係是什麼呢？據說H跟熵可以寫成這樣的關係：
然後，1877年，波茲曼第一個把「熵」與「機率」寫成了對數關係：
其中，kB是波茲曼常數（Boltzmann’s constant），W是 Wahrscheinlichkeit （德文的機率），是所有微觀狀態組成的巨觀系統狀態 — 也就是一個巨觀狀態發生的機率。
根據這個概念，波茲曼認為，熱力學第二定律其實是在探討「無序」的程度 — 真實含義是，世界的宏觀狀態總是從有序在往無序前進，之所以這樣前進，其實只是因為在統計上，無序的狀態遠遠多於有序的。（時間之箭）
接著，這個機率觀點影響了吉布斯（Josiah Willard Gibbs）。
在1873–76年，吉布斯發表了一系列paper，其中最有名的一篇是On the Equilibrium of Heterogeneous Substances。裡面展示了如何圖像化地，研究一個熱力學系統的能量、熵、體積、溫度、及壓力，來決定一個熱力學過程（包含化學反應）是不是自發的（反應趨勢），亦以此描述了熱力學第一定律、熱力學第二定律、及熱力學的基本關係。（這圖像化據說是什麼「拉格朗日計算和相變等三維圖形語言」。）
接著，受到「微觀可以以一個分佈組成巨觀」的概念的啟發，1878年，吉布斯提出了「吉布斯熵」（J. Willard Gibbs），對一個有一組離散的微觀狀態的系統，如果 Ei是微觀狀態 i 的能量，而pi則是系統狀態變動的機率，那系統的熵則為：
kB一樣是波茲曼常數，跟波茲曼不一樣的是，他把W的狀態用機率表示了出來。
1902年，吉布斯將統計力學，進一步地從氣體推廣到一般系統，將化學（化學熱力學）、物理、電氣、電磁現象整合成一個連貫的體系，並引入了廣義的系綜（ensemble，系統狀態的機率分布）。
至此，我們有了微觀到巨觀的抽象化模型。
出乎意料的，這抽象化可以涵蓋的範圍不僅止於此。
接下來，我們會在夏農的資訊論看到很類似於吉布斯熵的公式…這不是出於巧合的類似，將引發一連串（我覺得見鬼了的）討論。
順帶提一下分子。
雖然上面這些人很快樂地討論氣體分子，但其實波茲曼在討論氣體分子的時候，狀似還是有很多人不買單「分子」，覺得分子只是想像中、理論中的object。雖然植物學家在1827年發現布朗運動，不過，既然布朗運動背後的原理沒有辦法解釋，顯然也是不能證明什麼。
直到 20世紀初，很多物理學家仍然認為原子只是假想，並非實在的。
直到 1905年愛因斯坦和 1906年馬利安·斯莫魯霍夫斯基 關於 布朗運動 的論文發表之後，物理學家才放棄此想法。他們的論文給出了分子動理論的準確預言。
此為後話。
總之，19世紀發生了很多事…熱、能量、力學；機率、隨機與系統、微觀與宏觀。
物理學快樂地發展著。
但數學家不高興了。