達克效應與資安風險管理
在資安與孫子兵法那篇文章中，我提到了風險評鑑的有效關鍵在於某個效應，並將針對此效應撰寫一篇文，拖了好久，初步整理出來這篇文了。
風險分析
風險(Risk) = 衝擊(Impact) x 機率(Likelihood)
這是資安圈中，最廣為接收的風險分析方法。
衝擊程度可能比較容易推敲，但要怎麼判斷機率? 通過歷史事件?
或是應該說，如果你已經能了解這件事是高機率發生，你會任由它發生嗎?
另一方面，當你個人主觀覺得這件事的發生機率低，評估會不會產生偏差?
Likelihood: The percentage of chance that a threat will exploit a vulnerability over a specified period of time, such as within the next year.
我曾看過一本關於麥肯錫的書，該作者的主張是：不管發生機率高低，如果我們能事先了解的，表示風險因素是可以被判讀的，但無法被判讀的才稱之為風險因素，所以最好是以「不確定性」來代替機率。
題外話: 不過該觀點我目前在資訊安全管理的教材，或顧問公司使用的方法中都還不曾看過或聽過。但我覺得作者說的很有道理，因此我在工作中設計的風險評鑑方法便有嘗試再加上不確定這個副指標。
另一個挑戰是，要怎麼知道估算出來的機率是正確的呢? 很多時候可能是根據歷史紀錄，或更多的可能是憑感覺、經驗法則。
但資訊科技的變化速度很快，當一個新的資安威脅出現時，通常歷史數據還不多，此時在不了解的情況下，便容易誤判情勢。駭客技術變化快速，例如要躲避資安軟體的偵測並非不可能，但是當評估者缺少這些新技術、手法時，便會產生誤判與錯誤的安全感。
回到先前提到我認為會影響風險評鑑準確性的效應，便是達克效應。
達克效應 (DK effect)
又名鄧寧-克魯格效應(Dunning-Kruger effect)，由兩位發明的心理學家名字組合而成，分別是康乃爾大學大衛·鄧寧和賈斯汀·克魯格。
兩位教授對於達克效應的發現，源自一段常人看來很誇張、很搞笑的故事。
1995年在美國有個賊去搶銀行，搶劫過程中，這賊坦蕩蕩地私毫不遮掩，既不戴面具也不絲襪套頭，犯案後還大喇喇的到處閒晃。當然很快就被警察逮捕了，不過當下這賊還一臉懵逼。
賊：你們怎麼知道是我搶劫了銀行。
警察：你沒戴面具也沒偽裝，怎麼會不知道是你?
賊： 有阿，我塗了隱形液阿。
警察：什麼隱形液。
賊：我在臉上塗了很多檸檬汁。
警察： 阿....這甚麼狀況。
原來笨賊透過看電視知道了檸檬汁可以用來製作隱形墨水，在紙上寫字可以隱形。所他認為塗在臉上，他的臉就隱形了。這則誇張的事件引起了康乃爾大學兩位教授的興趣而開始研究這些行為，進而發明了達克效應。
簡單來說，達克效應是在說: 缺乏這領域知識和技能的人，是無法認知自己有這種缺陷的。因為評估能力所需要的技能恰好是形成能力所需的技能。
由於能力不足，而不俱備合理評價自我表現的必要技能。因此無法準確判斷自己或他人的表現屬於優秀還是遜色。
例如根據統計，開車技術很三寶的人，通常還會覺得自己駕駛技術比大多數(75%)人的技術還要好。
除非這項技能可以很客觀的被度量，否則能力很容易會被高估，例如你可能比較不會去說你自己可以跑步很快，或跳很高，因為這些很容易量測。但對於無法量測的技能，多數人就會高估，例如覺得自己道德水平比別人高、比較聰明、比較熱於助人、比較 Open mind…
因此人通常傾向會高估了「自己內在」的特徵與心理反應判斷；但在另一方面我們卻反而傾向會依「他人的外在」來低估別人的能力與心理反應。造成了判斷偏差。
不過達克效應不是用來嘲笑別人無知，而是意在提醒自己隨時也有可能落入這樣的陷阱而不自知，即便已是某領域的專家，但在另一個領域卻仍有可能會無知翻車。
蘇格拉底曾說，唯一真正的智慧是知道自己一無所知
元認知矩陣
2002年，美國以伊拉克政府擁有大殺傷力武器，並支援恐怖份子為由打算與其開戰。前美國國防部長拉姆斯菲爾德在2002年2月回應記者提問時的名言，Unknown Unknown，有些事，我們不知道我們不知道。
有些事是「已知的已知」，還有「已知的未知」，這是指我們知道有些事情我們不知道。但還有些「未知的未知」 — 我們並不知道我們不知道的事。因此，當我們竭盡全力蒐集所有資訊，然後說這是我們了解到的大致狀況，實際上我們只知道已知的已知和已知的未知 (Donald Rumsfeld)
雖出自拉姆斯菲爾德，但根據維基百科，這個說法很早就運用於軍事領域中， — 而這部份也是達克效應中的元認知缺陷。
對應到資安也很常有類似的狀況，我自己有時也會犯這樣的錯誤思維，例如我們會說: 我已經導入了 XXX solution，所以不會被入侵的或不會有問題的。(XXX可以是NGFW/EDR...或任何新的資安產品)
此時，我口中所謂的 XXX solution 是不是可能會是賊口中的檸檬汁呢，而我當下就像是那個笨賊。市面上沒有一個完美 solution 可以完全解決所有資安問題，每個方案只能用來對特定問題進行控制，所以想一擋百時，是不是就誤把它當為檸檬汁了，誤以為使用在任何層面都可以有隱形效果。
那為什麼人類這麼容易掉到達克效應的陷阱裡呢?
資安風險管理與達克效應
為何風險管理出來的結果會偏差不準確，就可能是因為達克效應在作祟。
在大衛鄧寧博士的著作中提到，元認知的問題在於，
1. 知識沒有錯誤，但是不夠全面。
2. 知識只是大致上沒有錯誤。
3. 很多知識是偽相關的。
4. 證實偏差，人類幾乎可以論證任何(自己相信的)觀點。
在工作領域確實會看到一些類似的例子，
甲方: 每台電腦都安裝了知名防毒方案，有它可以偵測出病毒、惡意程式。
乙方: 但駭客也會使用很多躲避偵測的手法。
此時甲方的知識只是大致上沒有錯誤，加上證實偏差的結果，最後論證出有這個就夠了，不要再一直推銷我買東西的結論。
另一個例子，
乙方: 購買我們家的EDR方案很強，之後所有駭客攻擊你都不用擔心了。
甲方: DCSync, Kerberoasting, Delegation, 金/銀/讚石票..這些 AD層面的攻擊真的都可以不用擔心嗎？
此時乙方說法可能沒有錯誤但不夠全面。 EDR 主要還是針對端點中的 Process 行為進行分析，確實可以在端點上有效防駭，而一些 AD 的攻擊是針對設定錯誤、Kerberos 協定或憑證的的濫用，並不是普遍上 EDR 關注的重點所在。但知識偽相關的陷阱，可能會讓我們做出錯誤的關聯決策。
類似的例子在資安領域應該蠻多的。
(擔心自己也落入了達克效應XD，以上舉例如果有說錯或不恰當請專業指正)
該怎麼面對達克效應
- 要反過來想一遍。正著想一遍，反過來再想一遍
- 參考他人的資料，歷史資料是有用的。
- 錯誤預測情境可能與情緒相關，而情緒不可預測，我們會低估情緒短期的影響，高估情緒長期的影響。
- 資訊環境太過複雜，我們需要經常性地進行認知修正：你得出一個結論以後，再反方向地問一問，多去聽聽不同的意見。感覺有點類似以色列的第十人法則，再延伸則為魔鬼代言人、紅隊。
- 留意稟賦效應 (覺得自己擁有的東西更具有價值，更偏愛所擁有的事物)
結論
在風險評估的過程應該小心達克效應，才能讓評估結果更加的準確。
另外，我們可以透過學習與尋求協助來讓我們遠離資安檸檬汁。
向某人賦與元認知能力的最直接方法就是：使其俱備能力。針對資訊安全的「已知的未知」，我們可以透過持續學習來彌補，因為這時候已經知道自己不會的東西是甚麼了，所以只是差在要不要投入時間去學習。但每個人學習能力與工作環境有差，或許不是人人學習後都可以馬上成為大神，這時候就可以搭配專業協助，加速取得知識。
而針對「未知的未知」，因為根本沒聽過這個東西，所以我認為找該領域的專業大神諮詢是最快的方法。或是參加他們的研討會，透過學習也能發現完全未知的知識，但速度慢，且有時候會有學習盲點，因為你連不知道甚麼都不知道(好繞口)，所以可能會被你先跳過。這有點像在玩開放世界遊戲，地圖一開始什麼都沒有，只能亂走，但可能會誤闖等級很高的區域，馬上陣亡。通常就是依照遊戲的提示位置走過去，慢慢擴展地圖也累積經驗值，而更快的方法就是看專業寫的攻略，跟著做。所以未知的未知，我想尋求專業協助會是比較快速的方法。
以上僅為個人於閱讀不同書籍著作後的，擷取重點後嘗試與工作領域進行結合之觀點，如果內容有錯誤，歡迎指導指教，我再進行修正調整，謝謝您。
