【De-ID】Face de-identification in images using restricted Boltzmann Machines

這是一系列針對深度學習應用於個資去識別化論文整理並google中文化。

Paper：

1. A Deep Learning Architecture for De-identification of Patient Notes : Implementation and Evaluation

2. A Recurrent Neural Network Architecture for De-identifying Clinical Records

3. DE-IDENTIFICATION OF PROTECTED HEALTH INFORMATION PHI FROM FREE TEXT IN MEDICAL RECORDS

4. An Interactive De-Identification-System

5. Deep Learning Architectures for Tattoo Detection and De-identification

6. Live Face De-Identification in Video

7. Face-deidentification in images using Restricted Boltzmann Machine

Face de-identification in images using restricted Boltzmann Machines

M. Aasim Rafique, M. Shoaib Azam and Moongu Jeon

1. Introduction

• 儘管使用圖像幫助個資的明顯動機非常多，但實際上卻是對資訊的濫用，人們通常不希望被此類資訊追蹤。人臉去識別是可以隱藏事實資訊並同時保持圖像狀態的技術之一。
• 早期，研究領域和工業領域的重點是加強資訊存取的安全性。因此，研究的方向是通信安全和存取點安全(access point security)。我們可以看到在防火牆，目錄服務，加密資料等方面的巨額投資。但是內部工作和專業的疏忽正在幫助駭客掌握個資並惡意使用該資訊。在這一點上，重要的是要考慮上述方法的替代方案，並確保內部人員獲得資訊。
• 此外，在社群空間上有大量的個人資料。其保護措施就是提供隱藏資訊的簡單選項，因為大量的新手用戶經常加入各種網路社群。包含人臉圖像的多媒體易於轉換為相關資訊，因為單一視圖(single view)縮小了搜索空間。因此，人臉去識別會扭曲對可見臉部的感知。在這項工作中，我們建議使用Gaussian-Bernoulli Restricted Boltzmann Machine（GRBM）來設計人臉識別技術。
• GRBM是一種生成建模技術，它很容易用於重建訓練模型學習到的圖像數據。在GRBM網絡中以隨機隱藏單元進行狀態計算，其中的隨機比較允許在重構數據中包含驚喜元素。而且，它可以保持被測臉部圖像中的情感完好無損。
• 本文的其餘部分安排如下：第二部分介紹了有關臉部去識別的文獻概述，第三部分討論了建議的技術。第四部分詳細介紹了實驗設置並討論了結果。最後，第五節總結性結論。

2. Related work

此處數字為原論文中的參考文獻

人臉去識別是阻擋線上影片媒體暢通無阻的重要元素，但是沒有足夠的法規來加強去識別方法。 Ribaric 對圖像和影片中人臉去識別的文獻進行了綜述。我們在本節中簡要討論最近的文獻。

1. [2]克服了k-same [3]的缺點，它通過更改人臉cluster技術並將其與最遠的cluster進行比較。
2. [4]使用active appearance model來保留表情，同時去識別臉部圖像。
3. 在[5]中介紹了一種深度學習的基本臉部識別功能，可捕獲臉部表情，同時改變臉部表情以去識別。
4. GARP-faces使用性別，年齡和種族中人臉的突出特徵來識別圖像[6]。 [7]提出了一種可逆人臉去識別方法，該方法使用k-same作為基本系統，然後在該已去識別圖像的頂部使用加密。
5. 在[8]中討論了一種完整的人臉去識別方法，其中提出了Gaussian filtering來隱藏人體的細節。
6. 受k-same啟發的另一種技術使用基於梯度學習，而不是取平均值進行人臉去識別[9]。
7. 最近的一項技術提出了使用臉部關鍵點來檢測表情，然後在其上使用adaptive filtering來去識別臉部的方法[10]。
8. 在文獻[11]中提出了另一種基於active appearance face model的臉部去識別技術。

與上述技術相反，我們提出的方法使用簡單的兩層神經網絡來學習臉部特徵。GRBM是一個生成神經網絡，它在訓練過程中適應模型中的臉部表情和特徵。通過模型重建人臉是自然的去識別過程。我們進一步提供了一種編碼過程，利用GRBM去使像素化的重構臉部平滑化(smooth the pixelated reconstructed faces)。

3. Methodology

在這項工作中，我們使用GRBM對人臉圖像進行整體建模。 GRBM是一種生成建模技術，無需監督即可進行訓練。 臉部圖像作為GRBM網路的輸入，並且使用對比散度contrastive divergence（CD）算法訓練網路。 然後從訓練後的模型中重建測試臉部圖像，即要轉換為去識別的臉部圖像，然後模型將其更改為像素化臉部，進而給出對測試臉部的看法(opinion)。 利用RBM的兩層自動編碼器，還可以生成更平滑的臉孔。 正式細節將在後續章節中討論。

■ Gaussian-Bernoulli restricted boltzmann machine

• GRBM [12]，[13]是Restricted Boltzmann Machine（RBM）[14]的擴展版本，其中可見層單元的實數值與RBM二進制值可見元相反。

圖1

• RBM像二分圖(bipartite graph)一樣描繪，一層稱為可見層，另一層稱為隱藏層。 如圖1所示，同一層中的單元之間沒有可見-可見和隱藏-隱藏的連接。觀察到的數據由可見層單元獲取，並且隱藏層單元是要從觀察到的數據中學習的表示形式 。 GRBM的能量函數定義為：

其中v和h是可見和隱藏神經元的向量，vi是實值可見神經元，hj是二進制值隱藏神經元，σi是vi的標準偏差。 ai和bi是相應的偏差，wij是連接vi和hj的弧的權重。 | x | 是向量x的分量數。

算式1中的能量函數分配的條件概率如下：

■ Face-deidentification

在使用訓練數據訓練GRBM網路之後，可以實現臉部去識別。 考量It是帶有待去識別人臉的測試圖像，因此它被固定在可見層並使用以下方法重建：

公式5給出了It的像素化版本，該版本不平滑且不會集成到圖像中。我們使用方程式6給出的兩層自動編碼器，使用經過訓練的GRBM權重來生成平滑的面孔。它還可以使面部表情保持完整，這是GRBM建模所固有的。

■ Experimentation and results

• 我們使用三個公開可用的數據集來訓練和測試GRBM。
• 用於訓練的臉部數據僅限於從額頭臉部裁剪的突出特徵，即眼睛，鼻子和嘴巴。使用的數據集是faces [16]，Yales faces [17]和ORL faces。來自三個臉部數據集的樣本如圖3所示。

Fig. 3: This figure shows samples from the datasets used for experimentation. First, second and third rows show faces, Yales faces and ORL faces datasets.

我們在一個數據集中使用圖像進行訓練，並在另一個數據集中進行測試。我們使用兩種標準評估人臉去識別結果：

1. 一是通過檢查重建圖像進行定性評估
2. 二是使用人臉識別軟體。

實驗中使用的GRBM網路包含361（19×19）個可見單元，即為臉部圖像的大小和500個隱藏單元。

• 根據經驗選擇超參數如下：

1. 權重的學習率設置為0.0001
2. 標準偏差σ保持靜態為0.2，
3. contrastive divergence（CD）的Step size為1，動量為0.5。

此外，我們將網路訓練了500個時期。將訓練圖像和測試圖像裁剪到正面，即眼睛，鼻子和嘴巴。可以觀察出如果未裁剪圖像，則所得的臉部去識別圖像將描繪出鬼臉，如圖7所示。

Fig. 7: This figure shows results of ghost images which are produced if the training and the testing data are not aligned.

定性評估是根據人類經驗去找出臉部去識別圖像所得出的。圖4展示了用Yales人臉數據集測試的人臉去識別結果樣本。

Fig. 4: This figure shows the samples of face deidentification test results for Yales faces dataset. Row 1 shows the original face images, while Row 2 and 3 shows the deidentification and deidentification with encoder.

1. 第一行顯示原始圖像，第二行顯示通過簡單的GRBM去識別的人臉，最後一行顯示通過公式6給出的GRBM編碼進行人臉去識別。
2. 可以觀察到這些人臉看起來並不相似，並且保留臉部表情和鬍子，鬍鬚等特徵。
3. 相同地，圖6和圖5給出了臉部和ORL臉部數據集的臉部去識別結果。

Fig. 5: This figure shows the samples of face deidentification test results for small faces dataset. Left most image shows the original face images, while middle and the right most shows the deidentification and deidentification with encoder.

Fig. 6: This figure shows the samples of face deidentification test results for ORL faces dataset. Row 1 shows the original face images, while Row 2 and 3 shows the deidentification and deidentification with encoder.

我們使用主成分分析principal component analysis（PCA）和線性判別分析linear discriminant analysis（LDA）進行人臉識別。

此外，使用常規度量來評估具有臉部去識別的圖像的臉部識別結果。

• 我們使用receiver operating characteristic（ROC）曲線作為第一量化方法，這是驗證性能的一種度量。
• 我們使用的第二個指標是cumulative match characteristic（CMC）曲線，它是識別性能的度量。
• 圖2描繪了使用MOHCOS的PCA和使用COS的LDA的ROC和CMC曲線，這些曲線是通過對yales人臉數據集進行實驗獲得的人臉去識別測試結果生成的。

Fig. 2: This figure shows the charts for quantitative experimentation i.e. face recognition tests after face deidentification.

TABLE I: Table give the quantitative results for testing with Yales dataset

• 表 I 以百分比表示量化的結果，用於臉部識別以考慮ROC和CMC曲線。
• 排名第一的識別值量化了CMC曲線中的資訊，結果表明，識別出的臉部圖像去識別率較低。從ROC曲線計算出的EER表明，通過每種測試的臉部識別技術都無法識別已去識別的臉部。
• False error rate（FAR）是錯誤識別與總識別之間的比率，表I中報告的低值顯示了所提出技術的功效。
• FAR和False recognition rate（FRR）組合在一起可計算出最小的half total error，儘管計算出的比率有些高，但可以在以後的工作中加以改進。

4. Conclusion

1. Gaussian-Bernoulli restricted boltzmann machine (GRBM)可從訓練數據重建圖像。我們探索這種建模能力，以將其用於人臉去識別。
2. 正面圖像中具有突出部分的臉部是我們實驗的主要重點。儘管可以去識別帶有轉換後的臉部成分的臉，但所得圖像變得不自然。我們引入了兩層編碼器來平滑像素化的臉部去識別，使其看起來更加自然，並在實用的可視覺化中變得有用。
3. 結果證明了所提出技術的有效性。該想法可以進一步擴展為針對組成元素的智慧訓練和臉部再生。

其他文章：

I want to sleep all day