[paper review] Unveiling intra-person fingerprint similarity via deep contrastive learning(2024, science advanced)

ai in police

TL-DR(by scispace)

• 지문 생체 인식은 같은 사람의 다른 손가락 사이에 유사성이 없다고 가정합니다.
• 이 논문은 서로 다른 손가락의 지문 간에 강한 유사성이 있음을 보여줍니다.
• 능선 방향은 이러한 유사성의 상당 부분을 설명합니다.
• 지문 표현 벡터를 추출하기 위해 심층 쌍둥이 신경망을 사용했습니다.
• 이러한 유사성은 법의학 수사의 효율성을 거의 두 배로 향상시킬 수 있습니다.

problem : 동일인의 다른 손가락 지문에 유사성이 없을 것이다.

findings

• 동일인의 다른 손가락 지문이 강한 유사성을 가진다.(99% confidence)
• 특정 손가락 pair가 아닌 모든 손가락 pair에 대해 동일성을 확인할 수 있다.
• 지문 중앙의 ridge orientation이 유사성의 상당부분을 설명할 수 있다. 의외로 1–1 지문 비교(즉, 같은 손가락간 동일성 비교)에 중요한 요소인 특징점은 예측에 거의 도움이 되지 않았다.

method

1. contrastive learning(deep twin neural network, restnet-18) : anchor, positive, negative 샘플간의 triplet loss를 이용

2. 서로 다른 손가락 간의 유사성을 가지는지에 대한 통계적 검증

• (anchor-positive), (anchor-negative)의 L2 distance의 평균 차이를 t-test(general : paired t-test, finger-by-finger : Welch two-sample t-test)
• finger-by-finger의 경우는 anchor를 선택하고 positive, negative를 선택한 것이 아니라 동일한 손가락(즉, 엄지끼리, 검지끼리) 그룹에서 실험했기 때문에 paired가 아니라고 주장
• ROC-AUC 계산 : 서로 다른 손가락이 동일인의 것인지 분류하는 문제에 대해 ROC-AUC가 높다는 점은 유사성의 증거가 됨

3. 유사성에 대한 조사

• 다양한 변환 : binary, pattern, ridge-orientation etc. 등의 특징만 남도록 원 이미지를 변환한 뒤 ROC- AUC 값 확인 → binary, ridge-orientation의 경우가 ROC-AUC가 높게 나와 이미지의 배경, 이미지 밝기 등 외부적 원인이 아니라 지문에 의해 분류됨을 확인
• 의외로 특징점은 예측에 유용하지 않음. 그 원인으로 지문 하나마다 서로 다른 특징을 가져 1–1 비교에는 유리하나 손가락간 유사성 판단에는 불리한 것으로 추측
• CNN의 filter 분석 : 필터가 위로 갈수록 지문과 유사한 패턴을 보여 유사성은 지문에 의한 것임을 한 번더 확인(필터의 shade of gray가 유사해 brightness를 통제한 것으로 해석 가능)
• Grad-cam : 유사성 판단에 중요한 부분은 ridge orientation이 급격히 변하는 곳. finger-print pattern은 유사성에 큰 영향 없음

practical contribution

1. 결론 : 현장 지문을 DB와 대조할 때 서로 다른 손가락의 유사성을 기준으로 조사 범위를 축소시킴으로써 포렌식 조사효율을 100배 정도 상향할수 있다.

2. 방법

• TP로 예측하는 것을 기하분포로 모델링
• f1-score가 가장 높은 threshold 기준으로 positive, negative를 분류하여 기존 집합을 축소한 다음 exaustive search와 비교(밑줄 부분은 확실치 않음)

Demographic experiments

1. 문제 : 지문 유사성이 인구통계학적 특성에 영향을 미치는가
2. 방법 : race, gender를 기준으로 A group train → B group test / A,B group train → test
3. 결과

• A,B group을 모두 학습한 경우 가장 성능이 좋음 → 인구통계학적 특성에도 불구하고 어느정도 일반화된 유사성 존재
• 남성만 학습, 백인만 학습한 경우에는 각각 동일한 그룹에서 가장 좋은 성능 → 그룹간 특징이 존재

discussion

• 우선순위 확보 / 용의자 리스트 축소 / 디지털 인증

limitation & future work

• 정확도가 1–1 finger 실험에 비해 부족 : 법적 증거로 쓰기 불충분
• 인구통계학적 편향이 있음을 알고 사용할 필요
• 고퀄리티 이미지
• 실험여건 한계상 간단한 neural network 실험 → not optimal

figure