Windows Recall — “Privacy Nightmare ?”

Published in

INCOGNITO LAB

4 min readJul 10, 2024

Copilot+ PC

วันที่ 20 พฤษาคม พ.ศ. 2567 — Microsoft ได้มีการเปิดตัว Copilot+ PC ซึ่งเป็นแล็ปท็อประบบปฏิบัติการ Windows 11 ที่มีการใช้งานหน่วยประมวลผลที่เป็น Neural Processing Unit (NPU) คือ Snapdragon X Series โดยตัวชิปมีความสามารถในการประมวล AI (Artificial Intelligence) มากกว่า 40 TOPS (trillion operations per second)

สำหรับ Copilot+ PC เป็นแล็ปท็อปที่ถูกออกแบบมาให้เน้นการทำงานด้าน AI (Artificial Intelligence) โดยมีความสามารถในการประมวล AI (Artificial Intelligence) บนเครื่องบนอุปกรณ์ได้โดยตรง ซึ่งจะเข้ามาช่วยขจัดข้อจำกัดเก่า ๆ ในการใช้งาน

Latency (ความหน่วง): ทำงานได้รวดเร็ว ตอบสนองทันใจ โดยไม่ต้องรอนาน
Const (ค่าใช้จ่าย): ประหยัดค่าใช้จ่าย ไม่ต้องเสียค่าบริการ
Privacy (ความเป็นส่วนตัว): ปลอดภัย มั่นใจ ข้อมูลของคุณอยู่บนอุปกรณ์ของคุณเอง

Copilot+ PC / Source: Microsoft

ทาง Microsoft ได้มี Windows AI ฟีเจอร์ สำหรับ Copilot+ PC ที่จะเข้ามาช่วยเพิ่ม Productivity ในการทำงานอย่างประสิทธิภาพ เช่น Cocreator, Windows Studio Effects, automatic super resolution, Live Captions แต่สำหรับฟีเจอร์ที่น่าสนใจคือ “Recall”

What is “Windows Recall” ?

Recall เป็นหนึ่งใน Windows AI ฟีเจอร์ที่ได้มีการเปิดตัวมากับ Copilot+ PC ซึ่งฟีเจอร์ Recall จะเป็นฟีเจอร์ที่จะเข้ามาเป็นตัวช่วยในการจดจำสิ่งต่าง ๆ ที่ผู้ใช้งานได้ทำไปในอดีต โดยจะมีเก็บข้อมูลการใช้งานของผู้ใช้และทำการสร้าง Timeline การใช้งานจากข้อมูลของผู้ใช้งาน ซึ่งจะทำให้ผู้ใช้งานสามารถทำการค้นหาข้อมูลต่าง ๆ ที่ผู้ใช้งานเคยเข้าถึงหรือใช้งานในอดีตได้

โดยตัวอย่างการค้นหาข้อมูล เช่น หนังสือที่ตัวเองอ่านไปเมื่อสัปดาห์ที่แล้ว, ร้านอาหารที่ไปมาเมื่อสองเดือนที่แล้ว และอื่น ๆ ซึ่งฟีเจอร์ Recall จะสามารถทำการค้นหาข้อมูลต่าง ๆ ได้ไม่ว่าข้อมูลจะอยู่ใน โปรแกรม, เว็บไซต์, เอกสาร, รูปภาพ และอื่น ๆ

Using Windows Recall / Source: Microsoft

Search Results in Windows Recall / Source: Microsoft

สำหรับฟีเจอร์ Recall นั้นจะสามารถเรียกได้ว่าเป็น “Photographic Memory” ของการใช้งานคอมพิวเตอร์ของผู้ใช้งาน โดยการทำงานของ Recall นั้นจะมีการ snapshot รูปภาพหน้าจอการใช้งานทุก ๆ ห้าวินาทีเมื่อหน้าจอมีการเปลี่ยนไปจากรูปที่มีการ snapshot ก่อนหน้านี้

ซึ่งจะมีการนำรูปภาพที่ snapshot ไว้มาทำการวิเคราะห์ผ่าน AI (Artificial Intelligence) โดยทำ OCR (Optical Character Recognition) เพื่อดึงข้อความต่าง ๆ ที่มีอยู่บนรูปภาพที่ได้มีการบันทึกไว้ จากนั้นข้อมูลตรงส่วนนี้จะถูกบันทึกลงฐานข้อมูล SQLite Database เพื่อสำหรับไว้ให้ผู้ใช้งานมาทำการค้นข้อมูลต่าง ๆ ในภายหลังได้ ซึ่งผู้ใช้งานจะสามารถทำการค้นหาข้อมูลได้ทั้งในรูปแบบที่เป็นข้อความหรือรูปภาพ

โดยการทำงานทั้งหมดไม่ว่าจะเป็นในส่วนที่ทำการเก็บข้อมูลรูปภาพและประมวณผล AI (Artificial Intelligence) จะอยู่บนเครื่องของผู้ใช้งานทั้งหมดตามคำกล่าวของ Microsoft

“We’re entering this new era where computers not only understand us, but can actually anticipate what we want and our intent.” — Satya Nadella

Recall & Snapshots Settings / Source: Microsoft

สำหรับ Recall นั้นจะมีความสามารถให้ผู้ใช้ควบคุมการทำงานต่าง ๆ ได้ไม่ว่าจะเป็นความสามารถในการเลือกได้ว่าจะให้มีการปิด snapshot รูปภาพ, หยุดการ snapshot รูปภาพชั่วคราว, ยกเว้น snapshot รูปภาพในรายการเว็บไซต์ที่กำหนด, ลบ snapshot รูปภาพที่มีการบันทึก

โดย Recall นั้นจะไม่มีสแนปชอตรูปภาพที่มีการใช้งานเว็บไซต์แบบ Private Mode (โหมดส่วนตัว) ไม่ว่าจะเป็นใน Microsoft Edge, Firefox, Opera, Google Chrome, หรือ Chromium-based browsers.

System requirements for Recall

ความต้องการขั้นต่ำของคอมพิวเตอร์สำหรับการใช้งานฟีเจอร์ Recall:

A Copilot+ PC

Copilot+ PCs powered by Snapdragon® X Series processors / Source: Microsoft

หน่วยความจำ 16 GB RAM
หน่วยประมวลผล 8 logical processors
พื้นที่จัดเก็บข้อมูล 256 GB โดยในการเปิดใช้งาน Recall ต้องมีพื้นที่ว่างที่พร้อมใช้งานอย่างน้อย 50 GB

ณ ปัจจุบัน สำหรับ PC โดยทั่วไปแล้วยังไม่สามารถใช้งานฟีเจอร์เหล่านี้ได้

What is wrong?

Note that Recall does not perform content moderation. It will not hide information such as passwords or financial account numbers. That data may be in snapshots that are stored on your device, especially when sites do not follow standard internet protocols like cloaking password entry. — Microsoft

หลังจากมีการเปิดตัวฟีเจอร์ Recall ที่มากับ Copilot+ PC ก็มีเสียงวิพากษ์วิจารณ์จาก cybersecurity community และ cybersecurity researcher มากมายที่มีความกังวลเกี่ยวกับความปลอดภัยและความเป็นส่วนตัวของผู้ใช้งานในสำหรับการใช้งานฟีเจอร์ Recall เนื่องจากฟีเจอร์ Recall มีการเก็บข้อมูลการใช้งานต่าง ๆ ของผู้ใช้งานทั้งหมดจากการ snapshot รูปภาพหน้าจอขณะการใช้งานของผู้ใช้งาน โดยในการเก็บข้อมูลของฟีเจอร์ Recall นั้นไม่ได้มีการกรอกข้อมูลต่าง ๆ ภายในรูปภาพก่อนที่มีการบันทึกทำให้มีโอกาสที่ว่าจะมีข้อมูลในลักษณะที่เป็นข้อมูล sensitive ต่าง ๆ จะที่ถูกบันทึกระหว่างการใช้งานของผู้ใช้งาน ซึ่งเป็นข้อมูลที่ไม่ควรมีการเก็บบันทึกไว้ โดยตัวอย่างข้อมูลที่อาจพบ เช่น

ข้อมูลบัตรเครดิต
ข้อมูลด้านสุขภาพ
ข้อมูลรหัสผ่าน
ข้อมูลทางการเงิน
ข้อมูลที่อยู่
ข้อมูลลูกค้า
ข้อมูลภายในบริษัท

ซึ่งตามลักษณะการใช้งานทั่วไปของผู้ใช้ก็มีโอกาสที่ฟีเจอร์ Recall จะมีการ snapshot รูปภาพหน้าของผู้ใช้งานขณะที่มีข้อมูล sensitive ต่าง ๆ อยู่เช่น หน้าจอขณะขั้นตอนการชำระเงิน, ขณะเปิดไฟล์ที่ทำการเก็บข้อมูลภายในบริษัท, รหัสผ่านที่เก็บไว้ในไฟล์, ข้อมูลต่าง ๆ ที่มีการส่งมาในอีเมลหรือแชทต่าง ๆ

โดยจะทำให้มีความเสี่ยงถ้าในกรณีที่ hacker ดีสามารถทำการเข้าควบคุมเครื่องของผู้ใช้งานหรือการที่เครื่องของผู้ใช้งานติดมัลแวร์ ซึ่งจะเป็นผลให้ hacker สามารถเข้าถึงข้อมูลในส่วนนี้ได้ ก็จะทำให้มีโอกาสที่จะเกิดการรั่วไหลของข้อมูล Sensitive ที่มีการบันทึกอยู่ในฟีเจอร์ Recall ได้

ซึ่งถือว่าจะเป็นหนึ่งใน High-value target สำหรับ hacker ในการเข้ามาทำการค้นหาข้อมูลต่าง ๆ ภายในเครื่องที่ถูกยึดได้ ไม่ว่าจะเป็นข้อมูล Username, Password และอื่น ๆ ที่จะสามารถนำไปใช้เพื่อขยายผลการโจมตีต่อไป โดยที่ hackerไม่ต้องเสียเวลามากในการคุ้ยค้นหาข้อมูลภายในเครื่องทั้งหมดเหมือนเดิม

โดยในอีกมุมมองหนึ่งจะสามารถเรียกได้เลยว่าฟีเจอร์ Recall ที่มีการบันทึกข้อมูลการใช้งานของผู้ใช้งานขนาดนี้ ให้ความรู้สึกเหมือนมีโปรแกรมที่เป็น “spyware” ทำงานอยู่ในเครื่องตลอดเวลา

สำหรับข้อมูลต่าง ๆ ที่เป็นข้อความ Plaintext ที่ได้มีการ Extract ออกมาจากรูปภาพจะมีเก็บอยู่ใน SQLite Database ที่ไฟล์ชื่อ ukg.db ซึ่งไม่มีการเข้ารหัส อยู่ในโฟลเดอร์ตามด้านล่าง

%LocalAppData%\CoreAIPlatform.00\UKP\{GUID}\ukg.db

สำหรับโฟลเดอร์ ImageStore เป็นโฟลเดอร์ที่ทำหน้าที่เก็บรูปภาพต่าง ๆ ที่ฟีเจอร์ Recall มีการ snapshot มา โดยไฟล์รูปภาพจะมีการเก็บในลักษณะที่ไม่มี file extension ซึ่งสามารถทำการเปลี่ยน file extension เป็น .jpg ก็จะสามารถทำการดูรูปภาพได้สำเร็จ

%LocalAppData%\CoreAIPlatform.00\UKP\{GUID}\ImageStore\

ต่อมาไม่นานก็ได้มีผู้พัฒนาเครื่องมือที่ชื่อว่า Total Recall ซึ่งจะเข้ามาช่วยในการทำ Automate สำหรับการดึงข้อมูลต่าง ๆ ที่บันทึกอยู่ในฟีเจอร์ Recall ได้อย่างสะดวกและง่ายดายมากยิ่งขึ้น

GitHub — xaitax/TotalRecall: This tool extracts and displays data from the Recall feature in…

This tool extracts and displays data from the Recall feature in Windows 11, providing an easy way to access information…

github.com

รวมถึงเครื่องมืออย่าง NetExec (The Network Execution Tool) ได้มีการอัปเดตโมดูล recall ใหม่ที่ช่วยในการทำ Automate สำหรับการดึงข้อมูลต่าง ๆ ที่บันทึกอยู่ในฟีเจอร์ Recall ซึ่งก็จะช่วยให้สามารถทำการดึงข้อมูลต่างๆ ได้อย่างสะดวก รวดเร็ว เช่นเดียวกัน

Add Recall module for dumping all users Microsoft Recall DBs & screenshots by Marshall-Hallenbeck ·…

Gets all users Recall folders and dumps them, then renames screenshots to include .jpg (unnecessary but helpful)…

github.com

โดยสำหรับฟีเจอร์ Recall ที่มีการเปิดตัวมากับ Copilot+ PC ในขั้นตอนการติดตั้งจะพบว่าฟีเจอร์ Recall จะมีการเปิดใช้งานมาเป็นค่าเริ่มต้นซึ่งไม่สามารถทำการปิดได้ในขั้นตอนการติดตั้ง Windows ซึ่งต้องไปทำการปิดฟีเจอร์ Recall หลังจากติดตั้งเสร็จสิ้นแล้วเท่านั้น

Update

วันที่ 13 มิถุนายน พ.ศ. 2567 — ทาง Microsoft ได้มีการประกาศว่ายังจะไม่มีการเปิดให้ใช้งานฟีเจอร์ Recall ตามกำหนดการเดิมในวันที่ 18 มิถุนายน พ.ศ. 2567 เพื่อพัฒนาและปรับปรุงในส่วนที่เป็นข้อกังวลทางด้านความเป็นส่วนตัวและความปลอดภัย หลังจากที่ได้รับวิพากษ์วิจารณ์เกี่ยวกับความเป็นส่วนตัวและความปลอดภัย โดยทาง Microsoft ประกาศว่าในอีกไม่กี่สัปดาห์ข้างหน้าทางจะมีการเปิดให้ใช้งานฟีเจอร์ Recall สำหรับผู้ใช้งานใน Windows Insider Program (WIP) และจากนั้นจะมีการปล่อยสำหรับ Copilot+ PC ต่อไป

โดยสำหรับตัวอย่างการอัปเดตที่จะเป็นการพัฒนาและปรับปรุงในส่วนของความเป็นส่วนตัวและความปลอดภัยที่ทาง Microsoft ได้ประกาศมา:

First: ตอนแรกฟีเจอร์ Recall จะมีการเปิดใช้งานมาเป็นค่าเริ่มต้น โดยจะมีการอัปเดตให้ฟีเจอร์ Recall เป็น opt-in ซึ่งผู้ใช้งานต้องมีการเลือกเปิดเท่านั้นฟีเจอร์ Recall ถึงจะมีการทำงาน

Windows Recall Setting / Source: Microsoft

Second: มีการอัปเดตให้ฟีเจอร์ Recall ในการค้นหาหรือเรียกดู Timeline จำเป็นต้องทำการ Authentication ผ่าน Windows Hello ก่อน

Third: มีการอัปเดตเพิ่มในส่วนของการปัองกันสำหรับข้อมูล คือข้อมูลจะมีการถอดรหัสและเข้าถึงได้เฉพาะตอนที่ผู้ใช้งานมีการ Authentication แล้วเท่านั้น เรียกว่าเป็น “just in time” decryption protected โดย Windows Hello Enhanced Sign-in Security (ESS)