อัพเดทความคืบหน้า HRI Project

ชื่อโปรเจ็ค (Project name): การเพิ่มประสิทธิภาพในการมองเห็นของผู้ใช้เพื่อควบคุมหุ่นยนต์ระยะไกลด้วยการตรวจจับใบหน้า (Improving Performance of Visibility for Teleoperation by using Face Detection)

ภาพที่ 1 : ภาพแสดง Scenario ของโปรเจ็ค

วัตถุประสงค์ (Objective)

1. เพื่อศึกษาประสิทธิภาพของผู้ใช้งานในการควบคุมหุ่นยนต์ระยะไกล หลังจากการเพิ่มขอบเขตการมองเห็นให้กับผู้ใช้งาน

รายละเอียดโปรเจ็ค (Brief description) : โปรเจ็คนี้จะมุ่งเน้นไปที่การเพิ่มมุมมองในการมองเห็นของผู้ใช้งาน ให้สามารถมองเห็นการทำงานของหุ่นยนต์ผ่านกล้องในหลายๆ มุมมองได้ โดยจะมีขั้นตอนการทำงานทั้งหมดดังนี้ (ดูภาพประกอบดังรูปที่ 1)

1. จะต้องทำการ Set up กล้องเว็บแคมไว้ 2 ตำแหน่ง ได้แก่ ฝั่งของหุ่นยนต์และฝั่งของ User
2. กล้องฝั่งของหุ่นยนต์จะถ่ายภาพการทำงานของหุ่นยนต์และส่งข้อมูลไปให้ User เพื่อให้ User ได้เห็นวิดีโอการทำงานของหุ่นยนต์นั้นแบบ Real-time
3. กล้องฝั่ง User จะทำการตรวจจับใบหน้าและส่งตำแหน่งของใบหน้า นำไปประมวลผลเพื่อส่งข้อมูลไปควบคุมมอเตอร์ของกล้องฝั่งหุ่นยนต์ เหมือนเทคนิคการ peek ในเกมคอมพิวเตอร์
4. นอกจากนั้น User สามารถควบคุมหุ่นยนต์ตัวที่มองอยู่ ผ่าน Leap Motion เพื่อทำภารกิจบางอย่างให้บรรลุผลได้ด้วย

ภาพรวมของระบบ (System Overview)

รูปที่ 2 : แสดงภาพรวมของระบบ

ระบบโดยรวมของงานนี้จะมีทั้งหมดด้วยกันอยู่ 2 ฝั่ง ได้แก่ ฝั่งหุ่นยนต์ (Robot side) และ ฝั่งผู้ใช้งาน (User side) เริ่มแรก User จะสามารถควบคุมหุ่นยนต์ Dobot ผ่านการใช้ Leap Motion ได้โดยตรงผ่าน API ที่แอปพลิเคชั่นมีไว้ให้อยู่แล้ว ต่อมากล้องฝั่งหุ่นยนต์จะส่งภาพมาแสดงใน PC ของ user ผ่านการเชื่อมต่อแบบ USB ในส่วนสุดท้าย กล้องเว็บแคมฝั่งผู้ใช้งานจะส่งข้อมูลให้กับ PC เพื่อนำไปประมวลผลในการตรวจกับใบหน้า และส่งตำแหน่งของใบหน้าผ่านบลูทูธไปที่ Microcontroller ฝั่งหุ่นยนต์ microcontroller ตัวนี้จะทำการแปลงข้อมูลที่ได้มานำไปใช้ควบคุม actuator ทั้ง 2 ตัว เพื่อให้ภาพของกล้องตอบสนองกับผู้ใช้งาน

ความคืบหน้า (Progress) :

ณ ตอนนี้ ได้ทำในส่วนของการตรวจจับใบหน้าและส่งข้อมูลไปให้ตัว Microcontroller เรียบร้อยแล้ว ทำให้เมื่อ user อยากมองภาพในทิศทางใด มอเตอร์ก็จะถูกควบคุมให้ไปในทิศทางนั้นๆ ดังคลิปวิดีโอที่ 1 และ 2

ปัญหา ณ ตอนนี้จะอยู่ที่การตรวจจับใบหน้าที่ยังไม่มีประสิทธิภาพมากพอ ซึ่งจะทำให้เกิดปัญหาดังนี้

• กล้องไม่สามารถตรวจจับใบหน้าเมื่อเราเอียงหัวได้
• บางครั้งการตรวจจับการมีการผิดพลาด เช่น ตรวจจับสิ่งที่ไม่ใช้ใบหน้าของคน
• ผู้ใช้ต้องพยายามให้ใบหน้าทั้งใบอยู่ในเฟรมกล้อง ถ้าส่วนใดส่วนหนึ่งของใบหน้าหลุดออกจากเฟรมมจะทำให้ไม่เกิดการตรวจจับได้

คลิปวิดีโอที่ 1 : วิดีโอแสดงภาพจากกล้องทั้งสองตัวพร้อมทั้งการควบคุมมอเตอร์ด้วยการตรวจจับใบหน้า

คลิปวิดีโอที่ 2 : วิดีโอแสดงการเคลื่อนไหวของกล้องและการเชื่อมต่ออุปกรณ์ต่างๆ

รูปที่ 3 : รูปแสดงการเชื่อมต่ออุปกรณ์ต่างๆ กับบอร์ดไมโครคอนโทรลเลอร์