เช่นเดียวกับกระบวนการเทสซอฟแวร์ต่างๆ แชทบอทนั้นก็ต้องมีขั้นตอนการเทสที่ต้องให้ความสนใจเป็นพิเศษก่อนปล่อยออกสู่การใช้งานจริง
ในการทดสอบแชทบอทจะมีแบบที่ใช้ user หลายๆแบบและทำการทดสอบหลายร้อย scenario หรือจะเป็นในแบบที่สะดวกขึ้นคือการใช้ testing tool หรือระบบ automation ที่สามารถทำได้ในระบบแชทบอท management/platform เช่น Convolab มี build-in ระบบ automate tester โดยจะเป็นการจำลอง User Testing โดยการสร้าง scenario และ flow การคุย การเซ็ตค่าทั้งส่วน input และ output ที่คาดหวัง
ในระดับ User Testing นั้น Key Features สำคัญของแชทบอทที่ควรทำการเทส ได้แก่
Conversational Flow & Step
ส่วนที่สำคัญที่สุดนั่นคือ flow ของการสนทนากับแชทบอทและ Step การสนทนา
เทสแชทบอทว่าสามารถตอบโจทย์การสนทนาตาม requirement ของบอทได้หรือไม่ ความเหมาะสมของ flow การสนทนา และความยืดหยุ่นของ flow การรับ input เช่น บอทมีการถามข้อมูลผู้ใช้เพื่อทำรายการในระบบซึ่งควรต้องมีการสรุปรายการ confirm และให้ผู้ใช้กลับมาแก้ไขได้เป็นต้น
การทดสอบพวกการทำงาน rich content ต่างๆ เช่น เมนู carousel, button ว่าถูกต้องตาม function ใช้งานหรือไม่
นอกจากนี้จำนวน step ของ flow การสนทนาควรจะมีจำนวนที่เหมาะสมไม่มากจนเกินไป ซึ่งส่วนนี้ก็ขึ้นอยู่กับไอเดียของผู้สร้างบอทว่าจะลดจำนวน step อย่างไร โดยคำนึงถึง usability และ user experience
Bot Understanding
แชทบอทควรจะตีความการสนทนาอะไรก็ได้จากผู้ใช้ให้ได้มากที่สุด นั่นก็คือการทดสอบตัว NLP (Natural language processing) ของบอท เช่น ตีความ intent ที่เกี่ยวข้องกับ function การใช้งานหลักของบอทตัวนี้ หรือ small talk (การสนทนาทั่วไป)และประโยคอื่นๆที่ไม่เกี่ยวข้องกับ function หลักของบอท
โดยบอทจะต้องสามารถนำไปสู่คำตอบหรือเข้า flow การใช้งานได้อย่างถูกต้องแม่นยำ(Accuracy)
Speed
เช่น การทำ load test ซึ่งจำนวนโหลดของผู้ใช้งานจะส่งผลต่อความเร็วการตอบ (Response Speed) ของบอท
Error Management
ทดสอบความสามารถในการ handle error แล้วแสดงผลกลับให้ผู้ใช้เข้าใจได้ หรือการ handle ข้อผิดพลาดระหว่าง flow การทำรายการ เช่น มีการแสดงข้อมูลหรือเมนูเพื่อติดต่อเจ้าหน้าที่เวลาเกิดปัญหา เป็นต้น
ref: source
