บทบาทและความสำคัญของ Test Quality Assurance (TQA)

“ทีม TQA ทำอะไร มีทีมนี้ใน KBTG ด้วยเหรอ ไม่เคยได้ยินชื่อเลย เค้าทำอะไรกันนะอยากรู้”

เป็นคำถามที่เราถูกถามบ่อยเวลามีคนถามว่าเราทำงานอยู่ทีมไหน วันนี้จึงขอถือโอกาสมาเปิดบ้าน TQA ให้ทุกคนได้รู้จักกันค่ะ

สมาชิกทีม TQA และน้องฝึกงาน

Test Quality Assurance

TQA หรือ Test Quality Assurance เป็นทีมที่อยู่ภายใต้ฝ่าย SQM (Software Quality Management) ปัจจุบันเรามีสมาชิกอยู่ด้วยกัน 8 คน นำโดย เก๋ ณัฐกฤตา Head of TQA ของพวกเรา แต่ถึงจะมีสมาชิกน้อย บอกเลยว่างานของพวกเราไม่น้อยนะ 😂 หน้าที่ของพวกเราคือการดูแลกระบวนการต่างๆ ที่เกี่ยวกับการเทสหรือทดสอบระบบให้เป็นมาตรฐานเดียวกัน คอยตรวจเช็คคุณภาพของกระบวนการที่อยู่ระหว่างการทดสอบผ่านการควบคุมต่างๆ ไม่ว่าจะเป็น Quality Gate, Quality Index และอื่นๆ อีกมากมาย ให้มั่นใจว่าระบบที่ผ่านการทดสอบจาก SQM ก่อนขึ้น Production นั้นมีคุณภาพอย่างแน่นอน

ส่วนหน้าที่หลักๆ ของทีม TQA จะแบ่งออกเป็น 3 เรื่อง ได้แก่

• Standard and Process
• Governance and Quality
• Metrics and Measurement

เรามาลงรายละเอียดของแต่ละหัวข้อกันเลยค่ะ

Standard and Process

ทีม TQA จะทำการกำหนด Standard Framework เพื่อออกแบบกรอบการทำงานในการจัดการการทดสอบที่เรียกว่า TMF (Test Management Framework) ซึ่งเรา Define มาจาก Practice ที่ใช้ในการทำงานปัจจุบัน แล้วนำไป Align กับมาตรฐานสากลชื่อว่า ISTQB (International Software Testing Qualifications Board) ที่ทั่วโลกยอมรับ โดยจะมี Cert ชื่อว่า ISTQB Foundation ที่พนักงานในฝ่าย SQM ทุก Area ที่เข้ามาทำงานจะต้องสอบให้ผ่าน เพื่อเป็นเครื่องยืนยันว่าทุกคนเข้าใจกระบวนการทดสอบที่เป็นมาตรฐานเดียวกัน และเป็นการสร้างรากฐานในการทดสอบซอฟต์แวร์

เรื่องใหญ่ๆ ที่ระบุไว้ใน Framework จะเกี่ยวกับกระบวนการในการทดสอบ ไม่ว่าจะเป็น KBTG Test Level และ Objective, Role & Responsibility ของแต่ละ Test Level, Sub Phase Activity, Entry & Exit Criteria, Test Monitoring, Tracking, Reporting, Defect Management, Test Data & Environment, Test Metrics and Measurement ไปจนถึง Test DI Tailoring Guideline + R&R

เอกสาร Test Management Framework

หลังจากที่ประกาศใช้ TMF ทีม TQA ก็ได้มีการเปิดรับฟีดแบ็คจากทุกคนที่นำไปใช้ เพื่อปรับปรุงให้ตรงตามความต้องการและได้ประโยชน์มากที่สุด

ในส่วนของ Test Template ปีนี้ เนื่องจาก Template เก่าใช้มานานมาก เนื้อหาไม่ค่อยทันสมัย และเพื่อให้เนื้อหา Align กับ TMF ที่ประกาศใช้ด้วย เราจึงมีการปรับปรุง Deliverable Item (DI) Test Template โดยทำเวิร์คช็อปร่วมกับ Head of Test Management ของแต่ละ Area ได้ออกมาเป็น 4 ตัว ดังนี้

1. Master Test Plan (MTP)
2. Test Summary Report (TSR)
3. Performance Test Plan (PTP)
4. Performance Test-Test Summary Report (PT-TSR)

ช่องทางเข้าไปดู DI Template ของ Phase ต่างๆ บน KM Portal

ที่จัดเก็บ DI Test Template

Test Summary Report (TSR) New Template

ทางทีม TQA ยังมีการจัดทำการเรียนการสอนและกิจกรรม เพื่อ Build Capability ของพนักงานในฝ่าย SQM ดังนี้

SQM Training

ทีม TQA มีการจัดทำ Learning Path สำหรับ Tech Kamp, New Joiner, Conversion, Internship รวมถึงพนักงานประจำตามตำแหน่งงานว่าแต่ละคนควรเรียนคอร์สออนไลน์อะไรบ้างเป็นพื้นฐานตามลำดับก่อนหลัง โดยปีนี้ทีม TQA ของเราวางแผนจัดทำ SQM Training ตามที่ทาง Head of ของทีมเทสแต่ละ Area ทำร่วมกัน สรุปออกมาได้ทั้งหมด 17 หลักสูตร แต่เนื่องจากคอร์ส Training ของเราใช้พนักงานในฝ่าย SQM ที่จะอาสามาเป็นผู้สอนในแต่ละคอร์ส ทำให้ในปีนี้เราเลือกจัดเพียง 6 หลักสูตรก่อน โดยคอร์สเรียนมีทั้งแบบออนไลน์ผ่าน MS Team และเวิร์คช็อปแบบ On Site ที่ห้อง Academy ตึก KBTG เมืองทองธานี

Tech Kamp

ทีม TQA จะมีการประสานงานกับ Test Automation Team เพื่อวางแผนการสอนน้องๆ ในโปรแกรม Tech Kamp (เหมือน Bootcamp สำหรับสมาชิกใหม่ที่ไม่มีพื้นฐาน) ในแต่ละปีว่าควรเรียนรู้เกี่ยวกับเรื่องอะไรบ้าง เรามีการส่งลิสต์รายชื่อคอร์สออนไลน์ที่น้องๆ ควรจะต้องไปเรียนก่อนมาร่วมโปรแกรมกับทีม TQA เพื่อให้น้องๆ มีความรู้พื้นฐานทางด้าน SDLC และเทสติดตัว และสามารถนำความรู้ที่ได้ไปปฏิบัติงานจริงในโครงการที่ได้รับมอบหมายต่อไป

Lesson Learnt & Knowledge Sharing

เราจัด Lesson Learnt & Knowledge Sharing ขึ้นเดือนละครั้ง เพื่อแชร์ความรู้ให้กับพนักงานในฝ่าย SQM โดยหัวข้อที่นำมาแชร์จะมาจากการทำฟีดแบ็คในงานแต่ละครั้งว่ามีเรื่องไหนน่าสนใจและหลายคนอยากรู้ หรือเป็นเรื่องในกระแส โดยเราจะทำการติดต่อ Speaker ที่จะมาพูด ทั้งพนักงานในฝ่าย SQM เอง พนักงานนอกฝ่าย หรือบางครั้งเราก็มีเชิญพนักงาน KBank มาแชร์ความรู้ รูปแบบจะเป็นเหมือน Talk Show มากกว่ามาสอน มีกิจกรรมให้ทุกคนได้ร่วมสนุก ไม่ว่าจะเป็นการประกวดการแต่งกายตามธีมหรือเกมส์ต่างๆ ให้เหมาะกับบรรยากาศสบายๆ ในบ่ายวันศุกร์ ได้ผ่อนคลาย แถมได้ความรู้กลับไปอีกด้วย

กิจกรรม Knowledge Sharing ธีม The Mask

แต่ละครั้งที่มีการจัดทำโปรแกรม Tech Kamp, SQM Training และ Lesson Learnt & Knowledge Sharing เราจะมีการนำวิดีโอและสื่อการสอนมาวางไว้ที่ KM Portal ให้ทุกคนในองค์กรสามารถเข้ามาศึกษาได้

โปรแกรม Tech Kamp ที่ทาง TQA เป็นผู้จัดสอน โดยปีนี้ถือเป็นปีที่ 2

SQM Library จะประกอบด้วย SQM Training และ SQM Lesson Learnt & Knowledge Sharing

นอกจาก SQM Library แล้ว เรายังจัดทำในเรื่องอื่นๆ อีก

• Self-Service
• QC Utilities
• Service Request

รวมถึงการจัด SQM All Hands ทุกครึ่งปี ให้ทุกคนในฝ่าย SQM ได้มาร่วมสนุกกัน ซึ่งปีนี้พิเศษกว่าเดิมด้วยการจัด SQM Reconnect ขึ้นที่พัทยา โดยทางทีม TQA ของเราเป็นผู้ประสานงานติดต่อกับทางโรงแรม รวมถึงออกแบบกิจกรรมเองทั้งหมด ไม่ได้มีการจ้างบริษัทจากภายนอกแต่อย่างใด

SQM Reconnect ที่พัทยา

ในกรณีที่พนักงานในฝ่าย SQM มีปัญหา เรามี TQA Line@ ที่เป็น Chat Bot ไว้สำหรับตอบคำถามด้วย

Governance and Quality

ทีม TQA ทำหน้าที่ Control Quality ต่างๆ ในฝ่าย SQM คอยดูแลคุณภาพของโปรเจค หรือที่เรียกกันว่า Quality Health Check รวมไปถึงการ Governance โปรเจคต่างๆ ที่อยู่ภายใต้การทดสอบของฝ่าย SQM ครอบคลุมทั้ง Internal และ External

เราทำหน้าที่เป็น Quality Gate คอยควบคุมภาพใหญ่ของการทดสอบ โดยแบ่งเป็น Gate ใหญ่ๆ 3 Gate คือ

1. Entry Criteria

ตรวจสอบความพร้อม ดูว่าโปรเจคที่เข้ามาพร้อมสำหรับการทดสอบหรือไม่ โดยมี Entry Criteria Checklist สำหรับทำการตรวจสอบ

Entry Criteria Checklist ของ Test Level SIT

2. Healthiness Index

หลังจากโปรเจคผ่านเข้ามาทดสอบในฝ่าย SQM แล้ว เราจะมีการมอนิเตอร์ เพื่อตรวจสอบสุขภาพของโปรเจคว่ายังมีสุขภาพดีหรือไม่ ปัจจุบันเรามีการทำตัวชี้วัดสำหรับวัดค่าที่เรียกว่า Healthiness Index วางอยู่บน Grafana Dashboard เรียบร้อย

3. Exit Criteria

เป็นการตรวจสอบว่าโปรเจคที่ผ่านการทดสอบสามารถออกจากการทดสอบเพื่อนำขึ้น Production ได้ โดยจะมี Exit Criteria Checklist เพื่อตรวจสอบ เช่น Defect Sev1 และ Sev2 จะต้องไม่มีเหลืออยู่ เพื่อเป็นการการันตีว่าระบบทำงานได้หลังจากขึ้นไปแล้ว

Exit Criteria Checklist ของ Test Level SIT

ทั้ง 3 Gate นี้ เราจะหาตัวชี้วัดที่สามารถวัดได้ เพื่อแสดงออกมาเป็น Quality Index ให้เห็นคุณภาพของโปรเจคในทุก Gate หากเราสามารถควบคุมคุณภาพของทั้ง 3 Gate ได้เป็นอย่างดี ก็จะทำให้ Test Framework ของเราแข็งแรง

เมื่อโปรเจคผ่านเข้ามาทดสอบในฝ่าย SQM เราจะมีการจัดทำ Quality Health Check เพื่อตรวจสอบคุณภาพของโปรเจค โดยแบ่งออกเป็น 3 สถานะ ดังนี้

1. Critical เป็นโปรเจคที่ต้องการการดูแลอย่างใกล้ชิด มี Issue ที่ส่งผลกระทบต่อ Budget, Timeline และ Quality
2. Watch List เป็นโปรเจคที่มี Potential ที่จะส่งผลกระทบต่อ Budget, Timeline และ Quality
3. Normal เป็นโปรเจคที่ยังไม่เกิดปัญหา (On Time, On Budget, With Quality)

เรามีการจัดทำ QHC on Web (Quality Health Check) เพื่อให้ Test Manager มาทำการ Register โปรเจคที่เข้ามา และใส่ Status ปัจจุบันของโปรเจค

Quality Health Check on Web

ท้ายสุด ทีม TQA มีการจัดทำ Session ที่เรียกว่า SQM Governance ทุกวันพุธ ทั้ง 3 Gate ที่ว่าจะถูกมอนิเตอร์ใน Session นี้ หากมีโปรเจคไหนที่เป็นสีแดงหรือสีส้มจะถูกหยิบขึ้นมาดู และหากมี Issue ที่ต้องการความช่วยเหลือจาก MC Sponsor ทางทีม TQA จะจัด Session ที่เรียกว่า SQM Leader Monthly Meeting with MC Sponsors เดือนละครั้ง โดยจะยกไฮไลท์จาก SQM Governance มารับคำแนะนำหรือการแก้ไข ทั้งนี้ที่กล่าวมานี้จะเป็นการ Govern ขา Internal เท่านั้น ซึ่งเราก็ทำขา External ด้วย โดยมีการร่วมมือกับ Party อื่นๆ ไม่ว่าจะเป็น Operational Risks (OpRisk) หรือ Internal Audit (IA) จากทาง KBank และในส่วนของ KBTG จะมี IT Governance ที่มาช่วย Govern Quality ร่วมกับทางทีม TQA

Metrics and Measurement

ทีม TQA จะนำข้อมูลของโปรเจคต่างๆ จากหลายๆ แหล่งมาทำเป็นตัววัดผลให้อยู่ในมาตรฐานเดียวกัน โดยดึงข้อมูลจาก PPM Tool ที่ DM และ PM ใช้, QHC on Web ที่ Test Manager ใช้ ไปจนถึง ALM-QC ที่เก็บผล Test Execution และ Manage Defect ระหว่างการทดสอบ นอกจากนี้ยังมีการ Sync Defect จาก JIRA ซึ่งเป็น Tool ที่ทางฝั่ง Developer ใช้ในการทำงานแบบ Agile โดยทำการ Sync ข้อมูลร่วมกันระหว่าง Defect จาก ALM-QC เพื่อให้ทาง Developer ทำงานร่วมกับทาง Test Team ได้อย่างสะดวก ทำให้เราสามารถเก็บผลได้อย่างครบถ้วนและนำไปวิเคราะห์ได้อย่างแม่นยำ

นอกจากนี้เรายังได้รวบรวมข้อมูลมาจัดทำ Data Analytics สะท้อนถึงภาพรวมของโครงการ มีการกำหนดตัวชี้วัดต่างๆ ตามมาตรฐานสากล เพื่อนำไปทำ Quality Improvement ต่อไปได้

เนื่องจากทีม TQA มีหน้าที่คอยควบคุมดูแลคุณภาพของโปรเจคที่อยู่ภายใต้การทดสอบของ SQM ให้มีคุณภาพตรงตามมาตรฐานก่อนที่จะนำขึ้น Production เราจึงต้องมีการสร้างตัวชี้วัดคุณภาพที่เรียกว่า Quality Index ที่ปัจจุบันมีการแสดงค่าอยู่บน Grafana Dashboard ดัชนีวัดคุณภาพนี้สามารถบ่งบอกถึงคุณภาพของสิ่งที่จะทำการส่งมอบ เป็นการแสดงสถานะแบบจับต้องได้ โดยดึงข้อมูลต่างๆ ผ่าน Test Tool อย่าง PPM, QHC on Web และ ALM-QC ซึ่งยังรวมไปถึงดัชนีวัดค่าสุขภาพ หรือที่เรียกว่า Healthiness Index โดยเราจะดูจากตัวเลขของเปอร์เซ็นต์ที่แสดง และสีว่าเป็นสีเขียว แดง เหลือง ตามหลักเกณฑ์ที่มีการกำหนดไว้ ช่วยให้เราสามารถประเมินสาเหตุของปัญหา วิเคราะห์สถานการณ์ระหว่างการทดสอบ และสามารถหาแนวทางในการแก้ไขได้อย่างตรงจุดและทันท่วงที เป็นประโยชน์ต่อการพัฒนาในอนาคต

Quality Index บน Grafana Dashboard

ในส่วนของการทำรายงาน ทางทีม TQA จะมีการจัดทำ Test Progress Report เพื่อติดตามตรวจสอบ Monitoring และรายงานผล โดยมีการแสดงค่าตัวเลขต่างๆ เช่น จำนวนของ Defect, จำนวน Test Case ที่ถูก Execute ไป และสามารถดูความคืบหน้าของการทดสอบ เพื่อดูว่าเป็นไปตามแผนหรือไม่ เราจัดทำเป็น QC Utilities ด้วยการเขียน Script Macro บน Excel เพื่อให้ผู้ใช้สามารถดึงข้อมูลจาก ALM-QC ออกมาเป็นรายงาน และคำนวณค่าวัดต่างๆ ให้ ภายในเวลาเพียงไม่กี่วินาที

ตัวอย่าง Test Progress Report

นอกจากนี้เรายังมี QC Utilities อื่นๆ ให้เลือกใช้ ในการจัดการวางแผน จัดการบริหารข้อมูลต่างๆ บน Quality Center (ALM-QC) และมีการจัดทำ SQM Service Request สำหรับ Request Service ต่างๆ เป็นช่องทางสอบถามปัญหา หรือเปิด Issue ที่เจอในระหว่างการใช้งาน เพื่อให้ทีม Support หลังบ้านเข้าไปช่วยแก้ปัญหาได้รวดเร็วมากยิ่งขึ้น

QC Utilities ต่าง ๆ

SQM Service Request

อ่านมาถึงตรงนี้แล้วเป็นอย่างไรกันบ้างคะ หวังว่าทุกคนจะรู้จักทีม TQA ของเรามากขึ้น Quality เป็นสิ่งที่ต้องมีการพัฒนาให้ดีขึ้นและตรงตามมาตรฐานสากลอยู่ตลอดเวลา ซึ่งทีม TQA ของเราก็มุ่งมั่นที่จะทำให้การส่งมอบผลซอฟต์แวร์ให้กับลูกค้าเป็นไปอย่างมีประสิทธิภาพที่สุดค่ะ

สำหรับเพื่อน ๆ ชาว KBTG ที่สนใจอยากทราบรายละเอียดเพิ่มเติม ไม่ว่าจะเป็นเนื้อหาที่เราสอน หรือเอกสารที่กล่าวถึงในบทความนี้ สามารถเข้าไปค้นหาจากบน KBTG KM หน้า Software Quality Management กันได้นะคะ

แล้วพบกันใหม่ในบทความหน้า สวัสดีค่ะ 👋

สำหรับใครที่ชื่นชอบบทความนี้ อย่าลืมกดติดตาม Medium: KBTG Life เรามีสาระความรู้และเรื่องราวดีๆ จากชาว KBTG พร้อมเสิร์ฟให้ที่นี่ที่แรก