‘리서치’는 UX 디자인의 중심 축으로 존재함에도 불구하고, ‘빠르고 간편하게만’ 대충 진행되는 경우가 다반사입니다. 사실 철저하고, 체계적인 방법론을 통한 리서치는 우리의 결과물에 많은 신빙성을 안겨줍니다.
아래 글은 Shreya Kothaneth의 인터뷰를 UX booth.com에서 인터뷰 한 내용을 번역/재구성 하였습니다.
원문 (http://www.uxbooth.com/articles/five-tips-for-conducting-scientific-research-in-the-ux-world/)
제 리서치 사랑은 10년 전으로 거슬러 올라갑니다. 10년 전, 신입 UI디자이너로 일하는 동안 저는 언제나 ‘클라이언트’의 피드백을 기반으로 디자인을 하게끔 교육받았습니다. 저는 클라이언트에게 어색한 제 아이디어를 소개하곤 하였지요. 어떤 분들은 제 아이디어를 무척 좋아하셨지만, 다른 분들은 점잖게 그들이 직접 개선하겠다고 둘러대시기도 하셨습니다. 이런 과정에서 성취감을 느낄 수는 없었습니다.
이후 사용자 리서치 연구원 (Scientific researcher)으로써 근무하면서 받았던 교육은 제 기존 방식이 틀렸다는 것을 알려주었습니다. 당시 저는 제 디자인을 알리기 위해 편향 반응(Biased response)을 사용하고 있다는 점을 깨달았죠. 리서치 연구원 이전의 저는 제가 원하는 것만 들었고, 진정 사용자가 필요한 것은 들을 수 없었던 것입니다. 보편성에 의겨한 디자인이 아니라, 그저 제가 원하는 디자인만 했던 것이죠.
이후 면밀한 접근의 리서치가 보다 정확하고, 편향되지 않은 결과와 더불어 명확한 디자인 방향을 제시한다는 것을 깨달았습니다.
먼저 연구 계획을 짜는 것을 시작으로, 테스트 방법론 내 세부 사항 및 리서치 연구원의 올바른 역할을 살펴보고 실무에서 조사 결과를 제대로 반영하기 위한 5가지 팁을 알려드리겠습니다.
1. 시작 단계
모든 체계적 리서치 프로젝트는 ‘리서치 계획’부터 시작합니다. 계획 문서의 개요는 아래와 같습니다.
- 탐구할 문제 (혹은 리서치 질문)
- 기존 문헌의 요약본
- 가설 혹은 기존 문헌 내 추정할 수 있는 패턴
- 영역별 리서치 참가자
- 적용하고자 하는 데이터 수집 방법 (user story, 5 whys 등)
- 계획 분석 방법 및 예상 결과
리서치 계획을 작성하는 목적은 전체 팀이 연구하고자 하는 목적을 세우는 것 뿐만 아니라, 모든 측면의 고려사항 및 팩트를 모두 확정하고자 하는 것입니다.
리서치 계획서를 작성하기 위해서는 기존 이론, 모델 및 기타 연구 결과의 광범위한 리뷰가 필요합니다. 계획서 작성의 목적은 쓸데없는 시간 낭비를 없애기 위해서입니다. 시스템 사용의 규모를 측정하는 연구의 경우, 실제 규모를 이해하기 위해 수행할 수 있는 가장 최선의 방법은 ‘기존의 논문 및 문서’를 읽어보는 것입니다. 기존 논문을 찾아보는 것은 예쁜 다이어그램이나 유명한 소스를 찾아보는 것보다 더욱 가치있는 일입니다. 좋은 학술 인용 사이트는 Google scholar나 Microsoft academic search 등이 있습니다.
인터넷에 떠도는 신뢰 없는 정보를 찾기 보다는, 논문 인용 사이트에서 신뢰할만한 문서를 조사하여 잘못된 정보를 포함할 수 있는 가능성을 최소화해야 합니다.
2. 사전에 리서치 대상자 수를 결정하기
리서치 대상자 숫자를 결정하는 것은 항상 ‘뜨거운 감자’와도 같습니다. 어떤 연구원들은 5명이 충분할 것이라고 하고, 어떤 사람들은 ‘달성하고자 하는 범위’ 내 측정 가능한 치수까지라고 하고, 어떤 사람들은 될수록 많은 사람을 리크루팅 하는 것이 리스크를 줄일 수 있는 최선의 방법이라고 말합니다. 필자는 ‘연구의 방법론’에 따라 결정할 수 있다고 봅니다.
예를 들면 스마트폰 사용 ‘행위’에 대한 정성적 리서치는 서술형의 통찰력 있는 데이터를 제공해야 합니다. 여기서 리서치 참가자 수는 조사하고자 하는 정보의 범위 및 영역(예: 스마트폰에 설치한 어플리케이션/사용하는 용도/목적 등), 관점에 따라 달라집니다.
그러나 스마트폰 사용 ‘효과 측정’과 같은 정량적 연구는 데이터의 신뢰도에 따라 분석 방법이 달라집니다. 더욱 분석적으로 조사하고 싶다면, 더욱 많은 사용자를 조사해야 한다는 것이죠.
어느 쪽이던 간에 핵심은 리서치 수행 이전에 리서치 참가자를 결정해야 한다는 것이며, 그 수를 정확히 맞출 수 있을 때까지 리서치는 계속되어야 할 것입니다.
리서치 참가자를 사전에 결정하는 것은 궁극적으로 미묘한 (간혹 혁신이 숨어있는) 이슈를 놓치지 않게 해주며, 상시 변화하는 조사 상황에 따라 본질이 흔들리지 않도록 방지해주는 효과가 있습니다.
3. 리서치 주제를 ‘객관화’시킬 것
통상 과학자들이 수행하는 과학 연구는 ‘객관성’에 초점을 두고 있습니다. 그 때문에 과학자들은 모든 연구를 승인하고 감시하는 기관 감사 위원회(IRB)의 승인을 받아야만 연구를 개시할 수 있습니다. 기관감사위원회는 모든 연구자들은 그들의 연구 활동에 있어 타인과 ‘중복’이 없어야 한다고 명시하고 있습니다.
그렇다면 이것이 UX디자이너에게는 어떤 의미일까요? 간단합니다. 디자이너는 ‘그들 자신이 원하는 것’을 조사해서는 안됩니다.
디자이너는 필연적으로 자신의 이치에 맞는 것을 디자인하고 싶어합니다. 이것은 어떤 면에서 좋을 수도 있지만, 의사 결정에 영향을 미칠만한 수많은 선입견을 낳는 발판이 될 수 있습니다.
디자인을 효과적으로 수행하기 위한 공정한 연구자료를 수집하기 위해 능숙하고 선입견 없는 연구원이 사용자에게 질문을 수행해야 하며, 답변을 해석해야 합니다. 해석적 편견과 관찰적 편견과 같은 ‘실험자의 편견’을 미연에 방지할 수 있어야 합니다.
4. 파일럿 테스트를 시행할 것
파일럿 테스트는 리서치 계획을 테스트하는 행위입니다. 체계적 리서치 연구원들에게 파일럿 테스트는 모든 리서치 계획의 유효성을 보장할 뿐만 아니라, 일어날 수 있는 예상 문제를 식별하기 위해 꼭 필요한 과정입니다. 파일럿 테스트는 타겟 고객을 대표하는 사용자 그룹을 대상으로 수행하는 것이 이상적입니다.
파일럿 테스트는 실제 리서치처럼 정확히 수행해야 하지만, 데이터를 보는 것보다는 우리가 수행할 테스트의 ‘오류’를 잡는데 집중합니다. 우리가 설문지를 파일럿 테스트 할 경우 사용자가 설문지의 단어를 제대로 이해하지 못하거나 복잡하다고 느낄 경우에는 그 단어를 설문지에서 삭제하는 식입니다. 또한 사용자가 설문지를 작성하는 데 얼마나 많은 시간이 걸리는 지 측정할 수 있기도 합니다. 모든 질문은 정확히 이해할 수 있어야 하며, 마무리 후 꼭 솔직한 의견을 물어보기도 하시기 바랍니다.
파일럿 사용성 테스트를 수행할 때는 사용자에게 지시사항을 알려주며 사용자를 위해 설계한 모든 태스크 수행을 관찰하는 기존의 방법을 취하되, 지시하고자 하는 바, 테스트 하고자 하는 바를 명확히 확인해야 합니다. 또한 사용자는 자신의 의견을 솔직하고 정확하게 ‘말’을 통해서 이야기 해야 하며, 실제 사용자 테스트 진행 시 사용자가 질문하는 것을 적어야 할 뿐만 아니라 명확성을 위해 ‘다시 질문해주시겠어요?’와 같은 활동을 반복해야 합니다.
또한 작성된 스크립트에 충실해야 하며, 실제 리서치 연구를 진행하는 것 같이 진행하셔야 하는 것을 기억하셔야 합니다. 사용자에게 ‘어떻게 하면 현재 진행하는 연구를 더 개선할 수 있을지’에 대해 정직한 피드백을 받아야 하며, 그들의 피드백을 통해 전문 연구원으로써 당신의 전문성을 가감없이 적용시키기 바랍니다.
다만, 일반적으로 파일럿 테스트의 결과는 실제 설문을 조정하는 데에만 사용합니다. 설문조사에 따른 결과나 태스트 수행에 따른 시간 소요와 같은 결과물은 연구의 일관성을 유지하기 위해 최종 결과에는 포함될 수 없습니다.
5. 사용자를 편견없이, 스트레스를 주지 말고, 항상 감지하라
체계적인 리서치는 종종 프로젝트에 투입하기 전 대규모의 조사가 필요하기도 합니다. (요구사항/이해관계자 정의 등) 최근 UX 업계의 트렌드는 리서치 과정 내 참여할 수 있는 모든 구성원이 참여하는 것이었죠. 사실 리서치 연구원으로써 정말 강조하고 싶은 말 중 하나는, 사용자를 관찰하는 관찰자 및 연구원이 많으면 많을수록 리서치 성공과는 거리가 멀어진다는 것입니다.
사용성 테스트(UX 업계에서 통상 수행하는 첫 리서치)는 사실 사용자에게 엄청난 스트레스를 안겨줍니다. 사용자들은 ‘행동’을 질문받는 것 외에도 마치 신경 고문을 받는 듯한 어색한 환경에 처해지죠. 이러한 상황은 사용자가 태스크를 수행하는 데 방해가 될 뿐만 아니라 ‘틀린 인사이트’를 찾을 수도 있는 리스크를 안겨줍니다.
정확한 리서치를 방해하는 또다른 사실 중 하나는, ‘사용자는 자신이 관찰당하고 있음을 느낄 때 행동이 달라진다’는 것입니다. 이것을 호손효과(Hawthorne effect)라고 부르기도 하지요. 이 효과는 관찰자가 점점 늘어날수록 악화됩니다. 그래도 꼭 많은 사람을 투입하여 좋은 리서치 결과를 얻고 싶으신 분을 위해, 아래 부정적 효과를 최소화시킬 수 있는 몇가지 예방책을 소개하겠습니다.
1. 첫째, 리서치 과정에 포함시킬 사람을 정할시에는, 사용자의 감정이나 행동에 영향을 주지 않을 만한 ‘경험이 풍부한 퍼실리테이터(중재자)’ 역할을 수행할 사람을 꼭 포함시켜야 합니다. 질문을 리드하기 위해 눈을 제대로 바라보고, 듣는 그대로 결과를 분석하세요.
2. 둘째, 관찰자를 꼭 숨겨두고, 최소의 인원으로 구성하십시오. 리서치 연구원의 역할은 가능한한 정확한 데이터를 얻는 것입니다. 사용자가 스트레스를 받을 시에는 믿을만한 데이터를 얻기 힘듭니다.
3. 세번째, 사용자에게 꼭 ‘디자인 및 설계 작업 외에는 어떠한 외부 작업도 하지 않을 것임’을 명심시키세요. 그러면 사용자는 얼마나 많은 부정적 의견을 제공해야 할지에 대해 혼란이 덜할 것입니다.
4. 넷째, ‘우리는 제품을 테스트하는 것이지 당신을 테스트 하는 것이 아님’을 꼭 명심시키세요. 이 점은 사실 많이 아시겠지만, 사용자들은 잘 모를 수 있으므로 꼭 알려주시기 바랍니다.
5. 다섯번째, 사용자의 스트레스 사인이 없는지 확인하기 위해 계속 사용자를 (원격 테스트 시에는 ‘경청’) 지켜보세요. 사용자가 스트레스를 내기 시작했다면 즉시 화제를 전환하거나 세션 종료를 고려하세요. 리서치의 열쇠는 사용자가 경험하는 나쁜 디자인을 감지하여 노트에 적는 것이지 짜증나는 리서치 세션을 지속하는 것은 아니기 때문입니다. 후자는 신뢰할 수없는 데이터를 제공 하는 반면, 전자는 가치있는 통찰력을 제공합니다.
6. 요약 — 어떻게 체계적인 리서치를 수행할 것인가?
1) 먼저 리서치를 ‘계획’하고, ‘정확한 정보’가 있는 사이트 혹은 루트를 찾아 ‘읽어보세요’
2) 테스트하기 전 사전에 리서치할 사용자 수를 결정하고, 상황에 따라 사용자 수를 변경하는 것을 지양하세요.
3) 리서치를 수행할 시 ‘편견’을 조심하세요.
4) 파일럿 테스트를 꼭 진행하세요.
5) 편견과 스트레스 주입을 피하고, 질문을 리드하세요.
마지막으로 가장 중요한 것은 고되고 힘든 리서치 과정을 포기하지 않는 것입니다. 이것이 우리가 진실로 믿을만한 결과를 얻을 수 있는 유일한 길임을 명심하시길 바라며 글을 마칩니다. ☺
