애플리케이션 테스트 관리 6

테스트 결과 분석

01. 테스트 결과 분석

1) 결함 종류

1. 오류(Error)
   • 오류는 결함(Defect)의 원인이 되는 것
   • 오류는 소프트웨어 개발자, 분석가 등에 의해 생성된 실수를 의미
2. 결함(Defect), 결점(Fault), 버그(Bug)
   • 오류가 원인이 되어 소프트웨어 제품에 포함되어 있는 결함을 의미
   • 결함, 결점, 버그는 서로 약간의 차이는 있지만 같은 범주에 해당함
   • 결함을 제거하지 않으면 소프트웨어 제품이 실패(Failure)하거나 문제(Problem)가 발생할 수 있음
3. 실패(Failure), 문제(Problem)
   • 소프트웨어 제품에 포함된 결함이 실행될 때 발생하는 현상
   • 프로그램 수행 결과가 실패하면 여러 문제들이 발생함

02. 결함 관리

1) 테스트 결함 관리

• 각 단계별 테스트가 완료되면 발생한 결함의 재발 방지를 위해 결함을 추적하고 관리하는 활동

2) 테스트 결함 관리 프로세스

1. 오류 발견 : 요구사항 분석, 설계, 테스트 실행 중 오류가 발견될 경우, 테스트 전문가와 프로젝트팀과 논의함
2. 오류 등록 : 결함 관리 대장에 발견된 오류를 등록함
3. 오류 분석 : 등록된 오류가 단순 오류인지, 실제 결함인지 분석함
4. 결함 확정 : 등록된 오류가 실제 결함으로 확정될 경우, 결함 확정 상태로 설정함
5. 결함 할당 : 결함을 해결할 담당자를 지정하여 결함을 할당하고 결함 할당 상태로 설정함
6. 결함 조치 : 결함에 대해 수정 활동을 수행한 후 수정이 완료된 경우 결함 조치 상태로 설정함
7. 결함 조치 검토 및 승인 : 수정이 완료된 결함에 대해 확인 테스트를 수행한 후 정상적으로 결함 조치가 완료된 경우 결함 조치 완료 상태로 설정함

3) 결함 관리 도구

1. 상용 결함 관리 도구

• QC(Quality Center) : HP에서 만든 결함 관리 도구
• Clear Quest : IBM에서 만든 결함 관리 도구
• JIRA : 아틀래시안에서 만든 결함 관리 도구로 PHP 언어를 사용할 수 있음

2. 오픈소스 결함 관리 도구

• Bugzilla
  • 설치가 어려움
  • Perl 언어를 사용할 수 있음
  • MySQL과 PostgreSQL을 지원함
  • 다양한 플러그인을 지원함(Eclipse, SVN 등)
• Trac
  • 버그 관리, 개발 Tast 용 이슈 관리를 할 수 있음
  • 형상 관리 및 문서 관리를 할 수 있음
  • Python 언어를 사용할 수 있음
  • SQLite를 지원함
  • 티켓이 있는 개발자 간에 원활한 의사소통을 웹 게시판에서 할 수 있음
• Mantis
  • 결함 관리에 최적화되어 있음
  • 설치와 사용법이 쉬움
  • PHP 언어를 사용할 수 있음
  • MySQL, Apache 혹은 IIS만 있으면 사용할 수 있음

3. 결함 관리 도구 도입 시 고려사항

• 웹 클라이언트를 지원하는지 확인이 필요함
• 이 기종의 운영체제를 지원하는지 확인이 필요함
• 타 플랫폼이나 웹 서버를 지원하는지 확인이 필요함
• 프로세스 및 워크플로우 변경이 가능한지 확인이 필요함
• 결함 간에 연관 관계 정보를 제공하는지 확인이 필요함
  • 연관 관계 : 중복(Duplicate) 관계, 종속 관계 등을 말함
• 결함 등록 및 상태 등록 시 담당자에게 이벤트 통보 기능이 되는지 확인이 필요함
• 각종 리포트, 차트, 쿼리 구성 및 저장이 가능한지 확인이 필요함
• 결함 상태 변경에 대한 추적이 가능한지 확인이 필요함
• 다국어 지원이 되는지 확인이 필요함
• 다중 프로젝트 지원이 되는지 확인이 필요함

---

03. 결함 추이 분석

1) 결함 추이 분석

• 테스트가 완료되면 발견된 결함의 결함 관리 측정 지표의 속성 값들을 분석함
• 차후에 애플리케이션의 어떤 모듈 또는 컴포넌트에서 결함이 발생할지를 추정하는 작업

2) 결함 추이 분석 유형

1. 결함 분포
   • 각 애플리케이션 모듈 또는 컴포넌트의 특정 속성에 해당하는 결함의 수를 측정하여 결함의 분포를 분석할 수 있음
2. 결함 추세
   • 테스트 진행 시간의 흐름에 따른 결함의 수를 측정하여 결함 추세를 분석할 수 있음
3. 결함 에이징
   • 등록된 결함에 대해 특정한 결함 상태의 지속 시간을 측정하여 분석할 수 있음
   • 결함을 일정 시간 동작시켜 이상 유무를 검사하는 용도로도 사용됨