위클리 페이퍼 #2 - 1종 오류, 2종 오류, p-value

금주의 위클리 페이퍼의 주제는 2가지이다.

 

1) 제1종 오류와 제2종 오류에 대해 설명해주세요.

2) p값 (p-value)는 무엇인가요?

 

제1종 오류와 제2종 오류

 

통계적 가설검정과 관련하여, 연구하고자 하는 대상이 나타내는 현상을 관찰하고, 그 현상을 설명하는 가설을 지정합니다. 즉 통계를 사용해서 가설(hypothesis)를 시험(test)하는 것입니다. 통계에서 파생된 평균(mean)과 분산(variance), 표준편차(standard deviation)를 이용해 가설을 세운다.

 

통계적 결정을 내리는 데에는 항상 불확실성이 동반되기 때문에 이런 검정에서 오류를 범할 위험은 불가피하게 된다. 이 때 우리는 통계적 가설검정을 통해 예외가 존재 할 확률에 대해서는 인정하되, 보다 높은 가능성을 지닌 쪽을 선택하여 오류발생을 줄이는 것이다. 통계적 가설 검정에서 귀무가설(null hypothesis, H0)과 대립가설(alternative hoypothesis, H1, Ha)를 검증시 발생 되어지는 통계적 오류는 1종 오류와 2종 오류 2가지가 존재한다. 대립 가설은 우리가 밝히고자 하는 가설에 대한 내용이고, 귀무 가설은 통계학에서 처음부터 버릴 것을 예상하는 가설, 즉 차이가 없거나 의미가 없는 경우의 가설을 뜻한다.

• 1종 오류 (Type I Error) : 귀무가설이 실제론 참이지만, 표본의 오차에 의해 이를 채택하지 않는(귀무가설을 기각) 오류를 뜻합니다.
  1종오류의 확률은 α(알파, 유의수준(significance level)) 로 표현된다.
• 2종 오류 (Type II Error) : 귀무가설이 거짓일 때, 이를 채택하는 오류이다. 2종 오류의 확률은 β(베타)로 표기된다.

	판단) 귀무가설을 기각(거짓)	판단) 귀무가설을 기각하지 않는다.(참)
결정) 귀무가설이 참	제 1종 오류 α(유의수준)	올바른 판단
결정) 귀무가설이 거짓(대립가설이 참)	올바른 판단 (1- β = 검정력)	제 2종 오류 β

 

보통 1종 오류가 발생될 확률는 통상적으로 0.05(5%)로 설정한다. 이는 귀무가설을 기각할 확률이 5%에 해당한다는 것으로 100번의 실험중 귀무가설이 참임에도 불구하고 5번 정도는 귀무가설을 기각하는 판단을 내린다는 의미한다. 유의수준이 5%에 해당한다면, 신뢰수준은 95%를 뜻하게 된다. 

 

2종 오류가 발생될 확률은 β로 나타낸다, β가 커질수록 대립가설이 참(귀무가설을 기각)하는 경우에서의 검정력이 줄어들게 된다. 

α와 β는 서로 trade-off의 관계로 이루어져 있다. α의 값을 낮추면, 상대적으로  β의 값이 커지는 관계를 가지고 있다.

 

1종 오류와 2종오류 중 치명적인 오류는 무었일까? 서로 다른 유형의 오류로 상황에 따라 관점이 달라진다고 볼 수 있다. 보통의 경우에는 제 1종 오류를 2종 오류보다 치명적이라고 생각한다. 제약회사의 경우를 예시로 들어보겠습니다.

 

- 제 1종 오류 : 신약의 효과가 없는데 신약의 효과가 있다고 판단하는 경우

- 제 2종 오류 : 신약의 효과가 있는데 신약의 효과가 없다고 판단하는 경우

 

이러한 경우에서는 1종 오류가 치명적인 오류로 볼 수 있다. 약의 효과가 없는 제품을 시장에 출시하게 되므로써, 이로인해 자금, 신뢰성 부분에서 아주 큰 피해를 입게 될 것이다. 그에 반해 2종 오류는 신약 개발에 시간과 자금을 더 투자해야 하는 관점의 차이가 생긴다. 1종 오류와 2종오류의 확률과 관련된 분포는 아래의 그림과 같다.

이미지 출처 : https://www.scribbr.com/statistics/type-i-and-type-ii-errors/

 

p값(p-value)

 

p값은 probability-value로 어떠한 사건이 우연히 발생할 확률을 뜻한다. 통계적 가설 검정은 표본 데이터를 바탕으로 모집단을 추론하는 방법으로 모집단에 대해서는 단정 할 수 없지만, 확률적으로 높은 쪽을 선택하게 된다. 통계적 가설 검정 실험에 의해서 귀무가설과 대립가설을 세우게 되는데, 이때 제 1종 오류를 최대로 저지를 유의수준(α)와 제 1종 오류를 저지를 확률인 p-value의 크기 비교를 통해서 귀무가설에 대해서 판단을 내리게 된다. 그 에 대한 판단은 아래와 같다.

 

1) p값 < 유의수준(α) : 귀무가설을 기각한다.(대립가설을 채택한다.)
2) p값 > 유의수준(α) : 귀무가설을 기각할만한 충분한 근거가 없다.(귀무가설을 채택한다.)

 

이러한 p값을 이용해 귀무가설과 관련된 판단을 내리게 된다. 하지만 p-value에도 단점은 존재한다. 표본의 크기가 충분히 많고 크다면, 낮은 p값을 도출해 낼 수 있다. 하지만 그로인해 발생되어지는 비용적인 문제가 발생하기에 적절한 크기의 표본을 사용하는게 바람직 하다. 통계적 유의성이라는 관점에서는 쓸모 있지만, 실용적인 의미는 전달하지 않는 수치라고 한다. 이를 보완하기 위해서 신뢰구간을 사용하는 대안책도 존재한다. 

 

가설검정의 절차
1) 가설 설정(귀무가설, 대립가설)
2) 유의수준(α)을 결정한다.
3) 검정 통계량을 계산
4)  p값을 계산
5)  p값과 유의수준에 따른 판단 및 결론

 

이것으로 금주의 weekly paper는 마친다.