본문 바로가기

PM/아티클스터디

[아티클 스터디] A/B 테스트 제대로 이해하기 : 2. A/B 테스트를 위한 기초 통계 이해하기

[아티클 요약 및 주요 내용]

-요약 

  1. 우리는 결코 전체를 알 수 없다. 실험의 대상은 어디까지나 일부이다.
  2. 일부를 통해 전체에 대한 추론이 가능하다.
  3. 실험결과도 결국 추측이다.
  4. 이번 결과가 우연인지 아닌지는 P-value이 5%이내인지를 통해 알 수 있다.

-주요 포인트 

가설을 통한 실험은 우연히 발생할 수 밖에 없기 때문에 적절한 기초통계를 활용해 우리가 원하는 답을 찾기 위해 노력해야한다.따라서 A/B 테스트에서 기초통계가 중요하다.

 

[핵심 개념 및 용어 정리]

-핵심 개념

p-value 귀무가설이 맞다고 가정할 때, 관찰된(또는 그보다 더 극단적인) 결과가 일어날 확률로 우연인지 아닌지 판단하기 위해서는 P-value 값을 확인해야 한다.

-용어 정리

전체 = 모집단 / 일부 = 표본

귀무가설 : 무언가 일어나지 않는다

대립가설 : 평소 상황(차이가 없다)과 대립하는 결과(차이가 생긴다)

단측검정 : A가 B보다 무조건 높을/낮을것이다.

양측검정 : A와 B중 뭐가 더 높을지/낮을진 모르겠지만 일단 차이는 있을 것이다.

 

>해당 아티클 

https://yozm.wishket.com/magazine/detail/1644/

 

A/B 테스트 제대로 이해하기: ②A/B 테스트를 위한 기초 통계 이해하기 | 요즘IT

앞선 글에서 A/B 테스트를 설계하거나 수행할 때 ‘목표를 달성하기 위한 방안으로 A와 B 중 어느 게 더 나은가?’ 뒤에 숨은 진짜 질문에 관해 살펴보았다. 이번 글에서는 이러한 우리의 진짜 질

yozm.wishket.com

 

728x90