본문 바로가기

PM/아티클스터디

[아티클 스터디]A/B 테스트 제대로 이해하기: ③ A/B 테스트 계산기의 세팅과 해석

[아티클 요약 및 주요 내용]

-요약

A/B Test guide

  1. Test Data : 각 그룹의 표본크기, 그룹별 최종 전환 숫자
  2. Setting-Hypthersis : 단측검증, 양쪽검증 (두 그룹에 차이가 있다는 전제하에 특정 한쪽이 무조건 우세하다고 생각하고 실험 VS 두 그룹 차이가 있긴 한데 어느 쪽이 우세할지 모르니 열어놓고 보겠다)
  3. Settings-Confidence : 신뢰 수준 몇 % 설정하는지 묻는 설정 (보통 95%)

결과 해석 P-Value 값이 0.05(=5%)이하면 유의미, 크다면 유의미 하지 않음

-주요 포인트 

비즈니스 실험에서 A/B테스트 설계, 수행, 해석에 관한 참고 사항

 

[핵심 개념 및 용어 정리]

-핵심 개념

보수적이고 안전한 실험을 할때는 양측검증을 할때가 많음. 단측 검증이면 차이가 유의미하지 않다 라는 결과, 양측 검증이면 차이가 유의마하다 라는 결과

-용어정리

 AB Test guide : 무료로 A/B테스트 결과를 제공하는 계산기



 

>해당 아티클 

https://yozm.wishket.com/magazine/detail/1656/

 

A/B 테스트 제대로 이해하기: ③ A/B 테스트 계산기의 세팅과 해석 | 요즘IT

앞선 두 편의 글에서, ‘실제 A/B 테스트를 설계할 때 우리가 진짜 궁금한 질문’과 ‘A/B 테스트 실험 결과의 유의미한 방안’, 그리고 ‘이를 바탕으로 A/B 테스트의 설계 및 해석에 필요한 기초

yozm.wishket.com

 

 

728x90