A/B 테스트: 어떤 옵션이 더 효과적인지를 검증하는 과정이다.
테스트 설계 단계에서 필요한 것
-가설: 독립변수와 종속변수의 목표수준을 정하는 형태
-실험집단/통제집단: 전체 모수 중 실험 조건에 할당되는 사용자를 어떤 기준, 정의로 할당할 것인지 정의
-변수들: 독립변수, 종속변수, 통제변수
-샘플 크기, 실험기간
A/B 테스트 결과 분석
검증하고 싶은 것이 A조건의 클릭율이 B조건의 클릭율보다 높다는 가설이다. 통계학에서는 직접 비교하는 것은 불가능하다.
통계학에서는 이런 경우 우선 A조건과 B조건의 클릭율 차이가 없다고 가정한다. (이러한 가설을 귀무가설이라고 부른다.)
표본을 추출해 확인해 본 결과, 검정통계량이 매우 극단적인 값이 나왔다. 귀무가설 하에서 이처럼 극단적인 검정통계량이 관찰될 확률(p값)은 5% 미만이다.
그러면 A조건과 B조건은 클릭율의 차이가 있다고 판단할 수 있다는 것이다.
p값은 귀무가설 하에서 관찰된 검정통계량만큼의 극단적인 값이 관찰될 확률을 의미한다.
데벨챌을 마치며...
사실 책을 읽으면서 모르는 용어가 너무 많아서 내가 얼마나 부족한가를 느낀 순간이 많았다.
데이터 분석에 관심있다고 남들에게 이야기하지만 사실상 모르는게 너무 많고, 어찌보면 부족한게 더 많다고 느꼈다고 할 수 있을 것 같다. 사실 내가 지금 다니는 회사나 업종은 당장 데이터 분석이 필요한 것은 아니다.
하지만 내가 앞으로 일을 하면서 어떤 기술을 다룰줄 알면 좋을까, 어떤 걸 해야 내가 너무 힘들더라도 그 순간을 이겨내며 할 수 있을까를 고민하다가 데이터 분석을 나름대로 선택한 것이었다.
지금 내 상태를 보면 이제 막 데이터 분석이라는 것을 시작한 단계라고 할 수 있을 것 같다. 그 단계에서 이 책을 같이 읽고 하나의 미션을 완수하는 기회를 갖게된 것은 정말 행운이었다고 생각한다. 회사를 다니면서 아마 혼자 책을 읽으려고 했다면 한 10페이지 읽은 채로 책장에 꽂혀있었을 테니까...
지금은 책에 절반 정도는 처음 보는 것이었다면, 내년 상반기에 다시 책을 봤을때 내가 아는 부분이 지금보다 더 많은 상태이길 바라며 다시 sql 공부를 좀 더 열정적으로 해봐야겠다. (사실 회사 다닌다는 핑계로 거의 놓고 있긴 했었기 때문에)
나는 아직 실무에 활용할 정도의 지식이나 기술은 없었기 때문에, 데이터를 통해 어떤 걸 할 수 있는지, 어떤 과정을 거치는지를 좀 더 알 수 있었던 기회였다. 그리고 어떤 분야의 책이든 이번을 시작으로 좀 더 책과 다시 친해져보려고 한다:)
'try n try > reading' 카테고리의 다른 글
| [데벨챌] 그로스 해킹 2주차 (13) | 2024.11.17 |
|---|---|
| [데벨첼] 그로스 해킹 1주차 (1) | 2024.11.10 |
