면접 Case Study | '통계적으로 무의미'가 어떤 점을 시사하는가?
비연 씨!!!! 비연 씨!!!!우리가 이번에 바뀐 UI를 가지고 A/B Test를 실시했어요! 결과는 다음과 같습니다! 결과:A그룹(기존 UI) → 1,000명 중 50명 구매 (구매율: 5%)B그룹(새 UI) → 1,000명 중 65명 구매 (구매율: 6.5%)새 UI가 매출을 증가시킨 거 맞죠! 그죠!?라는 내용의 면접 질문이 들어왔다고 가정해 볼게요어떻게 대응하면 좋을지 머리가 아파옵니다. 1. 1000명은 누구인가? 2. 15명의 차이가 무엇을 시사하는가? 첫 번째 질문은 표본집단이 된 1000명이 누구인가?부터 시작합니다. A/B Test 설계 자체의 의문점을 가진 겁니다. A를 테스트한 집단과 B를 테스트한 집단은 우리 게임의 게이머들의 전체 의견을 대변할 수 있는가? 편향은 ..