240615 준하는 혼란스럽다 - AB Test

 

회사에서의 lesson learn이 실제로 의미가 있는지 잘 모르겠음. 결국 학습이라는 건, 과거에 배웠던 걸 현재에 사용할 수 있어야하는데 그런 케이스가 내 기억에는 없었던 거 같다.

 

이 얘기는 사실 AB 테스트에 관련된 이야기이다. AB 테스트를 통해 조직이 학습하려면 하나의 테스트에 꽤 많이 통제된 상황에서 실험을 진행해야함. 그리고 적정한 모수를 수집하기 위해 꽤 오래 기다려야함. 무슨 말이냐면 시간 대비 얻을 수 있는 레슨이 작을 수 밖에 없는건 아닌게 아닌가? 그리고 AB 테스트를 엄밀하게 하는 이유를 생각해보면, 테스트 결과를 통해 무언가를 배울 수 있기 때문.

 

당연히 AB 테스트는 상당히 좋은 인과관계 추론 방법론인 것을 부정할 수 는 없다. 하지만 모수 수집을 위해 시간이 많이 들어도 진행하는게 맞는지 동의하기 어렵다. 학습은 초기 비용이 상당한 태스크이다. 하지만 그럼에도 불구하고 우리가 학습하는 이유는 배운 것들이 미래에 사용될 수 있다는 기대가 있기 때문이다. 하지만 회사에서 진행한 AB 테스트 결과들이 다시 사용될 수 있는건가?

 

 

잘 모르겠어~~