소셜 게임에서의 A/B Test 실효성에 대한 대화

지난 번 트위터에서 거론되었던 A/B Test의 실효성에 대한 대화.
기록 차원에서 올려봄. (당사자들의 허가 받았습니다. ㅋㅋㅋ)




onechu: 

소셜게임에서 AB 테스트를 많이 한다고 익히 알고 있지만, 내가 손해보는 입장이 되면 무척 열 받거든. 근데 진짜 진지하게.. 물어보고 싶은건... 이 AB 테스트가 평균 실력으로 AB를 나눈 것이 아니라 표본집단을 달리하는건데 무슨 의미가 있냐는거다

Hybrid0:

@onechu 표본집단을 달리??? 왜 그러죠? (오차에 의해) 원하는 결과가 나올 때까지 돌리는건가? 'ㅁ'?

onechu: 

@Hybrid0 몬 생각인지 모르겠는데, 같은 부서에서 신버젼 / 구버젼으로 나눠서 갈렸고, 그게 실력의 차이가 아니라서 더 이해하기 힘들더군요. 신버젼은 인게임머니를 도입해서 아이템을 사용할 수 있고, 아이템 사용하는 쪽이 훨씬 유리합니다

onechu: 

@Hybrid0 아이템 사용 여부에 따라 시간 및 점수에 절대적으로 유리한 상황일 수 밖에 없는데... 실력으로 표본을 나눈 것으로 보이진 않고요... 인게임머니도 페이스북 크레딧으로 결제되는 부분을 넣었기 때문에 P.Rate 관련된 표본이 아닌가? 싶네요.

근데-_- 게임을 정말 제대로 알았으면 일단 실력 측정에 따른 이탈율부터 잡고 PU 전환에 대한 표본을 해야할텐데... 모 이미 실력 측정에 대한 AB 테스트는 충분하다! 이기 때문에 이렇게 했을지도 모르겠네요.

Hybrid0: 

@onechu 흠.. 복잡하군요. @.@ 잘은 모르지만 뭔가 적절치 못한 상황에 AB Test를 넣고 무한 신뢰를 하는건가... 'ㅁ'?;;

onechu: 

@Hybrid0 저는 그렇게 판단하고 있는데....;; 이미 상위권 게임이니깐 그들이 충분한 데이터를 확보한 상태에서 추가적인 AB 테스트를 할 수도 있겠죠-_-; 

하지만, 최근 소셜게임 트랜드가 미니게임이 치고 올라오는 과정인데, 이렇게 티나는 AB 테스트는 (그리고 장기간 노출되어서 어떤 유저층은 경쟁에서 손해볼 수 밖에 없는 구조라면) 긍정적이라고 보여지기 힘들 것 같습니다. 소셜게임은 원래 다 이래? 라고 이해해줄까?도 싶고...

rigmania: 

@onechu @Hybrid0 AB 테스트를 밸런싱 같은 곳에서도 활용하나 보네요. 보통은 이런 경우에 쓴다고 들었는데... parkpd.egloos.com/3626291 표본집단이 달라야 두 집단간의 차이를 확인할 수 있어서 그러는 걸로 알고 있습니다.

onechu: 

@rigmania 같은 팀에 계셨던 분이셔서 관련된 이야기를 자주 나눠봤지만, 사실 그런 측면에서 제 경우는 주변 표본집단이 30여명인데도 명확히 갈려서 그들의 실력이나 상황을 파악해봤는데-_- 도대체 무슨 기준으로 나눴는지 이해가.. 되지 않더군요.

rigmania: 

@onechu 랜덤으로 10% 정도 표본을 나눠서 새로 들어갈 기능을 체험하게 한 다음 데이터를 보고 지표가 더 좋아졌는지 여부를 검사하는 방식이 많다고 들었습니다. 따로 기준이 있다고 하던가요?

onechu: 

@rigmania 개발팀이 검증하고픈 가설을 정해놓고 그거에 따른 기준을 정하겠지요. 근데 제가 체험한 케이스는 Diamond Dash 라는 게임인데, 이건 게임의 실력에 엄청나게 영향을 주는 요소를 가지고 AB테스트를 나눠서 정말 친밀한 사람들끼리 경쟁을 벌이는 부분에서 오히려 악영향을 줄 것 같아서요. 

FPS에서 누군 총을 살 수 있고, 누군 총을 못 사는 정도의 격차이다보니 거부감이 엄청나게 일어나네요. 실력이 상대적으로 딸리는 사람들에게 보조제로 들어갔으면 모르겠지만..

onechu: 

@rigmania 실제로 내부에서 팀간 경쟁을 하고 있는데, 구버젼 신버젼 AB테스트 차이를 확인하고 경쟁 자체가 무의미해지기 시작했습니다. 오히려 구버젼 유저들이 자포자기하는 결과를 보이고 있죠. 이런 케이스는 좋은 AB 테스트는 아닌 것 같아서요