도서 리뷰 '그로스 해킹' 4장 - 지표 개념 바로잡기
'그로스 해킹' 4장에서는 지표 활용하기에 관한 내용을 다루고 있다.
지표는 크게 Stock(저량) / Flow(유량)으로 나뉘게 되는데, Stock(저량)은 시작과 끝이 없고 특정 지점의 누적량에 대한 부분을 보여주는 지표이고 Flow(유량)은 시작과 끝이 있는 시간의 흐름 속에서 관찰되는 변화를 보여주는 지표이다.
누적량을 보여주는 것 자체가 유량지표에 비하면 많은 정보를 담고 있지는 않지만, 특정 서비스에 따라 유의미한 자산인 경우도 있다.
(ex. 링크드인 누적 프로필 수 / 멜론 누적 보유곡 수 등)
마케팅적 성과가 뚜렷할 때는 '유량지표'를 불분명할 때는 '저량지표'를 중점으로 바라봤던 나 자신이 떠올라서 어이없다.
1. 심슨 패러독스 - 더 쪼개서 분석을 해봐야겠다는 생각
주간, 월간 각 채널을 통해 유입된 사용자들의 전환율을 확인하다보면 가끔 생각지도 못한 저조한 성과에 당황하며 데이터의 정합성을 쫓다가 시간을 흘려보낸 경우가 많았다.
특히, 스프레드시트에 구현한 대시보드는 마케팅 채널 확대 및 캠페인 테스트에 따라 월마다 업데이트되는 경우가 있어 '휴먼 에러'가 빈번했고, 최대한 바로잡았다 생각했지만 Total 값이 이상하거나 전환 성과가 하락하는 등의 그래프 패턴이 나타날 때면 raw data와 수식 등을 다시 뜯어봤다.
하지만 집계가 정확했다는 판단이 되었을 때, 그래프가 평소와 다르면 그 원인을 쉽사리 찾지 못했고, 4장에서 설명하는 심슨 패러독스가 어쩌면 내가 겪은 현상일지도 모르겠다는 생각이 들었다.
심슨 패러독스(Simpson's Paradox) : 쪼개진 데이터에서 성립하는 관계가 합쳐진 데이터에서는 반대로 나타나는 현상
호텔 숙박업 특성상 지점별 특화된 마케팅을 하는 경우가 많아 성과 측정에 있어 지점 별 캠페인 소재를 하나씩 뜯어놓고 봐야하지만, 거기에 공수를 너무 들일 수 없기에 캠페인 단위로 구분 지어 성과 측정을 진행해 왔다.
그동안 설명되지 못했던 그래프 패턴은 더 세부적으로 들여다보지 못한 탓이 아닐까 싶고, 이제는 알았으니 조금 더 세분화를 해봐야겠다는 생각이 든다.
2. 생존자 편향 피하기 - 우리 서비스의 생존자 편향은?
4장의 내용 중 '생존자 편향(Survivorship bias) 피하기' 파트가 개인적으로 재미있게 느껴졌다. 요약하자면 2차 세계대전 당시 전투기 생존율을 높이기 위해 어디를 보강해야 할지에 대한 과제가 수학자와 통계학자들에게 주어졌고, 여러 분석과 주장이 나왔지만 한 통계학자는 생존된 전투기만을 가지고 분석을 진행해야 한다는 점에서 데이터들이 편향성을 가지고 있다고 주장했다.
이 사례를 통해 회사에서 진행 중인 마케팅 중 생존자 편향을 가진 케이스가 어떤 것이 있을지 고민했고, 비슷한 케이스가 한 가지 있어 보인다.
호텔 숙박업이다 보니 종종 크리에이터, 인플루언서분들께 객실 협찬을 제공하는 경우가 있는데, 초기에는 이들을 통한 유입/ 전환 성과가 매출에 높은 영향을 끼치는 것으로 보였지만 시간이 지날수록 유입/ 전환 성과가 지속적으로 하락하는 것이 확인되었다.
시즌 이슈 때문일 수 있다고는 하지만 전환율이 점차 떨어지는 것이 관찰되면서 다른 곳에 원인이 있지 않을까 생각되었고, 실제로 제공하는 객실이 한 가지 타입에 쏠려있다는 사실을 알게 되었다.
실제 판매가 일어나야 하는 객실의 타입은 다양하지만, 한 가지 타입의 객실에만 초점이 맞춰져 있었다는 점에서 우리 서비스의 생존자 편향이 발생하고 있었던 것이 아닐까 생각된다.
이러한 사실이 맞는지는 일단 다시 진행해 봐야 알 수 있고, 확인되면 별도 성과 그래프와 함께 공유해 보도록 하겠다.
위 지표에 대한 개념부터 다양한 시각까지 명확하게 알고 갔더라면 더 좋았겠지만, 발을 헛디뎌 봤으니 더 유의하는 것도 있기 때문에 후회보다는 설렘이 큰 요즘이다.
아직은 인사이트를 공유할 만큼 시행착오를 겪지도 확실한 개선을 해보지도 못했지만, 챌린지나 학습을 통해 변화된 부분이 있다면 기록해볼 예정이다.