좋은 실험(experimentation)과 나쁜 실험의 차이

기업 성장(growth)을 위한 전략적 도구로써 실험의 중요성이 갈수록 부각되고 있다.

그런데 불행히도 적지 않은 회사들이 잘못된 방식으로 실험을 진행하고 있다.

좋은 실험은 제품 전략을 정교화 하는데 기여한다. 그러나 나쁜 실험은 개개의 실험으로 끝나고 실험 결과(지표)들만 양산한다.

좋은 실험은 개발팀의 고객에 대한 이해를 높이고 고객의 니즈를 탐색하는데 도움을 준다. 반면에 나쁜 실험은 각기 따로 운영되는 일회성 테스트처럼 진행된다. 실험들이 개별적으로 구상되다 보니 실험간 연결성이 떨어지고 실험을 실시하는 목적도 뚜렷하게 초점이 맞춰지지 않는다. 자연히 제품 개발의 비전이나 성장 전략과의 연계성도 떨어지게 된다.

업무 협업툴인 Slack의 제품 책임자이자 Instacart, Zynga 등에서 제품 개발과 성장 업무를 수행했던 Fareed Mosavat은 좋은 실험과 나쁜 실험에 대해 다음과 같이 역설한다.

"실험은 일종의 내기(bets)이다."

실험은 이미 정해진 답을 맞히는 게 아니다. 실패할 가능성이 상존한다. 가용한 정보에 기반해 중요성이 있고, 충분히 투자할 만한 가치가 있다고 판단해 실험을 진행한다. 실험을 통해 중요한 현상들을 추가로 학습해 나가고, 반복적으로 더 큰 의미 있는 시도와 실험을 진행할 수 있게 된다.

하지만 나쁜 실험은 끝이 없는 최적화의 늪에 빠져든다. 점진적으로 성과를 개선하기 위해 부분적인 요소들을 무수히 조정하는 방식으로 실험을 진행한다. 결과적으로 좀 더 의미 있는 실험에 기울일 수 있는 시간과 에너지, 자원을 뺏게 된다. 사업은 결코 최적화만으로 이루어질 수 없다.

"실험은 교환(tradeoffs) 관계를 고려한다."

비즈니스는 하나의 시스템으로 움직인다. 모든 것들이 연결되고 상호작용한다. 회원 가입율(sign-ups)을 높이기 위해, 활성화율(activation)을 떨어뜨릴 수 있다. 수익률(monetization)을 개선하기 위해, 유지율(retention)을 포기해야 할 수도 있다.

그런데 나쁜 실험은 해당 실험이 추구하는 특정 목표에만 집중한다. 자신의 목표 달성에 긍정적인 진전을 어떻게든 찾으려 하지만, 시스템 어딘가에서 발생하는 트레이드 오프는 간과한다.

"실험은 성공(success) 기준이 미리 정의된다."

실험을 진행할 때는 성공 여부를 가늠하는 지표를 사전에 적절하게 도출해야 한다.

나쁜 실험은 여러 개의 지표들을 나열하고, 그 중에서 개선 효과가 있는 지표들을 취사 선택한다. 가설을 검증하는데 주력하는 게 아니라, 실험을 정당화할 수 있는 긍정적인 지표들을 찾는다. 실험 결과를 판가름하는 지표가 처음부터 명확하게 선정되지 않다 보니, 실험 성과에 대한 판단이 자의적이 될 수 있다. 그리고 이런 유사한 실험들이 또 반복된다.

"실험은 다음(next) 과정을 준비한다."

실험을 마치면 왜 이것이 성공했는지, 또는 실패했는지 일련의 질문들에 깊이 파고들게 된다. 이 실험을 통해 우리가 지녔던 가설(hypothesis)이 입증되었는가, 기각되었는가? 이번 실험이 가설을 검증하는데 적절했는가? 실험이 실패했다면, 성공적인 결과를 얻기 위해 후속 실험을 추가로 진행해야 하는가? 성공했다면, 더 나은 성공을 거두기 위해 다음 실험에 더 투자해야 하는가?

그러나 나쁜 실험은 단지 이 A/B 테스트 결과를 적용할 것인가, 말 것인가? 라고 묻는다. 그리고 실험 결과는 금세 잊혀진다.

"실험은 커뮤니케이션 되고 확장된다."

실험 과정과 그 결과는 기록되고 공유된다. 관계자들에게 실험 내용이 전파되며 실험과 관련된 이슈들이 긴밀히 논의된다. 그리고 미래를 위해 문서화된다. 실험은 독립된 일회성 이벤트가 아니라, 제품 전략 또는 회사의 성장 전략의 일환으로 진행되는 것이다. 그래서 좋은 실험은 궁극적으로 회사의 시장 진입 전략(Go-To-Market)과 연계되어 지속적으로 확대되고 고도화된다.

반면에 나쁜 실험은 널리 공유되지 않고, 향후에 유사 실험을 진행할 때 과거 실험의 교훈이 재활용되지도 못한다. 회사 전체 전략으로 연계 또는 확장되지 못하고, 실험의 역할이 최소기능 제품(Minimum Viable Product)의 점진적 최적화에서 맴돌게 된다.

Source: Fareed Mosavat (2020), "Good Experiment, Bad Experiment", Reforge