이정도 규모가 되면 팀 관리자가 모든 실험 아이디어들을 일일이 기획하고 선정하는 게 불가능하다. 그래서 엔지니어부터 제품 관리자, 디자이너 등 모든 멤버들이 실험 아이디어를 제기하는 상향식 방식을 채택했다.
하지만 상향식이라고 해서 아이디어들이 무수히 쏟아져 나오는 것은 아니었다. 그로스 해킹에 대한 충분한 경험이 뒷받침되지 않으면 질 좋은 아이디어를 찾는 게 쉽지 않기 때문이다.
이런 상황에서 아이디어 리뷰 회의(EIR: Experiment Idea Review)를 도입했다.
"아이디어 리뷰 회의는 브레인 스토밍이 아니다."
EIR은 매주 또는 매월 주기적으로 실험 아이디어를 발표하는 회의이다. 향후의 실험 아이디어들을 지속적으로 축적하면서, 동시에 직원들의 아이디어 도출 역량을 단기간에 끌어올리기 위한 취지로 고안되었다.
Pinterest는 과거에는 브레인 스토밍을 통해 그로스 해킹 아이디어들을 찾았다. 직원들이 한 공간에 모여, 즉석에서 아이디어를 떠올리고 실험 계획에 반영했다.
그런데 이런 브레인 스토밍 방식은 매우 구체적이고 범위가 명확한(specific and scoped) 문제에 효과가 국한되었다. 예컨대 휴면 고객의 이메일 오픈율은 높은데 실제 웹사이트까지 들어오는 클릭율이 낮을 때, 어떻게 이 클릭율을 높일 수 있을까 같은 문제를 풀 때는 브레인 스토밍이 효과적이었다.
하지만 이외의 경우에는 브레인 스토밍으로 즉석에서 아이디어를 내기 보다는 사전에 충분한 시간을 들여 아이디어를 고민하는 게 훨씬 더 성과가 높았다.
"실험 아이디어 문서를 사전에 작성한다."
EIR을 진행하기 전에, 팀 멤버들은 아이디어를 숙고하고 1시간 정도 시간을 들여 아이디어를 문서로 담아낸다. 해당 문서에는 다음과 같은 내용들이 담겨 있어야 한다.
1. 문제 정의서 (problem statement): 사용자의 어떤 문제를 해결할 것인가?
2. 스크린 샷이나 비디오: 현재 사용자 경험은 어떻게 이루어지고 있는가?
3. 실험 아이디어: 제안된 실험의 세부 내용은 무엇인가? 디자인, 실험 방식, 그리고 목표는?
4. 가설 (hypothesis): 실험의 예상되는 결과는 무엇인가? 핵심 지표를 어떻게 의미 있게 개선할 것인가?
5. 기회 규모 (opportunity size): 매일 얼마나 많은 사용자들이 실험하려는 기능에 노출되는가?
6. 예상 영향 (estimated impact): 기회 규모에 근거할 때, 예상되는 영향은 어느 정도로 추정되는가?
7. 투자: 이 실험을 시행하는데 얼마나 많은 시간과 엔지니어, 디자인 등의 투자가 필요한가?
8. 선례 (precedence): 우리 회사나 타사에서 이전에 유사한 실험이 이루어진 적이 있는가? 그 사례들에서 우리가 얻을 수 있는 교훈은 무엇인가? 유사한 실험을 과거에도 진행했었다면, 이번에는 어떤 이유로, 다른 결과가 나올 거라고 기대하는가?
9. 등급 평가 (recommended rating): 상기 내용들을 살펴 봤을 때, 이 실험의 우선순위는 어떻게 되는가? 당장 시행 / 다음에 진행 / 우선순위 낮음
EIR이 진행되면, 실험 아이디어 문서를 토대로 각 아이디어를 5분간 발표하고 5분간 논의하는 시간을 가진다. 팀 관리자는 각 아이디어에 폭넓은 피드백을 주어야 하고, 각 논의는 구체적인 행동 계획으로 마무리되어야 한다.
Pinterest는 1년 동안 EIR을 운영한 결과, 50% 이상의 실험 아이디어들이 팀 관리자급이 아닌 일반 멤버들에게서 도출되었다. 과거에는 경력자 주도로 실험 아이디어들이 기획되었으나, EIR을 통해 일반 직원들의 아이디어 도출 역량이 극적으로 향상된 것이다. 그로스 해킹팀의 인력이 100명 이상으로 늘어나는 와중에도 실험 아이디어의 질과 실험의 성과를 지속적으로 개선할 수 있는 원동력이 되었다.
Source: Jeff Chang, John Egan (Feb 2020), "How Pinterest Supercharged its Growth Team With Experiment Idea Review", John Egan Blog
댓글 없음:
댓글 쓰기