우리가 놓친 고객은 어디에 있는가?

2차 세계대전 때 전투기들이 적군의 탄환에 맞아 격추당하는 일이 빈번하게 발생했다. 이를 방지하기 위해선 강철판으로 보완을 해야 하는데, 그러면 무게가 늘어나면서 조작도 힘들어지고 연료도 더 많이 쓰게 된다. 최적의 무게를 유지하는 수준에서 보완작업이 이루어져야 하는데 이를 위해 미국의 통계학자들(Statistical Research Group)이 투입된다.

미군은 SRG에게 분석에 필요한 데이터를 제공한다. 교전을 마치고 돌아온 전투기들에 박힌 탄환 구멍의 위치를 집계해서 준 것이다. 데이터에 따르면 엔진에는 일부 구멍만 박혀 있고 대부분 동체에 구멍이 뚫려 있었다.

군은 가장 많은 공격을 받은 부위를 보강하는게 효과적이라 판단했다. 동체에 강철판을 얼마만큼 보강하는게 최적인지 초점을 맞추고 있었다.

그런데 SRG에 참여하고 있던 수학자 Abraham Wald는 전혀 다른 답을 내놓는다.

"우리가 놓친 구멍은 어디에 있는가?"

전투기에 무차별적으로 탄환이 쏘아졌다면 동체뿐만 아니라 엔진 부위에도 많은 구멍이 뚫렸을 것이다. 그런데 군에서 제공한 집계 데이터에는 작전중 추락한 전투기에 뚫린 구멍이 빠져 있는 것이다. 보강해야 하는 부분은 집계 데이터 상 구멍이 많이 박히 동체가 아니라, 오히려 엔진이라는 판단이었다. 엔진에 탄환을 맞은 전투기는 전장에서 돌아오지 못하고 집계 데이터에서 아예 빠진 것이다.

이는 군 병원에 가슴에 총알을 맞은 부상자보다 다리 부상자가 많은 것과 같은 이치이다. 가슴 부상자는 생존하지 못해 아예 집계에서 누락되는 것이다.

이것이 바로 생존자 편향(Survivorship Bias)이다.

소비자 조사를 할 때, 기존 고객들을 깊이 분석하고 있는가? 돌아오지 않은, 그리고 아직은 고객이 아닌 사람(non-customer)들은 어디에 있는가?

기존 고객들에게서 얻는 반응은 전체 시장을 대변하지 않을 수 있다. 기업이 지금껏 해오던 관성에 따라 자기예언적 반응일 가능성이 높다. 심지어 오늘까지 성과를 거두게 했던 고객 기반이, 내일 성과를 달성하는데 오히려 장애가 될 수 있다. 시장의 새로운 변화 움직임을 놓치고 엉뚱한 곳에 강철판을 씌우는 오류에 빠지게 되는 것이다.

미래의 성장을 위해선 현재 눈 앞의 고객 데이터에만 함몰되어선 안된다.

Source: Andrea Fill (Jan 2018), "Want Growth? Don't Look At Your Customer Data", thinkgrowth
Jordan Ellenberg, "How Not To Be Wrong", Penguin Press