데이터(Data), 지금 보이는 게 전부가 아니다

사람들은 데이터를 볼 때, 체계적인 실수를 저지르는 경향이 있다. 

이미 알고 있는 내용을 입증하는 증거는 쉽게 받아들이고, 자신의 생각과 다른 데이터는 흘려 보낸다. 그리고 가장 중요한 요소인 데이터가 획득되고 분석되는 과정에 대해 크게 신경을 쓰지 않는다. 

그야말로 눈 앞에 제시된 데이터만 바라본다. 가장 중요한 데이터가 누락되어 있어도 말이다.

노벨상을 수상한 저명한 심리학자 Daniel Kahneman은 이를 두고 "WYSIATI"라고 한다.

"당신에게 보이는 것이 세상의 전부다. (what you see is all there is)"

세상은 빠르게 데이터가 증가하고 있다. 수치와 사실들이 항상 주위에 넘쳐난다. 이런 상황에서 데이터를 제대로 분석하지 못하면 잦은 실수와 재앙을 피할 수 없다.

이런 현상은 개인뿐만 아니라, 언론매체와 회사, 정부기관에서도 쉽게 나타난다.

Washington Post는 2020년에 경찰예산과 범죄와의 상관관계를 분석한 바 있다. 60년간 예산과 범죄율을 살펴보니 유의미한 관계가 없다는 결론을 내렸다. 

그런데 경찰 예산에 영향을 미치는 것은 현재의 범죄 수준이다. 마치 닭과 계란의 관계와 같다. 인과관계 분석을 해보면, 경찰이 늘어날수록 범죄가 감소한다는 결과가 나온다.

eBay는 2013년에 검색 엔진에 광고비로 5천만달러를 쓰고 있었다. 컨설턴트는 더 많은 광고비가 투입되는 분야에서 판매가 높게 나타난다고 분석했다.

그런데 경제학자들은 이 광고효과를 비판적으로 분석해봤다. 무작위로 실험을 해본 결과 마케팅팀이 유용하다고 믿고 있던 광고의 상당부분이 별 효과가 없었다. 광고가 타겟팅 한 고객들은 광고를 하지 않았어도 eBay에서 쇼핑할 확률이 높게 나타났다.

타겟팅 대상자들의 원래 구매 성향이 광고 이후의 구매 성과에 영향을 미쳤다. 그러나 마케팅팀은 대상 고객의 원래 성향을 간과하고, 광고와 구매 성과의 상관관계에만 초점을 맞췄다. 광고와 구매간 상관관계에 영향을 미칠 수 있는 다른 요인들을 다각도로 살펴봤다면 막대한 광고비를 허투루 쓰지 않았을 것이다.

"깊게 애쓰지 않으면 명백한 것도 보이지 않는다."

우선 눈앞의 데이터가 생성된 과정을 곰곰이 살펴봐야 한다.

그리고 상관관계가 있다고 해서 인과관계가 있을 거라 쉽게 판단해서는 안된다. 또는 상관관계가 없다고 인과관계가 없을 거라 쉽게 단정해서도 안된다. 지금 당장 눈 앞에 보이지 않는 다른 요소가 상관관계에 영향을 미칠 수 있다. 

게으른 직관은 편안하지만 그만큼 치명적인 실수를 불러올 수 있음을 늘 상기해야 한다.

Source: Michael Luca (Nov 2021), "Leaders: Stop Confusing Correlation with Causation", HBR Blog