데이터 사이언티스트는 Why를 알고 있을까?

데이터 사이언티스트는 핫하다, 섹시하다.

그런데 이들이 진행하는 빅데이터와 AI 프로젝트의 상당수는 실패한다.

Gartner는 빅데이터 프로젝트의 60%가 실패한다고 추정한다. 이는 매우 보수적인 수치이고, 실제는 85%를 육박한다고 Gartner 분석가인 Nick Heudercker는 말한다.

2018년 시장리서치업체 IDG의 조사에 따르면, AI 프로젝트는 3개 중에 2개가 실패한다.

"갈 길이 먼 데이터 사이언티스트"

데이터 사이언티스트의 성공과 실패를 가르는 가장 큰 이유는 기술적 탁월함이 아니다.

비즈니스 문제에 대한 이해, 의사결정자와 신뢰 구축, 결과물을 쉽고 임팩트 있게 구성원들에게 커뮤니케이션 하는 역량, 프로젝트 결과에 영향을 받는 이해관계자들과 지난한 조율과 협의... 이런 소프트한 요소가 프로젝트의 승패를 갈랐다.

기술적으로 아무리 우수하더라도, 적절한 타이밍에 적절한 방식으로 적절한 구성원들과 협업(connect)하지 못하면 대부분의 프로젝트들이 열매를 맺지 못하고 사라져버린다.

이는 데이터 사이언티스트들의 기본 성향과 근무 환경에서 기인한다는 분석이다. 첫째, 데이터 사이언티스트들은 복잡다단한 비즈니스 문제에 얽히기 보다는 데이터에 파묻혀 답을 찾길 원한다. 회사의 복잡한 현실과 이해관계를 다루는 것 보다는 더 고도화된 기술을 익히고 적응하는데 흥미를 느낀다. 둘째, 회사 관점에서는 빅데이터와 AI 인재가 귀한 상황이라, 일상의 혼란스러움에서 데이터 사이언티스트들을 보호하려 한다. 이런 과정에서 오히려 데이터 사이언티스트와 현장의 업무 담당자들간 거리가 더욱 멀어지는 아이러니가 발생한다.

"Data와 AI 알고리즘에 앞서, 현장 속으로"

성과를 내기 위해선, 데이터 사이언티스트는 자신만의 업무 테두리(silo)를 벗어나 조직의 일상 업무에 발을 담고 스며 들어야 한다.

비즈니스에 호기심을 가지고 직원들의 업무를 개선하는데 열정적이어야 한다. 프로젝트 진행과 연관된 핵심 이해관계자들과 수시로 긴밀히 교류해야 하며, 현장의 번거롭고 골치 아픈 이슈에도 기꺼이 관여해야 한다. 궁극적으로는 자신이 지원하는 업무 부서의 일원인 듯 동화되어야 한다.

이를 위해, 프로젝트 사전에 명확한 문제 정의서(problem statement)를 작성하는 게 도움이 된다. 문제를 정의하기 위해선, 여러 경쟁하는 어젠다 중에 다루어야 할 우선 순위를 정해야 하고 여러 이해관계자들의 기대 수준과 프로젝트 진행과 관련된 업무적, 정치적 다양한 고려 사항들도 사전에 파악해야 한다. 데이터 사이언티스트 입장에선, 데이터 분석이나 알고리즘 개발 못지 않게 많은 시간과 깊은 인내가 필요한 과정이다. 그런데 현장의 실제 이슈를 파악하고 문제를 정의하는 이 선행 작업이 프로젝트 결과물 못지 않은 가치를 지니며, 결과물의 성패까지 좌우하게 된다.

요컨대 데이터 사이언스는 팀 스포츠이다. 데이터 사이언티스트는 현업부서와 괴리되어선 안되며, 통합되어 마치 한 몸처럼 움직여야 한다.

Source: Thomas C. Redman (May 2019), "Do Your Data Scientists Know the ‘Why’ Behind Their Work?", HBR Blog