문서화를 통한 데이터 드리븐(Data-driven)조직 구축 여정기

Intro

안녕하세요.

저는 숨고의 Product Data Analyst Nova입니다. 현재 숨고에서 고수 리텐션 향상을 위한 스쿼드(Squad)에서 데이터 관점에서의 전략적 파트너 역할을 수행하고 있습니다. 오늘은 3년 가까운 시간 동안 숨고에서 경험한 내용을 바탕으로 문서화 잘하는 데이터 조직이 되기 위한 노하우를 공유하고자 합니다.

회사에서 데이터 분석가를 고용하는 이유는 무엇일까요? 대다수의 조직에서 데이터 분석가를 고용하는 궁극적인 목적은 Data-Driven Organization이 되기 위함입니다. 데이터 분석가를 고용한다는 것은 어떤 형태로든 자사 서비스의 데이터를 확인하겠다는 것이며, 이는 ‘데이터에 기반한 의사결정’을 하겠다는 의미이기 때문이죠.

하지만 데이터 분석가가 있다고 해서 모든 조직이 데이터에 기반하여 효과적인 의사결정을 내리지는 못합니다. 아래의 이미지와 같이 데이터를 잘 활용하는 조직이 되기 위해선 5가지 요소를 충족시켜야 합니다. 이번 글에서는 5가지의 요소 중 ‘문서화’에 대해 심도 있는 이야기를 나누고자 합니다.

문서화를 잘하는 조직의 가치

데이터 분석가에게 문서화는 왜 중요할까요? 문서화를 잘하는 데이터 조직은 분석가 개인과 조직 모두에 큰 이점을 제공합니다.

우선, 분석가 개인에게는 아래와 같은 세 가지 장점이 있습니다.

1. 먼저 리소스 측면에서 분석에 필요한 정보와 지식을 쉽게 얻을 수 있습니다. 문서화를 잘하는 조직에서는 데이터 분석을 진행하기 전 선행 분석을 참고해 자신이 진행할 분석에 대한 충분한 근거로 설계할 수 있습니다.

2. 정리 과정에서 새로운 인사이트를 도출해 분석의 질을 향상 시킬 수 있습니다. 자신의 분석 결과를 정리하는 과정에서 설득력을 제고시킬 수 있는 추가 분석이나 아이디어를 고안하여 분석의 퀄리티를 끌어올릴 수 있습니다.

3. 마지막으로 분석 결과를 이해관계자들에게 쉽게 정리하여 전달하는 노하우를 얻을 수 있습니다. 조직에서 정의한 양식대로 분석 결과를 정리하는 훈련을 통해 자연스럽게 더 설득력 있는 분석 보고서를 작성할 수 있는 분석가로 성장할 수 있습니다.

문서화의 성숙도는 자사 서비스에 대한 Insight와 비례합니다. 문서화를 잘하는 분석 조직을 가진 회사는 자연스럽게 의사결정에 필요한 Insight가 담긴 문서를 많이 보유하고 있기 때문이죠.

이는 회사가 데이터 기반 의사결정을 내리는데 크게 기여하며, 회사가 시장에서 뛰어난 성과를 내는 것에 크게 도움을 줍니다. 아울러 회사 내에서 발생한 히스토리들이 휘발되지 않고 자산으로 남아 조직 구성원이 변했을 때 발생할 수 있는 위험을 방지하는 데 도움이 됩니다.

효과적인 문서화까지의 여정

저는 문서화를 잘하는 조직에 필요한 것이 크게 세 가지라고 생각합니다.

1. 문서화를 장려하는 분위기
2. 작성자의 편의
3. 독자의 편의

숨고에서의 경험을 통해 왜 이 세 가지가 중요한지를 설명해 드리고, 저희가 어떻게 위 세가지 요소를 충족시켰는지를 설명해 드리도록 하겠습니다.

문서화를 장려하는 문화

제가 합류했던 시기에는 문서화를 장려하는 분위기는 아니었습니다. 회사에 장기 근속자가 많다 보니 오히려 문서화의 필요성이 없었고, 문서화보단 직면한 문제를 빠르게 해결하는 것이 훨씬 높은 우선순위를 가지고 있었기 때문이었습니다.이러한 환경에 적응하게 되니 제가 한 일이 휘발되지 않도록 기록으로 남기는 일이 인정을 받지 못해 자연스럽게 문서를 작성할 원동력이 사라졌습니다.

문화는 개인보다 훨씬 큰 영향력을 발휘합니다. 문서화를 잘하는 구성원이 있어도 문화가 뒷받침 되어 주지 못한다면 구성원은 힘을 발휘하지 못합니다. 따라서 문서화를 잘 하기 위해선 문서화의 가치를 인정하는 공감대를 형성해야 하고, 이를 문화의 형태로 고도화시켜야 합니다.

Data Analyst와 Data Scientist로 구성된 숨고의 Data Chapter에서 이런 공감대가 본격적으로 조성되기 시작한 계기는 인원 구성의 변화와 구성원의 증가가 그 시발점이었습니다. 대다수가 히스토리의 부재로 인하여 답답함을 많이 느끼게 되었고 그래서 문서화가 필요하다는 공감대가 생기기 시작했습니다.

여기에 맞물려 구성원이 2배가량 증가함에 따라 몇 가지 문제점을 발견할 수 있었습니다. Chapter 간의 의사소통이 어려워지고, 의사 결정 속도가 느려지며, 정보 공유가 어려워졌습니다. 문서화가 잘 되었다면 다른 채널의 도움 없이 문서만으로 히스토리 파악과 정보 파악을 할 수 있었을 것입니다. 이런 맥락에서 Chapter 간의 문서화에 대한 공감대가 형성되었고 효과적인 문서화를 위한 기틀을 마련할 수 있었습니다.

작성자의 편의

문서화에 대한 공감대와 문화가 형성되었음에도 막상 문서를 작성하려다 보면 난감한 상황을 자주 마주치게 됩니다. 특히 이해관계자들을 설득해야 하거나, 가독성을 고려할 경우 많은 고민이 필요하죠. 이를 위해 작성자가 수월하게 문서를 작성할 수 있는 환경이 마련되어야 하며, 여기에 더해 진행한 분석이 글로 정리하기 용이한 지 여부를 파악해야 합니다.

이 부분을 간과하여 실패한 사례가 이전 글 데이터 분석 소개해 드린 데이터 분석 Insight Wiki 입니다. 해당 플랫폼은 분석 결과를 오로지 한 줄 평으로 전달하는 것을 요구했고, 방대한 분석 결과를 한 줄로 모두 요약해야 한다는 것은 작성자에게 큰 부담으로 작용했습니다. 또한 글에 어떤 필터를 걸어야 하는 지, 글의 제목은 어떻게 적어야 하는지 등 작성자가 고민해야 하는 지점이 너무 많았습니다. 그래서 데이터 분석 Insight Wiki는 자연스럽게 사장되었습니다.

이러한 점을 개선해 새로 분석 결과를 적재하기 위한 플랫폼으로서 런칭된 것이 숨고 데이터 분석 인사이트입니다. 이 플랫폼의 특징 중 작성자의 편의를 도모하기 위하여, Confluence의 템플릿 기능을 활용해 분석 결과를 큰 부담 없이 적을 수 있는 양식을 제공한 것이고, 나아가 일원화된 템플릿을 적용함으로써 독자가 어떤 문서를 읽든지 쉽게 맥락을 파악할 수 있도록 하는 것입니다.

상세한 매뉴얼은 작성자를 제약하고 빈약한 메뉴얼은 작성자로 하여금 혼란을 야기합니다. 그래서 저는 적절한 중간 지점을 찾기 위해 노력했고 그 결과물은 아래 이미지와 같습니다.

위 템플릿의 장점은 글 작성 시에 어떤 흐름으로 글을 작성해야 할 지에 대한 가이드라인을 제공하면서, 작성자가 쓰고 싶은 내용을 제한하지 않는다는 점입니다. ‘A.분석의 목적’과 ‘C.분석 결과’에 어떤 내용을 기재해야 하는지는 충분히 짐작이 가능하다는 판단하에 나머지 항목들 위주로 설명하도록 하겠습니다.

Part 0. Summary

최상단의 Summary 파트는 분석을 통해 도출한 인사이트 중 핵심적인 부분을 작성하는 곳입니다. 글의 전문을 읽지 않더라도 해당 문서에서 하고 싶은 이야기를 독자가 미리 파악할 수 있도록 하는 것에 목표를 두고 있습니다.

이렇게 Summary 파트를 최상단에 작성하면 독자들이 글을 더 쉽게 이해할 수 있을 뿐만 아니라, 바빠서 시간이 부족하거나, 분석의 내용이 복잡한 경우에도 임직원들이 분석 결과를 손쉽게 이해할 수 있는 장점이 있습니다.

Part B. 분석의 스토리라인

해당 파트는 데이터 분석 과정에서 진행한 설계에 관해 설명하는 부분입니다. 예를 들면, 분석을 위해 수립한 가설 및 분석에 활용한 지표와 같은 정보를 설명하는 파트인 셈이죠. 해당 파트를 통해 독자는 데이터 분석이 어떻게 이뤄졌는지를 이해할 수 있어 분석 결과가 어떻게 도출되었는지 더 자세히 이해할 수 있습니다.

Part D. 분석의 한계

이 부분은 해당 분석에서 다뤄지지 않은 부분에 대해 언급하는 부분입니다. 분석가들이 수행하는 많은 분석은 대체로 분석가가 더 주목한 부분 혹은 요청자가 궁금해한 부분에 focus를 맞춰 진행한 경우가 많습니다. 즉, 분석 결과가 현상을 ‘완벽히’ 설명하기는 어려운 것이죠. 또한, 여러 제약으로 인해 한정적인 분석을 진행한 경우도 있죠.

이와 같은 분석의 한계를 독자에게 알리는 것은 저는 크게 두 가지 이점이 있다고 생각합니다. 하나는 독자가 분석의 한계를 인지해 분석 결과에 대해서 더욱 심도깊은 이해를 할 수 있다는 점, 그리고 하나는 독자 아니면 작성자가 후속 분석을 떠올리기 쉽다는 점입니다.

이런 템플릿의 존재 외에도 문서화가 활성화될 수 있었던 요인으로는 사내 회귀분석의 대중화가 있습니다. Data Chapter에서는 최근 OLS, Logit, Random Forest 등의 모델들을 자주 활용하고 있습니다. 이러한 모델들을 활용하면 어떤 독립 변수(x)가 종속 변수(y)에 유의미한 영향을 미쳤는지 그리고 어떤 독립 변수가 가장 큰 영향력을 가지는지를 알 수 있습니다. 예를 들자면, EDA를 한 결과의 경우 이를 문서로 정리하기 위해선 가정에 기반한 추론을 하고 이를 작성해야 합니다. 반면에 회귀분석의 경우 어떤 변수가 중요한지에 대한 결론을 낼 수 있다 보니, 분석가가 결론을 내기 위해서 추정에 의존하는 것이 아니라 모델에 기반해 결과를 정리할 수 있었습니다.

즉 이런 분석 방법론들이 분석 결과를 쉽게 정리할 수 있도록 도움이 되기 때문에 분석가가 문서를 작성하는 데 느끼는 부담감이 줄게 되어 문서화가 더욱 활발하게 이뤄질 수 있는 계기가 되었습니다.

독자의 편의

아무리 훌륭한 분석이라 하더라도, 읽기 어려운 문서라면 독자들에게 외면 받기 쉽습니다. 이를 위해 저는 가독성과 탐색의 용이성을 고려한 형태를 구상하였고, 그중에서도 탐색 용이성을 확보하기 위해 문서들을 모든 숨고 멤버들이 쉽게 공감할 수 있는 형태로 정리하는 것이 좋겠다고 생각했습니다.

이를 위해 차용한 방법론은 Customer Experience Journey(CEJ)입니다. CEJ는 고객이 제품이나 서비스를 이용하는 '과정'을 지칭하는 용어입니다. 저는 CEJ에 따라 숨고의 주요 도메인을 아래와 같이 분류했습니다.

그리고 이 중 핵심적인 경험을 아래와 같이 분류해 분석 문서들을 아래 정의된 대분류 하위에 보관될 수 있도록 했습니다.

이를 통해 분석 문서를 찾는 이가 자신이 궁금해하는 내용이 담긴 문서가 어디에 있는지 쉽게 찾아볼 수 있도록 했습니다.

다만 문서화는 독자의 편의성이라는 측면에서 명확한 한계를 가지고 있습니다. 저희가 사용하는 문서화 템플릿은 분석가나 데이터 리터러시가 높은 구성원에게는 매우 유용한 자료이지만, 그렇지 않은 회사 구성원에게는 다소 이해하기 어렵다는 한계를 지니고 있습니다.

결론 : 데이터 리터러시 (Data Literacy)를 위한 발걸음

여기까지 읽어 본 분들이라면 ‘그래서 숨고는 Data-Driven Organization이 되었을까?’ 같은 궁금증이 생기셨을 거라 생각합니다. 저희의 대답은 “아직 갈 길이 많이 남아있다.” 입니다. 그래서 남은 지면에선 앞으로 저희 숨고의 데이터 챕터가 나아가고자하는 방향에 대해서 설명드리고자 합니다.

저는 문서화 관련해서 크게 두 단계가 있다고 생각합니다.

첫 번째 단계는 ‘지식의 집적’으로 데이터 전문가가 활용할 수 있는 문서가 쌓이는 단계를 의미합니다. 이 단계에서 조직에는 데이터 분석가가 양질의 분석 결과를 도출하기 위한 사전 분석, 기초 데이터 EDA 등 다양한 분석 결과물이 쌓이게 됩니다. 다만 이러한 문서들은 데이터 비전문가가 이해하기 위해선 큰 공수가 들어 데이터에 기반해 의사결정을 하기 위해선 데이터 분석가의 조력이 필요합니다.

두번째 단계는 ‘지식의 확산’으로 데이터 비전문가가 활용할 수 있는 문서도 많이 쌓이는 단계를 의미합니다. 직접 데이터 분석을 할 수 없는 직군도 분석 문서에 기반해 자신의 일을 data-driven 하게 설계할 수 있는 상황이죠.

지식의 확산 단계는 직전 단계보다 분석가에게 더 많은 역량을 요구합니다. 왜냐하면 데이터 비전문가가 이해할 수 있는 문서를 작성하기 위해서는 데이터 분석가의 더 큰 노력이 필요하기 때문이죠. 지식의 집적 단계에서는 자신이 분석한 것을 흐름대로 정리하기만 하면 되었습니다. 하지만, ‘한 자를 가르쳐주려면 천자를 알아야 한다’라는 말처럼 데이터 분석가가 자신의 분석에 대한 높은 이해도를 기반으로 독자가 이해하기 쉬운 언어로 문서를 작성할 수 있어야 합니다. 서비스에 대한 비즈니스 지식, 데이터 Insight를 가지고 있어야 비로소 데이터 문해력의 정도와 상관없이 모든 독자가 쉽게 받아들일 수 있는 글이 된다고 생각합니다.

그러한 이유로 데이터 리터러시가 높은 회사를 만들기 위해선 지식의 집적 단계를 거쳐 지식의 확산 단계를 목표로 해야 합니다. 숨고에서 이를 실감하게 된 계기는 숨고 데이터 분석 인사이트의 한계 때문이었습니다. 제가 이 프로젝트를 시작할 당시에는 이것만으로도 숨고가 Data-Driven Organization이 될 수 있다고 생각했습니다. 하지만 기대와는 다르게 데이터에 관심이 있는 일부 소수 및 해당 분석이 필요한 인원을 제외하면 문서를 읽는 경우가 드물었습니다. 데이터 분석에 대한 사전 지식이 없는 상태에서 분석가가 분석하는 흐름을 따라가기에는 너무나 큰 노력이 필요했고, 이 내용이 정말 필요하거나 분석에 개인적으로 큰 관심을 가진 분들이 아니라면 글을 잘 읽지 않게 된 것입니다.

위 이미지는 예전에 숨고의 누적 견적서 발송량이 3,300만 개를 돌파했을 때 활용했던 이미지입니다. 이처럼 임직원들에게 유용한 핵심적인 데이터를 도표와 이미지를 활용해 제공한다면 임직원들이 손쉽게 우리 서비스의 현황에 대해 이해할 수 있을 거라 기대하고 있습니다.

데이터 리터러시 프로젝트를 통해 임직원들의 데이터 문해력을 높히려는 이유는 문서화의 순기능을 발휘함과 동시에 회사가 진정한 의미에서 데이터 드리븐 조직이 되기 위해선 데이터 조직의 발전만으로는 명확한 한계가 있다고 생각하기 때문입니다. 결국 데이터 분석 결과를 활용하는 것은 회사의 의사결정권자 혹은 최전선에서 업무를 하는 실무자들인 경우가 많고, 이들이 의사결정 혹은 업무에 데이터 분석 결과를 활용해야 데이터에 기반해 움직이는 회사가 되었다고 단언할 수 있기 때문입니다.

이를 위해서 데이터 분석가가 할 수 있는 일은 비데이터 직군이 데이터를 수월하게 소화할 수 있도록 각자의 데이터 문해력 단계별로 차근차근 제공하는 것이라고 생각합니다. 이러한 접근법이 목표하는 바는 비데이터 직군의 데이터 문해력이 개선될 수 있도록 데이터 분석가가 적극적으로 행동하는 것이죠.

Outro

처음부터 수많은 대시보드와 복잡한 분석 결과를 내밀게 되면 데이터에 익숙지 않은 분들에게는 이를 이해하기 위해서 많은 노력이 필요하다고 생각합니다. 개개인이 처음부터 큰 노력을 들여야 하는 것이 아니라, 이해하기 쉬운 자료를 통해 임직원들이 자사 서비스의 현황에 대해 파악할 수 있도록 해야 비데이터 직군도 ‘데이터를 잘 활용할 수 있다’는 자신감을 얻을 수 있다고 생각합니다. 그래야 자연스럽게 데이터에 대해 더 알고 싶은 욕구가 생길 것이며, 이때야말로 더 다양한 데이터를 확인할 수 있는 대시보드나 분석 문서들을 제공할 단계라고 생각합니다. 그렇다면 임직원들이 더 의욕적으로 데이터를 통해 서비스를 이해하고, 이에 기반해 의사결정을 하거나 업무를 설계하지 않을까요? 이러한 선순환이 반복되어 조직원들의 데이터 리터러시가 향상된다면, 해당 조직은 데이터 분석가가 중요한 역할을 하는 Data-Driven Organization이 될 것이라고 생각합니다.

Data-Driven을 위해 달려가고 계시는 모든 데이터 분석가분들을 응원하며 이번 글을 마칩니다.