“지표는 왜 하락할까요?”
안녕하세요.
숨고팀에서 Product Owner로 일하고 있는 Tony입니다.
숨고팀은 핵심 가치 중 하나인 Data-Driven으로 일하기 위해 직관이나 경험이 아닌 사실과 숫자에 근거하여 비즈니스 및 조직의 방향을 제시하고 조정하는 문화를 권장하고 있습니다. 이를 위해 총 7개의 스쿼드는 깊은 고민을 통해 설정한 OKR(왜 OKR인가? 숨고에서 OKR을 도입하는 이유)을 토대로 제품을 고도화해 나가고 있답니다.
숨고는 지금까지 드라마틱한 성장 그래프를 그려오며 여러 지표가 충돌하는 문제를 경험한 바 있습니다. 이번 글에서는 숨고팀이 OKR을 도입한 후 제품을 고도화하는 과정에서 발생했던 지표간의 상호 의존성 문제를 어떻게 해결했는지, 그리고 숨고팀이 어떻게 지표 중심으로 원활하게 협업하는지를 소개해 보려고 합니다.
숨고팀이 일하는 방식
숨고팀 내 모든 스쿼드(Squad)는 목적 조직으로서 북극성 지표(North star metric)라고도 알려져 있는 핵심 지표(Focus Metric)를 달성하기 위해 끊임없이 달려가고 있습니다. 각 스쿼드는 핵심 지표의 성장을 이끌어 내기 위해 하위 지표인 Level 1과 Level 2 지표를 각 스쿼드의 OKR로 설정하고 다양한 이니셔티브를 만들어내고 있죠.
숨고팀은 핵심 가치 중 하나인 Data-Driven을 위해 직관이나 경험이 아닌 사실과 숫자에 근거하여 비즈니스 및 조직의 방향을 제시하는 문화를 권장하고 있습니다. 숨고팀은 데이터를 통해 제품을 개선하는 노력이 실제로 사용자에게 더 좋은 경험으로 이어지는지 검증해 나가고 있죠.
1. 과감한 OKR 설정
숨고팀은 2020년 하반기부터 OKR 프레임워크를 도입하여 업무를 하고 있습니다. 사람들을 연결하여 삶의 질을 높인다는 숨고팀의 비전 아래 매 분기 과감한 Objective를 설정하고 이를 달성하기 위한 Key Result를 설정하고 있죠. 그 과정에서 총 7개의 스쿼드는 제품 전략(Product Strategy)을 토대로 각각 과감하고 가슴 뛰는 Objective와 섬세한 Key Result를 설정하여 이를 달성하기 위해 수많은 계획을 실행합니다.
2. 실험(Online controlled experiment) 문화
숨고의 스쿼드는 각자 설정한 OKR 달성을 위해 고객이 마주하는 변화의 임팩트를 측정하는 실험(Online controlled experiment)을 진행하고 있습니다. 각 팀이 목표를 달성하기 위해 가설을 설정하고 변화(개선 기능 등)의 임팩트를 가장 정확하게 측정하기 위해 실험 문화를 적극적으로 사용하고 있죠.
제품의 성장통
하지만 모든 스쿼드가 OKR을 달성하기란 쉽지 않습니다. 단순히 목표를 달성하는 것도 중요하지만 조직이 성장하면서 자연스럽게 복잡성도 같이 증가하게 됩니다. 이러한 복잡성의 증가는 실제 제품에서도 여러 가지 문제를 야기합니다. 때문에 목표를 달성하기 위한 지표 설계에도 많은 고민이 필요합니다.
예를 들면 핵심 지표의 성장이 다른 지표에 부정적인 영향을 주지 않도록 초기 단계에서부터 많은 고민을 하지만 예상과 다르게 각 지표 간의 상호작용이 일어나며 다양한 문제가 발생하기도 합니다.
1. 수많은 지표의 탄생
앞서 설명한 것처럼 숨고는 OKR 달성을 위해 핵심 지표를 토대로 수많은 선행, 후행 지표를 설계하고 각 스쿼드가 이를 달성하기 위해 고군분투합니다. 하지만 제품이 성장함에 따라 스쿼드 수가 증가하고 다양한 기능이 출시됨에 따라 많은 목표 지표가 탄생하게 됩니다. 물론 다양한 지표가 생긴다는 것은 제품 내 영향력을 보다 면밀하게 측정하고 평가할 수 있음을 의미하지만 이에 따라 복잡성도 올라갈 수 있음을 의미합니다.
2. 지표의 상호의존성
상호의존성이란 서로가 서로에게 의존하고 있는 관계를 말합니다. 이는 한 요소나 개체의 변화가 다른 요소나 개체에 영향을 미치며 그 반대로 다른 요소나 개체의 변화가 해당 요소나 개체에 영향을 미치는 것을 의미하죠. 지표에 대한 상호의존성은 말 그대로 특정 목표 지표가 다른 목표 지표와 의존 관계가 있는 것을 의미합니다. 이는 본인이 설정한 OKR이 다른 팀의 OKR과 의존성이 생겨 서로에게 영향력을 줄 수 있다는 뜻이기도 합니다.
예를 들자면 뉴스 사이트에서 비디오 시청 횟수를 목표로 잡았을 때 페이지 로딩 후 비디오를 자동 재생시키는 액션을 가져갈 수 있습니다. 그런데 이는 비디오를 보고 싶지 않은 사람들에게 방해가 되어 결과적으로 리텐션에 부정적인 영향을 주게 되는 악영향을 창출할 수 있죠.
일반적으로 이와 같은 상황을 고려하여 핵심 지표의 성장이 다른 지표에 부정적인 영향을 주지 않도록 설계해야 하지만 제품의 규모가 점차 커질수록 모든 부분에 영향력을 고려하기란 말처럼 쉽지 않은 것이 현실입니다.
실제 숨고에서도 제품이 성장하며 다양한 스쿼드가 탄생함에 따라 지표 상호의존성 문제로 고객이 요청서를 작성 후 고수에게 받게 되는 견적서를 얼마나 확인(=열람) 하는지를 측정하는 견적서 열람률(Open Quote Rate) 지표가 어느 순간부터 점진적 하락을 하는 것을 경험하였습니다. 제품에 문제가 발생하면 가장 빠르게 대응해야 하는 Product Owner로서 원인을 규정하기 위해 밤낮을 가리지 않고 수많은 노력을 했지만 안타깝게도 근본적인 하락 원인은 찾을 수 없었습니다. 이는 조직 차원에서 엄청난 리소스 낭비였고 OKR를 달성하기 위한 팀 동기부여도 상실하게 되는 문제가 있었습니다.
특정 배포나 기능으로 인한 하락이라면 빠르게 원인 파악이 가능하겠지만, 다른 지표의 의존성으로 인한 것이라면 워낙 점진적으로 결과가 드러나고 즉각적으로 인지하기가 매우 어렵습니다. 만약 의존성으로 인한 것을 인지하게 되더라도 수백, 수천 개의 지표 중 범인을 찾기란 쉽지 않은 방법일 겁니다.
물론 애초에 목표 지표 설정 시 의존성을 고려하여 문제없이 설계하는 것이 가장 좋은 방법입니다. 그러나 제품이 가파르게 성장하고 고도화되는 과정에서 다양한 지표가 탄생되며 우리도 모르게 의존성 관계가 생길 수 있음을 염두에 두어야 할 것입니다.
지표로 원활하게 협업하기
그렇다면 지표 상호의존성 관계를 사전에 인지하고 이를 예방할 수 있는 방법은 무엇일까요? 제품 내 모든 지표가 변동이 생길 때마다 모두가 달려들어 원인 찾기에 급급한 모습은 매우 비효율적일 것입니다.
숨고팀에서는 지난 과거의 아픔을 씻어내기 위해 지표를 본질적으로 이해하고 문제를 해결해 나가는 방식을 도입하고자 했습니다.
1. 사전에 지표를 움직이는 핵심 요인을 찾는다 (변수 중요도)
대다수 제품 내 지표가 이유 없이 변동되는 경우는 흔하지 않습니다. 어떤 인과관계나 혹은 상관관계에 따라 영향을 주고받는 것이 일반적이죠. 이에 숨고팀은 측정하려는 지표의 본질이 무엇인지 명확히 이해하기 위해 그 지표의 원리를 규명하려 하였습니다
이를 위해 스쿼드 내 데이터 분석가와 깊은 고민을 통해 변수 중요도(Variable Importance)라는 척도로 어느 변수가 우리 지표에 중요한 역할을 하는지 추정하고자 했습니다. 이는 특정 지표에 어떤 요소가 큰 영향을 미치는지를 사전에 파악할 수 있는 게 핵심이죠.
물론 변수 중요도는 "해당 변수가 상대적으로 얼마만큼 종속변수에 영향을 주는가?"에 대한 척도이기 때문에, "어떻게 영향을 주는가?"에 대한 답변으로는 적절하지 않습니다.
다만 핵심은 우리가 측정하고자 하는 지표에 영향을 주는 핵심 레버가 존재할 것이고 이들의 우선순위에 따라 지표 간의 상호작용 여부를 미리 파악한다면 복잡성을 용이하게 관리할 수 있다고 생각했습니다.
그 결과 측정하고자 하는 지표에 영향을 줄 수 있는 다른 지표를 보다 합리적으로 알아낼 수 있었고, 각 지표 간의 상호 의존성이 존재함을 미리 파악해 지표 하락 원인을 보다 자세히 확인 및 대처할 수 있게 되었습니다.
2. 바라봐야 하는 방향 설정하기 (견고한 지표 설계)
앞서 설명한 것처럼 지표를 보다 깊숙이 이해함에 따라 상호의존성이 있는 지표를 선제적으로 파악할 수 있게 되었고, 이는 더 나아가 궁극적으로는 우리가 목표를 달성하기 위해 무엇을, 어떻게, 먼저(우선순위) 해야 할 것인가?에 대한 답변이 될 수 있다고 생각됩니다.
목표를 달성하기 위해 수많은 노력이 필요하지만 리소스는 늘 부족한 현실에서 '무엇을, 어떻게, 먼저 해야 되는 것인가?'라는 질문은 정말 중요합니다.
이를 위해 단순히 목표만을 설정하는 것만 아니라 모든 구성원이 목표 지표를 보고 달려가는 과정에서 헤매지 않고 순탄한 길이 될 수 있도록 사전에 올바른 방향을 설정하는 것도 제품을 관리하는 사람으로서 중요한 덕목일 것입니다.
실제 숨고는 모든 OKR이 하나의 대시보드에서 관리되고 있고, 사전에 수많은 지표의 상호 영향력을 파악하여 발생할 수 있는 문제(상호의존성)를 체크하고 모든 구성원의 땀이 올바른 방향으로 흘러갈 수 있도록 견고한 지표 설계 문화가 존재합니다.
그 결과 모든 구성원이 지표를 본질적으로 이해하고 각자 목표를 향해 달려나가는 과정에서 발생할 수 있는 장애물을 사전에 제거할 수 있게 됨으로써 불필요한 커뮤니케이션을 획기적으로 줄일 수 있는 계기가 되었죠.
글을 마치며
숨고에서는 올바른 지표를 정의하고 이를 추적하는 과정에서 제품의 건전성(Health)과 성장성(Growth)에 대한 핵심 인사이트를 찾기 위해 항상 노력하고 있습니다. 이러한 노력은 우리 제품을 올바른 방향으로 향상시키는 결과로 이어질 것으로 기대하고 있습니다.
이 목표를 달성하기 위해 원활한 협업 문화와 견고한 데이터 중심 문화가 숨고에 깊게 녹아들 수 있도록 노력할 예정입니다.
감사합니다.
