80%가 버려지고, 8%만 성공한다.
어떤 데이터든 검증 과정을 거쳐야 그것이 활용 가능한지 아닌지를 알게 되는데,
검증되지 않은 데이터가 쌓이면 쌓일수록 이후에 들어갈 검증 비용은 감당할 수 없이 비싸진다.
1. 2020년 우리가 데이터를 쓰는 모습
데이터 레이크(data lake)
: 가공되지는 않았지만 언제든 접근 가능하도록 만든 기업 내 데이터 시스템 또는 리파지토리
하지만 결론적으로는 데이터 스웜프(data swamp) 가 되고 있다.
*데이터 스웜프-쓸모없는 데이터 늪
왜냐하면 우리는 전체 비즈니스 맥락에 맞는 데이터 수집 목적의 설계를 올바르게 하고 있지 않다.
- 어떤 구조?
- 어떤 데이터?
-쌓인 자료마다 어떤 적요를 달고 어떻게 계통을 잡아놓아야할지?
다크데이터
: 기업이 정보 수집한 후 저장만 하고 활용하고 있지 않는 데이터
: 즉, 사용되지 않고 저장 공간만 차지하는 불필요한 정보
2. 디지털 대전환의 열쇠, 데이터 리터러시
우리가 생각해봐야 할 디지털 대전환의 걸림돌은 이러한 문제들이 있다.
1. 데이터를 공유하기 싫어한다.
2. 데이터를 읽고 쓸 줄 모른다.
우리가
데이터 사일로(Data Silos) 현상
: 서로 교류하지 않고 폐쇄적 성향을 띠어가는 상태 의미
즉, 각 부서가 가지고 있는 데ㅣ터와 통찰을 다른 부서와 공유하지 않는 현상
2018년 엑센츄어에 따르면,디지털 마케팅에서 가장 큰 걸림돌로 꼽힌 것은 조직 간의 데이터 사일로 현상이었다.
결국 우리 디지털 대전환의 전략의 끝은
데이터를 쌓는 것이 아니라 사용하는 데 있다.
뿐만 아니라 우리는 데이터를 읽고 쓸 줄 모른다.
쌓이는 데이터가 정말 쓸만한가? 를 알 줄 모르기 때문에 계속해서 축적이 되는 것이다.
여기서 데이터 리터러시라는 개념을 확인해 볼 수 있다.
데이터 리터러시란?
데이터 리터러시는 데이터를 건전한 목적과 윤리적인 방법으로 사용한다는 전제하에,
현실 세상의 문제에 대한 끊임없는 탐구를 통해 질문하고 답하는 능력을 말한다.
이를 위해 핵심적으로 필요한 것은 실천적이고도 창의적인 능력들인데 전문가들의 데이터 취급 역량도 일부 포함된다.
예를 들면 데이터를 취사선택하고, 가다듬고, 분석하고, 시각화하고, 비판하고, 해석하는 역량이나 더 나아가 스토리를 전개하며 소통하고 일하는 방식을 개선하는 역량들을 말한다.
즉 우리는 데이터 리터러시를 배워 데이터를 통한 사회와 조직의 개선, 그리고 데이터 활용의 윤리적 측면도 명시되어있다.
우리가 데이터를 읽기 위해서는 어떻게 해야 잘~ 읽을 수 있을까?
데이터를 읽기 위해서는 '맥락에 맞게 (in context) 데이터를 읽어야 한다. -가트너
📌 데이터는 절대 그 자체가 목적이나 답이 될 수 없고 오직 '맥락' 에 맞게 바라보고 해석할 때에만 제 역할을 발휘하게 된다.
데이터를 그저 학습 대상으로만 여기면 안되는 것이다.
3. 개척자들의 데이터 리터러시
문제 정의-휙득-해석-방안 선택-보고서화-전달
데이터 리터러시 역량 -by <하버드 비즈니스 리뷰> 1
1. 좋은 질문을 할 수 있는 역량 (분석 방향 잡기, 맥락의 이해 능력)
2. 필요한 데이터를 선별하고 검증할 수 있는 역량 (더 중요한 데이터가 무엇인지 판단하는 역량)
3. 데이터 해석 능력을 기반으로 쓸모 있는 결론을 만들어내는 역량
4. 가설 기반 A/B 테스트를 수행하여 결과를 판별할 수 있는 역량
5. 의사결정자드도 이해하기 쉽게 분석 결과를 표현할 수 있는 역량
6. 데이터 스토리텔링을 통해 의사결정자들이 전체 그림을 이해하고 분석 결과에 따라 실행하게 되는 역량
핵심 역량
✅ 데이터 접근, 데이터 조정, 데이터 품질 검증, 데이터 기초 분석, 데이터 해석
데이터 윤리, 데이터 수집, 데이터 시각화, 데이터 기반 문제 정의, 포맷간 데이터 전환
분석 도구 활용, 데이터 관리, 데이터 구두 제시, 데이터 기반 의사결정, 데이터 재활용
즉 원천 데이터를 기획하거나 집계하고 고도의 분석을 시도하는게 중요한게 아니라
이미 있는 데이터를 이해하고 유효성을 벗어나지 않는 선에서 자신의 목적에 맞게 조정할 수 있는 역량은 곧, 데이터 해석과 조정 능력 이 된다.
여기서 데이터 조정: 특정 데이터 세트를 자신의 입맛이나 목적에 맞게 조정하는 것을 말한다.
데이터를 가공하는 것도 포함된다!
포맷 간 데이터 전환: 복수의 데이터 세트를 조정하는 과정
원천 데이터에 대한 환상을 버리자
: 원천 데이터라는 것은 존재 하지 않는다.
: 세상에 존재하는 모든 데이터와 분석 도구들은 과거 사람들의 의사결정에 따른 결과물일 뿐이다. 즉 작성 시점부터 작성자의 주관을 담고 있으므로 순수한 진실을 담고 있지 않고 맥락, 작성 방식, 책임 범위 같은 항목 체크!
활용성과 보안성은 상충함을 기억하자..!
데이터를 사용하면 할수록 비례해서 증가하는 리스크 감지해야한다.
데이터 리터러시 성숙도 모델 평가 툴
-스쿨 오브 데이터의 사이트에서 접할수있다.
-개인과 조직의 리터러시 역량 구분
-개인 수준 및 분석의 목적별 훈련 내용 세분화
-툴 사용 능력 못지않게 기초 역량 또한 개인 역량에서 중요
-개인 역량은 데이터로 문제해결을 위한 '질문-발견-> 휙득-> 겸증 -> 조정-> 분석 -> 시각화 -> 소통 -> 평가' 가 골고루 반영되어야 한다.
-가급적 피교육자가 갖고 있는 공개 가능 데이터로 문제해결형 실습을 하는 것이 효과적
-데이터 리터러시 교육에선 자체 수준 진단, 성향 파악, 교수법 전파, 조직 재설계가 유기적 진행
4. 데이터 리터러시 접근법 : 말을 배우듯
문제해결의 과정은 일반적으로 문제 정의 > 가설 수립 > 가설 검증 > 소통의 순서로 진행된다.
데이터 리터러시 접근법 배우기
1. 데이터 분석의 목적
내가 상황을 인지하고 표현하기 위함인지, 평가? 혹은 미래의 양상? 특정 문제를 해결하기 위함인지?
데이터 그 자체는 목적, 메시지가 될 수 없다.
왜 데이터를 필요로 하는지, 어떤 데이터가 필요한지를 판단해야 한다.
이것이 선행되어야 목적에 맞는 분석 역량과 기법을 추려낼 수 있다.
| 분야 | 이름 | 예시 | 시점 |
| 기술분야 | 임시 리포트 (Ad Hoc Reporting) | 이벤트의 빈도,상황, 시점 어떤가? | 과거 |
| 정형 리포트 (Canned Reports) | 어떤 일이 일어났는가? | 과거 | |
| 진단분야 | 심층적 분석 (Drilldowns) | 왜 해당 이벤트가 일어났는가? | 과거 |
| 발간 및 경고(Discovery & Alerts) | 어떤 영역을 눈여겨 보아야하는가? | 과거 | |
| 예측분야 | 예측모델링 (Predictive Modeling) | 앞으로 어떤 일이 일어나는가? | 미래 |
| 통계모델링 (Statistical Modeling) | 데이터 패턴이 어떤가? | 미래 | |
| 처방분야 | 랜덤테스팅 (Random Testing) | 특정 시나리오의 결과는? | 미래 |
| 비즈니스 최적화 (Business Optimization) | 최적의 의사결정은? | 미래 |
2. 누가 사용할까?
조직은 구성원 개개ㅐ인이 문제해결을 잘할 수 있는 환경을 조성해야한다.
3. 어떤 형태의 데이터를 사용할까?
규칙성이 없는 비정형 데이터들과 정형 데이터들의 취급 역량 역시 달라질 수밖에 없다.
IDC 에 따르면 데이터의 약 80% 가 비정형 데이터라고 하기 때문에 기업들은 비정형 데이터를 어떻게 다루느냐에 달려 있다.
개인 수준에서 비정형 데이터는 어떻게 다룰까?
데이터 분석의 목적과 어떤 데이터가 필요한지. 즉 '목적' 과 '대상' 에 집중해서 내용을 조직과 명쾌하게 공유해야한다.
(1) 어떤 문제를 가지고 있는가?
-현장해서 해결하고 싶은 문제와 맥락 명확하게 전달
-그래야 데이터 필요성과 기존 데이터와의 ㄴ연계성 종합 판단
"요즘 재택근무가 늘어나서 비즈니스 소프트웨어 수요 변화가 예상된다"
(2) 어떤 가설을 가지고 있는가?
-문제와 맥락에 더해 가설적 해결 방안 공유
-현장 조직의 문제해결방식에 익숙해지면 데이터 전문 조직의 장기전략 수립 수월
"장기화될 경우 재택근무자들의 외로움을 해소하고 소속감을 증대시켜 줄 소트으웨어가 필요하다"
(3) 어떤 분석 어프로치?
-가설 검증을 위한 구체적인 분석 어프로치
"재택 근무자들의 재택 근무 전후 SNS 사용 패턴 및 감정 분석"
(4) 어떤 데이터가 필요한가?
-분석 어프로치에 해당하는 여러 개념 간 명확한 구분
"근무시간 대 sns 접속 및 글 등록과 감정이모티콘 유형별 빈도 필요"
(5) 어떤 형태의 데이터 필요?
-필요한 데이터의 최종 형태 전달
"재택근무 전후 3개월 간 근무 시간대별 페이스북 평균 접속 빈도
-재택 근무 전후 3개월 간 근무 글 내 이모티콘 유형별 사용 빈도"
!!! 데이터 마인드 가지기
- 데이터 역량 Data Competency 데이터 활용 실무 역량 (데이터 이해,휙득, 분석 소통)
- 데이터 사고력 Data Thinking 데이터 끌어가는 생각 (비판, 한계, 시스템 비판적 사고력)
- 데이터 마인드 Data MindSet 데이터에 대한 자세 (증거주의 지적 겸소ㄴ함 자기객관화 데이터의 한계)
*증거주의: 법률 등에서 증거를 중시하는 입장이나 견해 / 데이터는 자체로 주장이 될 수는 없고 증거를 구성하는 재료.
데이터를 활용하고자 하는 모든 동기는 좋은 증거나 근거를 구비하려는 노력, 근거를 통해 주장을 받아들이는 습관과도 관련이 깊다...
*의무적 회의감: 누군가의 의견을 받아들일 때 반드시 그에 대한 회의적 시각을 가져보는 태도
**지적 겸손: 난 늘 틀릴 수 있다 라는 자세
Q. 그렇다면 데이터 분석으로 문제를 '해결' 할 수 있을까?
어떤 가설에 대해 동일한 데이터가 주어진다면, 다른 풀이와 어프로치라도 동일한 해답이 나올까?
에릭 루이스 율만 은 이런 말을 했다.
하나의 분석으로 궁극의 definitive 한 답을 찾는 건 쉽지 않다.
모든 결론은 다른 결론이 그것을 뒤엎기 전까지 한시적 temporary 으로 '답'이라는 위치에 있을 뿐이다.
즉, 우리는 데이터와 어떤 어프로치를 선택하느냐에 따른 '한시적인' 답을 찾는 것 뿐이지
그것이 곧 명명백백한 해결책은 아니기 때문에,
분석 결과의 유연성을 인정하고 본인이 틀릴 수 있다는 겸손함을 다시 한번 가져야 한다.
우리가 데이터 분석 역량 제고에 반드시 필요한 세 가지 요건은,
동기부여 : 특정 목적으로 동기가 부여 되어야 데이터 역량의 필요성을 절감하고 몰입하게 된다.
목적의식을 담아낸 데이터 휙득 : 가장 좋은 것은 자기가 스스로 조사하여 휙득한 자체 데이터
5장. 데이터 리터러시의 전제조건 : 데이터의 힘을 믿습니까?
차트에서 통찰 끄집어내기
1. 무엇을 측정한 차트인가?
: 분석 대상의 파악은 데이터를 이해하는 첫 단추이기 때문에 무엇을 측정한 차트인지 이해할 필요가 있다.
예를 들어 사람을 대상으로 할 수도 있고 회사를 대상으로 할 수도 있다.
2. 어떤 관점들이 사용되었는가?
: X축, Y축 의 의미와 사용단위 를 파악해야 등장인물에 의미를 부여할 수 있다.
예를 들어 사람을 연봉과 연령으로 파악하고 있다,
3. 어떤 범례 또는 카테고리가 사용되었는가?
: 범례는 작성자가 자신의 의도에 따라 의미를 부여한 것이기 대문에 작성 의도에 대한 힌트를 담고 있다.
예를 들어, 직장인을 연봉을 기준으로 다섯 그룹으로 나눈다면 연봉과 관련한 메시지 전달을 시도하기 위함을 알 수 있다.
4. 어떤 시기를 다루고 있는가?
: 시점과 기간에 대한 정보가 가미 되어야 메시지를 입체적으로 이해할 수 있다.
예를 들어 이 차트는 10년 전 데이터다, 코로나 시기에 측정된 데이터다.
5. 노트, 혹은 각주는 무엇인가?
: 노트 또는 각주를 놓치지 말아야 섬세한 결론을 내릴 수 있다.
예를 들어 등장한 인물 모두가 국내의 30대 여성이다. 등 일반화하지 않도록 조심해야한다.
선형 차트는 흐름, 막대 차트는 '크고 작음의 비교', 파이 차트는 '비중', 스캐터 차트는 '관계'
올바른 근거란 무엇일까?
1. 사실성 : 사실에 입각했는가?
2. 연관성 : 이 근거는 주장의 메시지와 정말 관련이 있는가?
3. 충분성 : 동일한 대전제하에, 상충되는 근거가 존재하지 않는가?
그 근거는 일부이고 그 반대되는근거가 얼마나 많은지 아는가? -> 이게 충분성을 공격하는 질문이다.
충분성이 중요한 것은
자신의 메시지를 남에게 전달하거나, 다른 사람의 메시지를 합리적으로 비판할 때 큰 역할을 하게 된다.
즉 우리는 사실성과 연관성에 어긋나는 정보는 올바르지 않은 근거임을 알아차리지만,
충분성에 어긋나는 정보는 올바르지 않은 근거라고 바로 알기 쉽지 않다.
이 내용이 상당히 흥미로웠는데,
정보의 양이 증가할수록 더 경계해야 할 부분은 사실성에 오류가 있는 '명백한 거짓말' 이 아니라
충분성이 부족한 '침묵형 거짓말' 이 라는 것이었다.
침묵형 거짓말은 더욱 일상적이고 그럴싸하기 때문이기도 하지만,
정보가 늘어갈수록 더 골고루 파악해야 하는 수고가 늘어 충분성을 간과하기 쉽기 때문이다.
즉 이러한 침묵의 가능성에 대해 의구심을 품고 명명백백 밝히는 다양한 관점의 데이터로 스스로를 무장해야 한다 는 것이다.
정리하면!
침묵형 거짓말은 직접적인 거짓말은 아니지만, 핵심 정보를 말하지 않음으로써 오해를 유도하는 방식이 된다.
예를 들면,
이 플라스틱은 100% 재활용이 가능합니다.
- 사실성 : 특정 재질의 플라스틱은 이론적으로 가공·재활용 공정을 거쳐 다시 원료로 쓸 수 있기 때문에 사실성을 위배하지 않는다.
- 연관성 : 환경 친화적이라는 주장과 연결된다.
- 충분성 위배 : 실제로는 분리수거 과정에서 오염(음식물·이물질)이 있으면 재활용 불가하고 플라스틱 종류가 섞이면 선별이 어려워 소각/매립으로 가는 경우가 많다. 한국 환경부 자료만 봐도, “재활용 가능” 표시된 플라스틱의 상당수가 실제 재활용률은 30% 미만.
또한 “재활용 가능”은 조건부 문장인데, 조건이 침묵된 채 절대적 사실처럼 제시되고 있다.
즉, 깨끗하게 분리되고, 선별·가공 비용이 맞아야 재활용이 가능하다 이런 내용이 빠져있음!
소비자 오해 유발: 듣는 사람은 “100% 재활용되니까 이 제품은 환경 부담이 없다”라고 받아들이지만, 실제 환경에는 여전히 부담이 크기 때문에 충분성을 위배한 사례가 될 수 있다.
02. 데이터와 설득력, 동기부여
설득은 결국 명확한 조준과 충분한 화력 이라는 두 가지 요건이 중요하다.
-명확한 조준 설정하기
세상의 모든 주장에는 그것을 지지하는 근거가 있고 근거의 아래에는 보이지 않는전제, 즉 가정이 존재한다.
이러한 방식으로 설득은 가정, 근거, 주장의 내용을 기본 요소로 하고
훌륭한 설득일수록 이 세 요소가 서로 견고히 지지한다는 특징을 가진다.
이러한 설득의 피라미드상에서 메시지, 근거, 가정이 가지는 상호 관계는 설득과 비판을 위해 중요한 직관의 조준점이 된다.
(1) 가정과 근거의 맥 차단 지점 A: 주장하는 메시지와 근거의 관계가 견고하다고 자부할수록 놓치기 쉽다.
(2) 근거의 사실성과 연관성 지점 B : 우리가 전달하는 메시지는 근거라는 기반 위에 존재하기 때문에 근거의 무력화는 곧 메시지의 무력화를 의미한다.
이는 해당 근거가 온전한 근거(C) 로서 갖추어야 할 덕목과 깊은 연관이 있다.
(3) 충분성 지점 D : 충분성이란 요소가 겉으로 드러나지 않아서 포착하기가 쉽지는 않다.
가정 (사실성 조준)
폭우가 내리면 산사태의 위험은 높아진다.
> 시간당 강우량 측정 시간을 임의로 설정해 과다 계산되었다.
근거 (충분성 조준, 연관성 조준)
> 일 강우량으로 보면 반드시 산사태를 일으킬 수준은 아니다. (충분성 조준)
산사태 당일 120년 만에 시간당 강우량 114mm 의 폭우가 기록되었다.
> 120년 이라는 수치는 다른 관측소 자료기 때문에 해당 사건과 직접적 관련x (연관성 조준)
여기서 충분성은 동일한 가정하에서 제시될 수 있는 제 3의 반대 근거를 내놓은 근거이기 때문에 해당 근거가 충분하지 못함을 보여주고 있다.
-충분한 화력 설정하기.
조준을 통해 설득의 방향을 결정하였다면,
설득을 이뤄내는 행동 여부는 근거 데이터의 힘에 좌우된다.
그만큼 설득이 성공할 가능성은 얼마나 설득력 있는 증거를 가지고 있느냐의 싸움이다.
-동기부여 설정하기
사실 나는 이 파트가 굉장히 인상깊었다.
구글과 아마존 같은 해외 기업들은
어떻게 늘 시장을 압도하는 성과를 내놓을까?
책은 간단한 해결책을 내놓는다.
경영진은 직원들이 상향식으로 올린 수많은 목표 중 더 좋은 것을 선별하는 데 집중하면 된다.
즉, 우리가 익숙한 목표를 세운 뒤 밑으로 전달하는 하향식 목표 설정이 아니라
다수의 검증된 아이디어를 설정하고자 하는 것이다.
그리고 이 출발점은 조직 내의 데이터 투명성에서 시작한다.
우리가 서로 데이터를 투명하게 공유할수록 조직 내의 구성원들은 성과가 바로 보이기 때문에
더욱 동기부여를 받고 목표를 설정할 수 있다.
또한 이러한 내부 데이터를 투명하게 볼 수 있기 때문에 더 많은 내부 실험 재원을 가질 수 있다는 것이다.
즉, 데이터를 통한 관리는 '투명성으로 자발성을 관리하는 것' 이다.
'데이터' 카테고리의 다른 글
| [데이터분석] SQL 실무 예제로 공부하기-기획자의 SQL 책 리뷰 (0) | 2026.01.09 |
|---|---|
| [데이터분석] 유저들의 데이터 흔적을 찾아라! (0) | 2025.10.02 |
| [데이터] 데이터로 인사이트 얻기 - 데이터 리터러시 리뷰 (2) (1) | 2025.09.14 |