hot topic

'오늘은 좀 쌀쌀했는데 내일도 추울까?'

'내가 응원하는 야구 팀이 오늘 이길까?' 

'이번 학기에 듣게될 강의는 재미있을까?' 

'지금 나가면 지하철에서 앉아서 갈 수 있을까?'


누구나 앞으로 다가올 일들에 대해 생각을 하게 됩니다. 통통 기자에게는 앉아서 가는 통학 길, 오늘의 날씨,  새 학기에 신청할 수업에 대해 적절한 예측을 하는 것은 매우 중요한(!) 문제이지만, 이러한 예측을 하는 데에 깊은 고민을 쏟지는 않습니다. 하지만 경제, 선거, 기상, 테러 등 국가적으로 보다 중요한 문제들의 경우엔 최고 수준의 전문가들이 오랜 기간의 연구 끝에 예측을 하게됩니다. 하지만 아쉬운 점은 그들도 항상 예측에 성공하지는 않는다는 거지요. 가끔 언론을 보면 계속 정확한 예측을 해나가며 유명세를 타는 이들도 있는데 정확한 예측을 하기 위해서 필요한 자질은 무엇일까요?


메이저리그의 선수 성적, 카지노와 포커의 도박판, 美 총선과 대선의 정치판을 넘나들며 일관되게 뛰어난 예측력을 보여주고 있는 '네이트 실버'는 전 세계에서 손꼽히는 데이터 분석가입니다. 그는 『신호와 소음』 에서 경제, 정치, 美 메이저리그, 날씨예보, 지진, 포커, 주식, 테러 등에 이르기까지 그는 다양한 소재와 사례를 통해 그는 많은 데이터와 통계 속에서 무의미한 '소음'의 함정에 빠지지 않고 중요한 '신호'를 포착하는 방법에 대해 소개합니다.

《뉴욕 타임즈》 선정 '전 세계에서 영향력 있는 100인' 네이트 실버와 그의 저서 『신호와 소음』

하지만, 그가 전하는 메시지는 "새로운 정보가 나타날 때마다 기존의 예측을 수정해나가라"는 것입니다. 통계학의 큰 기둥인 '베이즈 정리'를 이용해 저자는 시행착오를 반복하며 예측의 오차를 줄여나가는 것이 무엇보다 중요하다고 말합니다. 그는 이것에 관해 예측가들을 '여우'와 '고슴도치'로 나누어 설명합니다.


『신호와 소음』 中, 그림 출처 : freepik


고슴도치형 예측가 결론을 정해놓은채, 새로운 정보들을 활용해 자신의 결론을 강화시킵니다. 그는 핵심적인 이론과 원리에 주목하고, 그것을 추적하는 데에 모든 관심을 쏟습니다. 그리고 자신의 모델이 이러한 원리를 반영하고 있기 때문에 혹시 틀리더라도 예외적인 상황이거나 운이 좋지 않았다고 생각합니다.  

반면, 여우형 예측가 새로운 정보를 활용해 자신의 결론을 계속 수정하고 문제가 생기면 그것을 폐기합니다. 현실은 매우 복잡하고 예측하기 어렵기 때문에 일반 원리를 추론하는 것이 어렵다고 생각하고, 관찰을 통해 다음 장면을 예측하고자 합니다. 또한 확률과 단서를 통해 조심스러운 예측을 자주하고, 설혹 자신의 예측이 틀리더라도 그 과정의 실수와 비판에 대해 겸허하게 받아들입니다. 

네이트 실버는 보다 단정적이고 간결한 예측이 더 쉽게 다가오기 때문에 '고슴도치'들의 예측에 귀를 기울이기 쉽다고 이야기합니다. 하지만 그들의 이야기는 예측이라기보다는 '자신의 생각'을 포장해 놓은 것과 다를 바가 없고 '소음'에 불과합니다. 저자는 훌륭한 예측자가 되기 위해서 보다 겸손하게 정보들을 수집하고 조심스럽게 예측해야 된다고 말합니다. 또한 '여우형 예측가'들의 이야기에 귀를 기울여야 한다고 이야기합니다.

어느 때보다 많은 정보와 자료에 노출되어 있고, 예측의 중요성을 절감하는 요즈음입니다. 빅데이터, 통계학, 미래 예측에 관심이 있으시다면 이 책에 소개된 다양한 사례들을 접하며 '베이즈주의적 추론'에 도전해보시는 걸 추천합니다! (네이트 실버는 최근 美 대선에 대해 힐러리 클린턴 전 국무장관의 우세를 예측했다고 하는데요. 이 예측이 얼마나 정확한지도 지켜보면 재미있을 듯 합니다.)

                              

     

※ 본 글은 '통계청블로그기자단'의 기사로 통계청의 공식 입장과 관계가 없습니다.

저작자 표시 비영리 변경 금지
신고
트랙백 TRACKBACK :0 개, 댓글 COMMENT :0 개가 달렸습니다.

이제 정말로 본격적인 여름철이 시작된 것 같습니다.

날씨가 너무너무 덥지요ㅠㅠ


하지만 태양이 뜨거워지는 만큼 시원한 여름휴가 역시 기다려지는 법!

여러분도 벌써 이번 여름휴가를 준비하고 계시죠^^?


오늘은 통통이가 우리 국민들의 여름휴가 모습을 미리 예측해보고자 해요.

'언제쯤 휴가를 가게 될까? 얼마나 돈을 쓸까? 어디로 놀러갈까?'

이처럼 재미있고, 미리 알아두면 여러분의 휴가계획에도 도움이 되는 정보를 영상으로 담았습니다.


지금부터 함께 보시죠~!!!






신고
트랙백 TRACKBACK :0 개, 댓글 COMMENT :0 개가 달렸습니다.

 


5/12 일요일 낮 두 시! 통계청 기자단의 세 기자가 통계 전문가를 찾아 역삼역 근처 POSCO P&S TOWER로 향했습니다. 저희 세기자의 '회견이'이시자, 통계 전문가로서 이야기를 들려주실 분은 바로 The ECG 컨설팅의 김경태 대표님! 인터뷰 요청에 흔쾌히 허락해주신 대표님께서는 회사로 찾아간 저희를 웃으시며 반겨 주셨는데요. 통계 전문가로서 바라보는 통계란 과연 어떤 것이며 실무에서쓰이는 통계란 또한 어떤 것일까? 지금부터 그 인터뷰 내용을 공개합니다!

 

Q. 대표님 본인과 The ECG 컨설팅에 대해 간략한 소개 부탁해요.

저는 대학에서 경영학과를 나왔습니다. 경제학예측(forecasting) 과목에서 통계 관련 과목을 듣고 통계에 관심을 끌게 되었고, 대학원은 통계를 기본 밑바탕으로 두는 컴퓨터 시뮬레이션 쪽으로 각 되었어요. 제가 이전 주로 일했던 직장에는 오라클(Oracle), Accnture 컨설팅 등이 있고, 경험이 쌓이고 나이가 든 후에는 ECG 커널팅(The Eric Consulting Group)을 창업하게 되었습니다. 이곳에서 제가 주로 하는 일은 분석 기반의 전략 컨설팅으로 통계 등의 기법으로 모델을 만들고 분석해서 전략을 수립해 기업들을 안내자 하는 업무입니다. 주로 대기업, 다국적 기업이 저희의 고객사이고요. 회사 창립은 3년 되었습니다. 최근은 BC 카드의 빅데이터 플랫폼 구축 및 분석 프로젝트를 수행했고 마무리 지었습니다. (웃음)

 

 

  (이미지출처) The ECG 컨설팅

http://www.the-ecg.com/The_ECG/Introduction.html  


Q. (통계를실무에서 직접 쓰고 계신 전문가로서) 대표님께서 생각하시기에 통계란 무엇이며, 실생할에서 쓰이는 데 있어서 어떤 장단점이 있다고 생각하시나요?

저는 통계란, 사물을 바라보는 하나의 논리적인 방법이라고 생각합니다. 사람들의 판단만 하고는 많은 실수를 할 수 있는데, 사실에 따라서 논리적으로 생각하는 기반을 주는 하나의 방법이 바로 통계다, 라고 느끼고 있어요. 바로 그 점이 통계에 대한 정의이자 장점이라고 생각합니다. 반면, 통계의 단점이라고 한다면 통계를 '통계'로만 생각하시는 분들이 계신다는 거에요. 기법 자체만 따지는 분들이 있는데 막상 실무 쓰임은 달라서 통계적으로 모든 걸 그렇게 엄격하게 바라보다 보면 실무에서 굉장히 어려워요. 얽매이신 분들처럼 통계를 그렇게 바라보는 분들이 간혹 계신다는 점이 통계의 단점이자, 어려운 점이죠.


Q. 최근 빅데이터가 이슈로 대두하고 있는데요. 오바마도 빅데이터로 사람들의 경향을 분석해 재선에서 성공했다고 들었습니다. (현재 대표님께서 다루시기도 하는) 빅데이터란 무엇인가요?

일반적으로 기업에서는 수억 건, 수십억 건 데이터를 한 번에 분석하고 처리하는 일이 비일비재해요. 과거에는 이런 데이터 처리가 하루 이상 걸리거나 불가능할 정도로 굉장히 힘들었습니다. 그런데 CPU의 발전 등 때문에 과거에 상대적으로 big 하다 생각 했으나 지금은 편히 접근, 처리할 수 있는 그런 data들이 생겼고, 그런 data를 '빅데이터'라 부르게 된 거에요. 또한 과거에는 관리나 의사결정에 편한 '정형화된 data(excel의 column, row처럼 코드화된 data)'만 사용했었는데, 빅데이터 처리 발달과 함께 비 정형 데이터에 대한 처리 방법도 발달하게 되면서 비정형 데이터를 정형화시켜 정치, 경제 등 다양한 분야에 응용하는 쪽으로 쓰기 시작하게 된 겁니다. 

 

 

(이미지출처)빅데이터

http://blog.naver.com/min_zzangna?Redirect=Log&logNo=80174070043

 

Q. 빅데이터 분석 사례에 관해 예시를 들어주세요!

앞서 이야기 나왔던 오바마 대선 사례도 빅데이터 사례고, 그 외에도 트위터,  페이스북, 신문기사 내용 등 아주 다양한 것들이 분석에 활용 되기도 합니다. 예를 들어 제가 예전에 이런 얘기를 들은 적이 있었어요. 애플과 삼성 간 소송 건에 관해 트위터상 올라오는 여러 얘기에 따라 삼성, 애플 주식의 등락을 예측할 수 있다는 얘기였는데 그 말이 맞는지 분석해 본 결과, 트위터에서 추출한 각 기업에 관한 걸침, 부정 단어를 가지고 시행해 실제 예측(forecasting)에서 연관성이 있는 걸 확인했습니다. 이런 방법은 실제 '정책'들에 많이 사용되죠. 수익 창출 등을 목표로 하는 '기업'에서도 마찬가지 입니다.


Q. 혹시 개인적으로 인상 깊게 남으셨던 통계 data 분석이 있으신가요?

제 인생에 가장 큰 영향을 준 분석이 있었어요. 초창기, 저도 남들처럼 기업에서 프로젝트도 하고 그런 나날을 보내고 있었습니다. 그런데 어느 날 문득 사회생활 제 미래이기도 한 '인사평가'에 대해 궁금해진 거예요. 그래서 EIS 시스템에 있는 중역분들의 인사 평가 정보들을 분석해 보았습니다. 어떤 사람이 중역, 사장이 되는지 보았는데 그분들의 인사 평가기록상에 유독 '업무 적응에 힘들어하고 있다'는 말이 많다는 점을 발견했어요. 나중에 물어봐서 평판을 들어 봤더니 '걔는 정말 옛날엔 골칫덩어리였어.'라는 얘기를 많이 들었습니다. 이상하게도 그런 분들이 결국 나중에는 중역이 되시는 걸 확인한 거죠.

* EIS (중역정보 시스템): 과거의 기업 정보 시스템으로 컴퓨터 화면에 요약정보를 보여주던 시스템. 인사, 생산 등 모든 정보가 존재.

 

 

(이미지출처)[경총] 한국기업 인사평가제도 실태조사

http://blog.naver.com/kefplaza?Redirect=Log&logNo=120050891239

 

Q. 일반인으로서 실제로 통계에 대해 불신하는 분이 계시기도 하고 통계 자체를 어려워하시는 분들도 계시는데요. 이런 일이 발생하는 근본적인 이유가 어떤 것으로 생각 하시나요? 또 그런분들의 낮은 신뢰를 높이는 방법에는 어떤 것이 있을까요?

무엇이든 편하고 내 곁에 가까우면 신뢰가 가는데 불편하고 뭔가 접근에서 짜증스럽다면 믿음도 가지 않기 마련입니다. 우리나라 사이트들은 외국과 달리, 느리고 대부분 정보를 입력해야만 데이터를 볼 수 있어요. 게다가 privacy 때문에 요약된(summary) 데이터를 주는데, 이러 데이터로 할 수 있는 분석은 거의 없습니다. 이러다 보니 정보 하나를 알려면 수천만 원 들어서 survey를 하게 되는데, 이런 걸 양성화해서 기업들이 낭비 없이 적합 된 정보를 얻어 써먹을 수 있도록 해야 해요. 통계 전문가든 아니든 지 간에 원하는 data에 접근해서 획득하는데 편하고 개방적이어야 한다고 봅니다.


+) Plus 실무 분석 사례

온라인 쇼핑몰에서 냉장고 등 가전제품을 일 년에 수억 원어치씩 억대로 사시는 분은 어떤 분일까요? 이 사람은 비즈니스를 하는 '사업자'였습니다. 이를테면 온라인 쇼핑몰을 열어서 100만 원의 주문을 받고, 다른 곳에서 최저 80만 원을 찾아 주문/배송지를 연결해 준 후 20만 원이 이윤을 남기는 사람이었던 거에요. 이런 사업자들은 우수고객 분석 시 일반 VIP 고객과 달리 배송지가 다양하거나(배송지 다양성) 상품을 다양하게 구매, 혹은 특정 상품만 집중적으로 사가는 경향(상품집중도)을 보입니다. 기업들 입장에서는 따로 혜택을 안 줘도 스스로 와서 싸게 사가는 사업자들을 제외한 '진짜 VIP' 에게만 혜택을 주는 것이 훨씬 효율적일 테니 이런 내용을 바탕으로 사업자를 구분해낼 필요성이 있겠죠.

이처럼 생각하고 분석하면 무척 재미있는 게 많습니다. 그러나 이런 분석은 알고 있는 지식 으로만 하는 것이 아니에요. 분석하기 위해서는 먼저 일상생활에서 고민해보고 작은 일에도 늘 관심을 갖고 관찰, 추론해 가는 것이 가장 중요하다고 볼 수 있습니다.

 

※ 본 글은 '통계청블로그기자단'의 기사로 통계청의 공식입장과 관계가 없습니다.

 

 

 

신고
트랙백 TRACKBACK :0 개, 댓글 COMMENT :0 개가 달렸습니다.

이런 얘기 많이들 합니다.

'거기 땅값 오를 줄 알았으면 진작 사놓는 건데...'

'그 아파트 값 오를 줄 알았으면 안 파는 건데...'

예측 불가능한 미래를 예측할 수 있다면,

우리 모두 진작에 부자가 됐겠죠?

하지만 그 예측이 전혀 불가능한 것만은 아니라네요.

로또 당첨, 이것도 확률에 기반한 선택이니까요.

우리 모두 통계를 보는 마인드를 키워보자구요.

신고
트랙백 TRACKBACK :0 개, 댓글 COMMENT :0 개가 달렸습니다.

티스토리 툴바