신호와 소음: 갑골문의 占과 빅데이터 예측…과거 분석해 미래 볼 수 있을까

작년에 송고한 네이트실버의 “신호와 소음(The Signal and the Noise)” 서평

01.8854070.1

 

인간을 만물의 영장으로 만든 것은 인간의 뇌다. 오랜 진화 과정에서 다른 종보다 우수한 뇌를 가지게 된 인류는 복잡한 현상의 패턴을 일반화하여 앞날을 예측하고, 주어진 자극에 대한 대비책을 강구했으며, 습득한 노하우를 전달할 수 있었다. 인류의 지능은 호랑이의 이빨보다 더 예리하고 코뿔소의 뿔보다 더 뾰족한 무기였다.

하지만 때때로 이런 패턴화 과정이 엉뚱하게 작용하기도 한다. 인류의 조상들은 하늘의 별이 움직이는 패턴을 보고 나라의 운명을 점치기도 했고, 거북이 등껍질이 갈라지는 패턴을 보고 사람의 명운을 점치기도 했다. 데이터 간 상관성과 인과성에 대한 혼동 때문이었다.

21세기 인류는 갑골문의 시대와 얼마나 멀어졌을까? 여전히 우리는 우리 조상들처럼 서로 관계 없는 현상 사이를 잘못 패턴화하거나, 과거로부터 이어진 패턴이 앞으로도 아무런 단절 없이 꾸준히 선형적으로 이어질 것이라고 쉽게 가정한다. 일종의 데이터 점성술, 데이터 갑골문이다.

그 와중에 등장한 ‘빅데이터’는 인류에게 있어 축복이자 저주다. IBM에 따르면 매일마다 전세계에서 25억 기가바이트의 데이터가 쏟아지고 있으며, 최근 2년 동안에 생산한 자료가 인류 탄생 이후 축적한 모든 데이터의 90%에 달한다고 한다. 인간의 뇌가 저장할 수 있는 최대 용량이 약 3테라바이트, 즉 3천 기가바이트인 점을 감안한다면, 정보 과부하 속에서 쓸데없는 데이터 간의 관계를 성급하게 일반화하는 일이 더욱 더 빈번하게 일어날 것이라는 우려는 매우 합리적이고 타당한 지적이다. 그래서 빅데이터가 강조되면 될수록, 데이터를 수집하는 능력보다 데이터를 잘 버리는 능력, 다시 말해 의미 없는 노이즈 데이터(소음)을 걸러내고, 진짜로 가치 있는 ‘신호’들만 포착하는 역량이 중요해진다.

‘신호와 소음’의 저자 네이트 실버는 책 제목 그대로 신호와 소음을 걸러내는 데 있어서 최근 몇 년 사이에 놀라운 성공케이스를 만들어낸 사람이다. 그가 지난 2003년에 컨설팅 업무 중 소일거리로 만든 통계예측 프로그램 ‘페코타(PECOTA)’는 그 어떤 전문가들의 예측보다 정확하게 메이저리그 야구 선수들의 성과를 예측해 냈으며, 2008년에 개설한 블로그 ‘파이브서티에잇(538)’에 게재된 선거결과 예측은 그 누구의 예측보다 정확했다. 그는 2008년 미 대선 당시 50개 주 중 인디애나 주를 제외한 49개 주의 결과를 정확히 예측했고, 총선에서 상원 당선자 35명 전원을 맞췄다. 2012년 대선에선 다른 유력 조사회사들이 박빙을 이야기할 때 오바마의 낙승을 단언했고 이 또한 보기 좋게 적중했다.

통계학을 전공하지도 않았던 그가 이러한 놀라운 예측을 선보일 수 있었던 비결은 ‘베이즈 정리’에 있다. 베이즈 정리는 쉽게 말해 모든 확률이 고정적이고 객관적으로 실재하는 것으로 간주하는 대신에, 확률 측정 과정의 시행 착오나 환경 변화로 인한 다양한 변화의 ‘개연성’을 열어놓고 확률을 계산하는 방법론이다. 대전제를 통한 연역, 연역에서 도출된 가설로 데이터를 수집해 귀납, 귀납을 통해 나온 새로운 대전제로 다시금 연역, 새로운 전제와 가설을 바탕으로 다시금 귀납하는 이러한 접근법은 인간의 예측력과 판단력, 그리고 측정장치와 감각의 한계를 어느 정도 인정하고 가는 겸손하고 유연한 접근이다. ‘참’이 ‘참’일 수 있는 것은 ‘참’을 전복할 또 다른 ‘참’이 나오기 전까지로 한정된다는 것이다.

권위에 대한 맹신, 감과 경험에 대한 과신은 빅데이터 시대에 실패하는 이들을 위한 왕도가 될 것이다. 취약한 권위와 과잉 대표된 경험의 ‘갑골문’을 대신할 수 있는 대안을 찾고 싶은 분들, 그리고 폭풍처럼 쏟아지는 데이터의 홍수 속에서 신호와 소음을 정확하게 분별해 가치 있는 예측을 뽑아내기 원하는 분들에게 이 책은 좋은 길잡이이자 무기가 될 것이다.

한국경제에 송고한 글 원문입니다. 기고문 링크는 아래에 :) http://www.hankyung.com/news/app/newsview.php?aid=2014070373431

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Google+ photo

Google+의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

%s에 연결하는 중