데이터 마이닝에 대한 경계

▶ 최근 30년 간 부동산 시장을 살펴보니 10년 마다 한 번씩 크게 오르고 내리는 모습을 보였다. 그리고 올해가 딱 10년 전에 크게 오른 해다. 지금이야말로 부동산 투자를 해야 할 때다!

 

▶ 외국인과 기관이 10일 연속으로 사들인 주식을 사서 기다리면 시장 평균을 초과하는 수익을 얻는 모습이 나타났다. 외국인과 기관이 10일 연속으로 사들였던 종목을 무조건 사라!

 

데이터 마이닝(Data Mining)이 무엇인지 예시로 간단하 제기하자면 위와 같다. 즉, '과거에 XX한 모습을 보였으니, 미래에도 이것이 그대로 적용될 것이다' 같은 상관관계를 말한다. 데이터 마이닝을 하는 목적은 무언가를 입증하는 것이 아니라, 단지 방대한 데이터를 이용해 원하는 상관관계를 찾아내는 것이 전부다.

 

방대한 데이터의 유사성을 살펴 보고 있노라면, 마치 원하는 결과를 얻을 수 있는 절대 조건을 찾은 느낌이 들게 만들기도 한다. 그러나 데이터 마이닝을 통한 전략은 이론을 바탕으로 검증이 이뤄진 것이 아니고, 단지 이전에 있었던 사건을 바탕으로 만들어 낸 이론이기에 불안한 점이 많다는 점에서 경계할 필요가 있다. 과거에 잘 먹혀들었던 전략이라고 미래에도 그대로 잘 작동해 사람들에게 원하는 결과를 정확하게 가져다 준다는 보장은 절대 할 수 없다.

 

특히 상관관계를 이루고 있는 것이 어떠한 이유에서 그렇게 상관관계가 갖춰지게 되었는지, 왜 앞으로도 비슷한 모습을 갖춰질 것인가에 대한 구체적이고 논리적인 이유를 댈 수 없다면 그것은 신기루에 불과해 언제든지 사라질 가능성이 존재한다.

 

최근에는 '빅데이터'라는 것을 통해 수많은 정보를 분석해 사람들에게 시도때도 없이 무언가를 제시하는 경우가 많은데, 이것이 제대로 된 것인지 아닌지 검증도 없이 그저 과거에 유사한 모습을 보였다는 이유로 믿으면 나 역시 신기루에 갇혀 함께 사라질지 모른다는 것을 항상 경계해야 할 것이다.