통계학 응용분야와 데이터마이닝

● 통계학의 응용(분야별)

① 의학, 약학, 보건학, 유전학 - 흡연과 폐암간의 연관성, 임상실험을 통한 신약의 평가 - 미국식품의약국 [Food and Drug Administration] FDA, 유전자 지도 ※ 생물통계학 (Biostatistics = Biology + Statistics) 정보사회의통계활용 - 3 - ② 경제학, 경영학 - 경제의 운영, 경제지표 분석 및 예측(예. 경제성장률 예측치(statistic), 환률/주가자 료 분석*), 위험관리(VAR), 마케팅, 고객관리(CRM), 보험통계, data mining** ③ 사회과학 (심리학, 교육학, 인구학 등) - IQ, EQ, 교육통계, 인구총조사(census), 여론조사(특히 선거여론조사), 사회통계분석 ④ 공학 - 통계적 품질관리, 신뢰성 이론(공정의 불량률), 통신 및 Web data 분석(인터넷 트래픽 측정 및 분석 등) ⑤ 기타 - 스포츠 통계(야구-타율, 축구 등), 영상분석(예. 버스 CCTV), 도박(확률과 통계), 인 터넷 사이트 접속 분석 등등

 

※ Data mining 대학의 마케팅 관련 수업에서 이런 얘기를 자주 듣게 된다. 미국의 대형 쇼핑몰에서 한가지 조사를 했다. ‘아기 기저귀와 함께 가장 잘 팔린 제품은 무엇일까’라는 것이다. 아기들이 먹는 분유나 우유, 장난감일까? 아니다. 기저귀의 가장 좋은 짝은 바로 맥주다. 아내의 부탁으로 기저귀를 사러 간 남편들이 지나가는 길에 맥주를 사기 때문이다. 실제로 미국의 쇼핑몰 회사인 월마트에서 맥주와 기저귀를 나란히 진열하자 맥주 매출이 크게 늘어났다고 한다. 수학의 한 분야인 ‘데이터마이닝’(Datamining)은 이처럼 다양한 사물들이 서로 맺고 있는 관계를 밝혀 내는 데 사용하는 기술이다. 데이터마이닝은 말 그대로 산더미 같은 데이터(Data)에서 금이나 은 같은 귀중한 것을 발굴하는(Mining) 것 이다. 데이터마이닝 기법을 통해 고급 테니스 라켓을 산 사람은 머지않아 골프채를 살 확률이 높다는 사실이 밝혀지기도 했다. 최근 1~2년간 신용카드 사업이 폭발적으로 성장하고 있다. 신용카드의 가장 큰 골칫거리는 도난이나 인터넷 해킹 문제다. 어떻게 신용카드 도둑을 잡을까? 도둑을 잡기 위해 우선 ‘도난 규칙’을 만든다. 이는 신용카드 로 갑자기 거액을 쓰거나 엉뚱한 장소에서 물건을 사는 행위들을 규정하는 것이다. 그러나 영악한 도둑에게 는 이런 규칙이 무용지물이다. 지금보다 훨씬 뛰어난 데이터마이닝 기술이 나오면 과거 정보를 이용해 ‘맥주 와 기저귀’처럼 전혀 생각하지도 못했던 도난 규칙들을 컴퓨터가 알아서 찾아낼 것이다. 이 규칙들을 이용하 면 영리한 신용카드 도둑도 바로 잡아낼 수 있다. 국내에서 데이터마이닝 기술이 신용카드 도둑 잡기에 처음 적용된 것은 1997년이었다. 한국외국어대 정보통 계학과 최대우 교수는 “데이터마이닝을 이용해 신용카드 도둑은 카드를 훔친 뒤 ‘연속적으로 6~7번 카드를 쓰되, 거래간의 시간 차이가 30분 정도, 사용 액수도 적당한 액수를 유지한다’는 사실을 발견했다”고 설명했 다. 이후 데이터마이닝 기법은 이동전화 업체, 은행, 보험사, 증권사 등에서 활발하게 이용되고 있다. (중략) 21세기 들어 데이터마이닝은 다양한 분야에서 활짝 꽃을 피우고 있다. 인간 DNA의 염기서열을 밝혀낸 인간 게놈 프로젝트는 그 자체로는 아무 쓸모가 없다. 방대한 염기서열 정보 안에 담긴 의미를 밝혀내야 유전자의 기능을 알 수 있고, 유전자간 관계를 찾아내야 결국 신약을 만들거나 생명의 신비를 밝혀낼 수 있다. 이때 필요한 것이 데이터마이닝이다. 요즘에는 지하자원을 찾을 때도 데이터마이닝이 이용된다. 항공기나 위성에서 찍은 지상사진, 산성도 등 그 지역을 조사해 얻은 지질화학 정보, 중력과 자기력 등 물리학적 정보 등을 종합해 금이나 은, 석유 등이 묻 어 있는 곳을 찾아낸다. 항공사진에서 갈라진 틈이 발견되고 중력 등이 주변 지역과 다르면 금광을 찾아낼 확률이 높은 것이다. 앞으로 소비자를 대상으로 한 기업들은 데이터마이닝을 어떻게 활용하느냐에 따라 성패가 갈릴 것이다. 현재 나오는 수많은 서비스나 광고가 ‘스팸메일’로 치부되지 않으려면 데이터마이닝을 통해 고객의 성향을 정확히 파악해야 한다.