달력

5

« 2024/5 »

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
통계적으로 무의미한 데이터를 가지고 통계적인 의미를 뽑아내는 경우

뉴스자료를 보면 통계자료에 근거한 많은 정보가 들어있다. 그런데 그 내용을 해석함에 있어서 전문적인 지식이 없다 보니 엉뚱하게 해석하는 경우가 종종 있다. 즉, 거의 의미 없는 내용을 (쓰는 사람도 모르고 썼을 가능성이 있다) 굳게 맹신하는 경우가 있는가 하면, 반대로 중요한 내용을 무시하는 경우도 많다. 이런 내용에 대해서 잠깐 이야기를 해 볼까 한다.

먼저 통계수치가 의미가 있으려면 그 결과과 랜덤 테스트(Random Test)에 의한 결과여야 한다. 그러나 랜덤 테스트라는 것이 말처럼 쉬운 것이 아니기 때문에 여러 가지 오차를 줄이기 위한 기술이 연구되어 왔고 그런 기술이 사용된다. 자 일단 아주 간단한 예를 들어 보자.

서울 대학병원의 폐암 환자를 조사한 결과 70%의 환자가 흡연자로 드러났다. 그러므로 담배는 폐암의 원인이다.

이 말은 어처구니 없을 정도로 아무 정보도 담고 있지 않다. 이 말을 통해 알 수 있는 것은 오직 '서울 대학병원에 입원한 폐암 환자의 70%가 흡연자'이다라는 것, 그것 뿐이다. 예를 들어 서울이라는 도시에 사는 인구의 평균 흡연율이 70%라면 폐암 환자의 70%가 흡연자라는 것이 의미하는 바는 '아~ 이사람들도 일반적인 서울 인구와 같은 통계적 특성을 가지고 있구나'라는 것 외에 아무 것도 없다.

이런 연구를 의미있기 만들기 위해서는 예를 들어 다음과 같은 테스트를 해야 한다. 서울에 사는 비흡연가 중에 '무작위'로 1,000명을 선택해서 그 중에 '무작위'로 500명은 흡연을 시키고 나머지는 담배를 피우지 못하게 한 다음에 폐암 발생율을 조사해야 한다. 물론 이런 실험은 여러 가지 이유에서 불가능하다. 더구나 위와 같이 했다손 치더라도 그것은 서울 사람들에게만 해당하는 통계자료가 된다. 전 세계적으로 통하게 만들려면 그 1,000명을 전 세계에서 택해야 한다. 물론 사람이 많으면 많을 수록 '신뢰도'가 높아지는 것은 당연하다.

자 아주 피부에 와 닿는 예를 하나 더 들어보자.

운동을 하는 사람이 건강하다.

이거 정말 민감한 이야기가 될 수도 있다. 운동을 하는 사람이 건강한가? 아무도 모른다. 이것을 가능하게 하기 위해서는 역시 랜덤 테스트가 필요한다. 전 세계에서 무작위로 몇명을 선택해서 그 중 무작위로 다시 몇 명을 추려 규칙적인 운동을 시키고 나머지는 운동을 못 하게 한 다음에 그 이후 인생을 조사해야 대답이 가능하다. 왜냐하면 '건강한 사람이 운동하길 좋아한다'라는 결론도 가능하기 때문이다.
다만 이 경우 조금 다른 방식의 테스트가 가능한데, 건강한 사람과 건강하지 않은 사람들의 운동 상태를 조사해서 통계적으로 의미가 있는 차이가 발견된다면 어쨌든 '운동이 건강과 관계가 있다는 증거가 있다'라는 정도는 말 할 수 있다. 그러나 자세히 살펴보면 그 관계라는 것이 운동해서 건강해진다는 관계인지 건강해서 운동한다는 관계인지는 알 수 없다. 그러함에도 불구하고 건강한 사람이 운동을 한다면 억지로 운동을 해서 건강한 척이라도 하고 싶을 수도 있고, 아무래도 상식적으로 생각 할 때에 운동하면 건강해 질 것 같고 (슬프게도 운동해서 건강을 해친다는 연구도 생각보다 많다), 더구나 운동과 건강 사이에 관계가 있다는 증거도 있으니, 나는 운동하면 건강해 진다고 믿겠다라고 한다면 그것도 감히 '과학적이지 않다'라고 말 할 수는 없다. 모두가 인정 또는 인정 가능한 가설이 있는 경우 완벽하지 않은 증거를 통해 특별한 결과를 도출하는 것은 충분히 가능한 일이다. 이런 것을 관찰연구(Observational Study)라고 한다.

우리나라의 교육열에 일조한 다음 문장을 보자.

강남 8학군에서 서울대를 많이 들어갑니다.

이 사실 때문에 한 때 (지금도 그럴 지도 모르지만) 그 동네 땅 값이 오르고 거기로 전학만 가면 서울대 가는 줄 아는 사람들이 있었다. 예를 들어 전교생의 1/3이 서울대에 들어가는 고등학교로 내 자식을 전학 시키면 서울대 갈 확률이 1/3이 되는 줄 아는 비범한 부모들이 상당히 많다. 심지어 그 중에는 공부를 많이 한 부모들도 있는데, 참 웃기는 것이 통계적인 데이터는 배운 사람들도 쉽게 속일 수 있다는 것이다. 사실상 강남 8학군에 서울대를 갈 만큼 공부를 잘 하는 학생이 많았기 때문에 결과가 그렇게 났었던 것 뿐이다.

통계 데이터의 해석을 엉뚱하게 하는 경우

여기까지는 통계적으로 의미 없는 사실에서 잘못된 추론을 하는 예를 들어 보았다. 예를 들자면 끝이 없고 '과학'면의 기사들을 지금 당장 검색해도 어처구니 없는 자료와 그에 대한 해석은 수도 없이 찾을 수 있다. 그러나 섣불리 그런 것들을 건드렸다가 어떤 일을 당할 지 몰라 실제 기사를 이용한 글을 쓰지 않으려 한다.

다음으로 통계수치에는 문제가 없는데 그것의 해석과 적용에 문제가 있는 것들에 대해 이야기를 해 보겠다. 일단 간단한 예를 들어보자. 우리가 알고 있기로 자동차의 타이밍 벨트를 교체하면 6~8만 마일을 간다고 알고 있다. 그러면 그 권장 마일리지를 넘어가면 타이밍 벨트가 끊어질까? 나는 실험을 해 보지는 않았지만 두배 이상은 갈 거라고 생각한다. 그러고 보니 두 배 정도를 탔던 적은 있다. 그러면 여기에서 분명히 음모론을 끄집어 내는 사람이 있을 것이다. 또는 그런 경향을 띤 사람을 적어도 한 둘은 알고 있을 것이다. 그런데 그것은 죄송하지만 무식해서 하는 소리다.
만약 일정 수준의 퀄리티 콘드롤을 합격한 타이밍 벨트들의 수명을 도표로 그리면 가우시안 곡선을 그릴 것이다. 그 가우시안의 가장 높은 위치의 마일리지가 타이밍 벨트들의 평균 수명이 될 것이다. 그러면 타이밍 벨트의 교체시기를 정할 때에 그 평균값을 이용해야 한다고 생각하는가? 절대로 그러면 안된다. 만약 그래야 한다는 생각을 가진 사람이 있다면 당신의 타이밍 벨트가 교체시기가 되기 전에 끊어질 확률이 50%인데 그래도 타겠냐라고 질문을 하고 싶다. 즉, 다시 말해, 교체시기를 정할 때에는 나름의 판단 기준이 필요하다. 내가 장담하는데 타이밍 벨트들의 평균 수명은 6~8만 마일보다 훨씬 길 것이다.
그러면 왜 그 보다 짧게 정하는가. 여기서 부터 비용(Cost)의 문제가 붙는다. 아직 쓸만한 타이밍 벨트를 교체하는 데에 들어가는 비용은 대충 수백불에서 일천불이 넘어가기도 한다. 쓸만하다고 믿고 타다가 끊어졌을 때의 비용은 아마 폐차일 것이다. 엔진을 교체한다고 하면 수천불은 그냥 날아갈 것이다. 더구나 돈 만으로 끝나지 않을 가능성이 높다. 사고로 연결될 가능성이 상당히 높다. 즉, 이 경우에 비용의 차이가 너무 크다. 즉, 문제 없으리라고 믿고 타다가 문제가 생겼을 경우 지불해야 하는 비용이 쓸만한 타이밍 벨트를 교체 했을 경우 지불해야 하는 비용에 비해서 몇 배 또는 계산 불가능 할 정도로 높다. 이럴 경우 절대 평균 수명을 교체 시기로 정할 수는 없게 된다.
아직도 문제는 끝나지 않았다. 그런 이유로 수명을 1만마일이라고 제조자가 말한다면 어떤 문제가 생기겠나? 99.99999999%의 타이밍 벨트가 1만마일만에 끊어지진 않는다고 하자. 결국 쓸데없는 낭비가 너무 심하게 된다. 이런 상황 하에서 즉, 너무 짧게 하면 낭비가 심하고 실질 평균 수명에 가깝게 하면 사람이 죽을 수도 있는 상황 하에서 절충선이 6~8만마일이라고 보는 것이 타당하다.

하나만 더 보자. 美 고혈압 기준 국내 적용 '성인 50%만 혈압 정상'이라는 기사가 있었다. 이 글의 요지는 고혈압이 기존 140부터 였는데 미국 NIH에서 이 기준을 120으로 바꾸자는 내용이었다. 그런데 이 글을 보면서 역시 음모론을 들고 나오는 사람이 있었다. 그런데 이 역시 음모론으로 몰고 가면 안된다. 난 관계인이 아니기 때문에 정확히 어떤 기준에서 정해졌는 지는 모르겠다. 그런데 적어도 '온 국민의 50%를 비정상으로 만드는 기준이 정상적인 기준일까요?'라고 감정적으로 말하면 안된다. 이런 감정적인 유도에 사람들이 쉽게 넘어가고는 하기 때문이다. 특히나 말하는 사람이 어느 정도 사람들이 믿을 만한 뒷 배경을 가지고 있다면, 공부를 많이 했다든지 또는 의사라면, 그 파급 효과가 상당히 커지게 된다.
이 문제 역시 고혈압이 아닌 사람을 고혈압 환자로 판단했을 때의 비용과 고혈압인데 아니라고 판단했을 때의 비용의 차이가 기준점의 선택 이유가 된다. 참고로 개인마다 고혈압의 판단 기준은 달라 질 수 있다. 즉, 어떤 사람은 혈압이 100만 되도 고혈압의 위험에 노출되기도 하고 어떤 사람은 160이어도 고혈압의 위험과는 관계 없는 사람일 수도 있다. 만약 NIH의 연구 결과 거의 모든 질병의 원인이 고혈압이라면 좀 그 기준점을 당길 수도 있는 문제이다.
이 부분에 전문적인 지식이 없는 사람은 혹 질문을 할 수는 있겠다. 그런데 전문적인 지식을 가지고 있을 것 같은 사람이 음모론을 제기하면 안된다. 파급효과를 생각해야 하며, 그렇게 해서 문제가 생길 시에 비용이 종종 왕왕 생명이 되는 경우가 있다. 그러니 당신이 공부좀 한 사람이라면 특히 입조심을 하라고 말하고 싶다.

미국에서는 애들 예방접종을 하지 않으려고 하는 사람들이 있다. 예방접종 때문에 죽는 아이들이 있기 때문이란다. 더구나 그에 대한 음모론을 주장하는 사람들 중에 의사들도 상당수 끼어 있다. 역시 난 이쪽 분야에 있지 않기 때문에 사실 관계는 잘 모르겠다. 그런데 거의 확실히 (앞에서는 장담한다는 표현을 했음을 기억해 주기 바란다. 즉, 그 보다는 자신이 없다.) 말하건데 예방 주사를 맞히지 않아서 아이에게 문제가 생길 확률이 맞혀서 생길 확률보다 훨씬 클 것이다.

마지막으로 이런 배경 지식을 근거로 제발 허위 과학(Pseudo Science)를 믿지 말기를 권한다. 누군가 말한다. 난 웃기만 했더니 암이 낳았어요. 난 쓴 뿌리만 골라서 갈아 마셨더니 암이 다 나았어요. 그런데 항암치료 받던 내 친구는 얼마전에 죽었어요. 특히 대체의학 쪽에 이런 이야기가 상당히 많다. 항상 예외라는 것이 존재한다. 선전되는 것은 그 예외들이다. 그 예외에 속하지 않은 사람은 조용하다. 실망했든가 죽었든가 둘 중 하나이기 때문이다. 주변에 보면 정말 간단하게 엄청난 질병을 고친 사람들을 심심치 않게 찾을 수 있다. 심지어 마치 독립투사인 양 그것의 전파를 위해 '운동' 비스무리한 것을 하는 사람들도 있다. 만약 그들의 방법이 정말 성공적이라면 그들은 분명히 노벨의학상을 받을 것이고 큰 병원들은 전부 문을 닫아야 할 것이다. 그런 허위 과학에 속아 치료시기를 놓지는 우는 절대 범하지 말아야 한다.

통계는 생각보다 배우기 어렵다. 그런데 통계적인 사고방식은 생각보다 쉽게 배울 수 있다. 모든 일은 확률 놀음이다. 따라서 어느 정도 통계적인 사고 방식을 가질 필요가 있으며, 통계적으로 의미 없는 유혹에서 자유로워 질 필요가 있다. 이 글이 거기에 도움이 되기를 바란다.


:
Posted by ToBeStable