건강법이나 영양제가 진짜 효과 있는지 어떻게 확인할까요
핵심은 누군가의 후기나 내 느낌이 아니라 그 주장 뒤의 실험이 어떻게 설계됐는지를 보는 것입니다. 어떤 주장이 과학적 근거를 갖췄는지 가리는 출발점은 대조군, 무작위배정, 이중맹검이라는 세 장치가 있었는지 확인하는 일인데요. 근거중심의학(Evidence-Based Medicine)은 일화 한 건보다 수십 개의 임상시험을 종합한 메타분석(meta-analysis)을 훨씬 높은 근거로 인정합니다. 실제로 무작위대조시험에서 가짜약을 받은 대조군의 30~40%가 증상 호전을 보고할 만큼 플라시보 효과는 강력해서, 대조군 없이 "먹었더니 나았다"로 나온 효과는 착시일 가능성이 큽니다. 과학적 근거를 판단하려면 결과의 크기보다 결과가 만들어진 방법을 먼저 읽어야 합니다.
목차
- 영양제 후기에 속았던 어느 겨울 이야기
- 왜 똑똑한 사람도 가짜 효과에 속을까요
- 실험 설계의 3대 장치: 대조군·무작위배정·이중맹검
- 근거 위계 피라미드: 일화부터 메타분석까지
- 상관관계와 인과관계, 그리고 재현성 위기
- 근거를 스스로 판단하는 4단계 체크리스트
- 자주 묻는 질문
- 같이 읽으면 좋은 것들
영양제 후기에 속았던 어느 겨울 이야기
몇 해 전 겨울, 저는 환절기마다 감기를 달고 사는 편이었는데요. 지인이 특정 비타민 조합을 먹고 그해 겨울을 감기 없이 났다며 강하게 권했습니다. 후기 게시판을 보니 "3일 만에 목이 편해졌다", "면역이 달라졌다" 같은 글이 수백 개였습니다. 저도 반신반의하며 두 달을 먹었고, 실제로 그 겨울엔 크게 앓지 않았습니다. 한동안 저는 그 영양제 덕분이라고 믿었어요.
그런데 이듬해 같은 제품을 먹었는데도 독한 감기에 2주를 앓았습니다. 그제야 이상했습니다. 같은 약, 같은 몸인데 결과가 정반대였으니까요. 곰곰이 따져보니 첫해엔 재택근무로 사람을 덜 만났고, 손을 유난히 자주 씻던 시기였습니다. 영양제가 아니라 생활 습관이 감기를 줄였을 가능성이 컸던 거죠. 무엇보다 저에겐 "먹지 않은 나"라는 비교 대상, 즉 대조군이 없었습니다.
이 경험의 교훈은 분명합니다. 개인의 체험담은 아무리 생생해도 그 자체로는 인과의 증거가 되기 어렵다는 것입니다. 우리 몸은 가만히 둬도 대부분의 급성 질환이 자연히 낫고(자연 경과), 좋아질 거라 기대하면 실제로 증상을 덜 느끼기도 합니다(플라시보). 이 두 가지가 겹치면 아무 효과 없는 것도 "효과가있다"고 느끼게 만드는데요. 과학이 번거로운 실험 설계를 발명한 이유가 여기에 있습니다.
왜 똑똑한 사람도 가짜 효과에 속을까요
한 줄로 요약하면, 인간의 직관은 원래 인과관계를 과잉으로 찾아내도록 진화했기 때문입니다. 건강 정보 시장을 떠올려 보면 이 문제가 더 선명해집니다. 매일 새로운 슈퍼푸드, 디톡스, 체질 개선법이 쏟아지는데, 이들 대부분은 잘 통제된 시험이 아니라 후기와 사례를 근거로 팔립니다. 후기는 성공한 사람만 글을 남기고 실패한 사람은 조용히 사라지는 구조라, 처음부터 한쪽으로 기울어 있습니다. 이걸 생존 편향이라고 부르는데요.
여기에 몇 가지 인지 특성이 더해집니다. 첫째는 확증편향입니다. 효과를 기대하면 좋아진 신호만 눈에 들어오고 그렇지 않은 날은 잊힙니다. 둘째는 자연 경과와 평균으로의 회귀입니다. 사람들은 대개 증상이 가장 심할 때 무언가를 시도하는데, 원래 그 뒤엔 나아지는 게 통계적으로 자연스럽습니다. 그 회복을 시도한 방법의 공으로 돌리기 쉽죠. 셋째는 앞서 말한 플라시보 효과입니다. 기대 자체가 통증과 피로 같은 주관적 증상을 실제로 완화시킵니다.
일화가 데이터를 이기지 못하는 이유
기존의 판매 방식은 강렬한 한 사람의 이야기에 기댑니다. "말기였던 제가 이걸로 나았습니다" 같은 서사는 통계표보다 훨씬 설득력 있게 들리는데요. 하지만 한 명의 극적인 회복은, 수천 명 중 우연히 좋아진 사례를 골라 보여준 것일 수도 있습니다. 반대로 근거중심의학은 개인의 드라마 대신 집단의 확률을 봅니다. 100명에게 주고 100명에게 안 줬을 때 어느 쪽이 더 좋아졌는지를 숫자로 비교하는 것이죠.
이 관점 차이가 유사과학과 과학을 가르는 핵심입니다. 유사과학은 유리한 사례만 골라 담지만, 과학은 스스로를 틀릴 수 있는 형태로 검증대에 올립니다. 이 기준을 더 파고들고 싶다면 유사과학 구별법 쉽게 이해하기 글을 보시길 권합니다. 반증가능성과 체리피킹을 알아두면 오늘 이야기의 절반은 이미 이해한 셈입니다.
실험 설계의 3대 장치: 대조군·무작위배정·이중맹검
과학이 "우연히 좋아진 것"과 "정말 효과가 있는 것"을 구분하려고 만든 장치는 크게 세 가지입니다. 이 셋이 갖춰졌는지만 확인해도 어떤 주장을 얼마나 믿을지 판단할수 있습니다.
대조군: 비교 대상이 있어야 효과가 보인다
대조군(control group)은 검증하려는 처치를 받지 않는 비교 집단입니다. 신약을 먹는 실험군과 가짜약(위약, placebo)을 먹는 대조군을 나란히 두는 이유는, 병이 저절로 낫거나 플라시보로 좋아지는 몫을 걷어내기 위해서입니다. 과학적 제어에 관한 위키백과 설명에 따르면, 자연 치유나 플라시보·노시보 효과는 실험군과 대조군 모두에서 똑같이 일어나므로, 두 집단의 차이만큼이 처치의 순수한 효과가 됩니다. 대조군이 없으면 이 순수 효과를 아예 계산할 수 없습니다.
무작위배정: 숨은 차이를 흩어놓는다
두 집단을 만들 때 누구를 어느 쪽에 넣느냐를 사람이 정하면 편향이 끼어듭니다. 예컨대 상태가 나은 사람을 무의식적으로 실험군에 몰아넣으면 약이 좋아 보이겠죠. 무작위배정(randomization)은 동전 던지기처럼 순전히 우연으로 집단을 나누는 방법입니다. 임상연구 설계를 다룬 의료 매체 기사의 설명처럼, 무작위배정은 나이·중증도·생활습관 같은 측정하지 못한 변수까지 두 집단에 골고루 흩어 놓습니다. 그래서 실험이 끝났을 때 남는 차이를 처치 덕분이라고 말할 수 있게 됩니다.
이중맹검: 기대가 결과를 물들이지 못하게
이중맹검(double-blind)은 참가자도, 처치를 주고 결과를 재는 연구자도 누가 진짜 약을 받았는지 모르게 하는 설계입니다. 참가자가 모르게 하면 환자의 기대가 결과를 부풀리는 걸 막고, 연구자가 모르게 하면 연구자가 은근히 실험군을 더 챙기거나 호전을 후하게 평가하는 걸 막습니다. 기대라는 오염원을 양쪽에서 차단하는 것이죠. 잘 설계된 임상시험을 흔히 "무작위배정 이중맹검 위약 대조 시험"이라 부르는데, 세 장치가 한 문장에 모두 담긴 표현입니다.
| 장치 | 막아 주는 편향 | 없으면 생기는 일 |
|---|---|---|
| 대조군 | 자연 경과·플라시보 | 저절로 나은 걸 효과로 착각 |
| 무작위배정 | 선택 편향·교란변수 | 처음부터 유리한 집단이 배정됨 |
| 이중맹검 | 기대·관찰자 편향 | 기대가 결과를 부풀리거나 왜곡 |
근거 위계 피라미드: 일화부터 메타분석까지
모든 근거가 같은 무게를 갖는 건 아닙니다. 근거중심의학은 연구 방법에 따라 신뢰도에 등급을 매기는데, 이걸 근거 위계(evidence hierarchy) 또는 근거 피라미드라고 부릅니다. 아래로 갈수록 흔하지만 약하고, 위로 갈수록 드물지만 강한 근거입니다.
피라미드의 가장 아래에는 전문가 의견과 개인 경험담이 있습니다. 그 위가 여러 사례를 모은 증례 보고, 다시 그 위가 관찰연구(코호트·환자대조군)입니다. 관찰연구는 대규모 데이터를 다루지만 교란변수를 완전히 통제하기 어렵다는 한계가 있는데요. 그 위가 앞서 본 무작위대조시험(RCT)이고, 맨 꼭대기가 여러 RCT를 체계적으로 모아 통합한 체계적 문헌고찰(systematic review)과 메타분석입니다.
체계적 고찰과 메타분석을 정리한 학술 자료에 따르면, 잘 수행된 무작위 임상연구들을 종합·분석한 메타분석은 근거중심 진료 지침에서 가장 높은 수준의 근거로 인정됩니다. 개별 연구는 표본이 작아 흔들릴 수 있지만, 수십 개를 합치면 표본 수가 커지고 우연의 영향이 줄어들어 결론이 안정되기 때문입니다.
| 수준 | 연구 유형 | 특징 |
|---|---|---|
| 최상 | 체계적 문헌고찰·메타분석 | 여러 RCT 통합, 우연·편향에 강함 |
| 상 | 무작위대조시험(RCT) | 인과 추론에 가장 적합한 단일 연구 |
| 중 | 코호트·환자대조군 | 대규모지만 교란변수 통제 한계 |
| 하 | 증례 보고·전문가 의견 | 가설 제시엔 유용, 인과 증거는 약함 |
주의할 점은 위계가 절대적 서열이 아니라는 것입니다. 조잡한 RCT보다 잘 설계된 코호트가 더 믿을 만할 때도 있어요. 위계는 설계의 질을 확인하라는 지도에 가깝습니다.
상관관계와 인과관계, 그리고 재현성 위기
과학 뉴스를 읽을 때 가장 자주 걸려 넘어지는 함정이 상관관계를 인과관계로 착각하는 것입니다. 두 값이 같이 움직인다고 해서 하나가 다른 하나의 원인인 건 아닙니다. 이 차이를 알아야합니다.
아이스크림과 익사, 그리고 교란변수
여름이 되면 아이스크림 판매량과 익사 사고가 함께 늘어납니다. 그렇다고 아이스크림이 익사를 부르는 건 당연히 아니죠. 둘 뒤에는 "더운 날씨"라는 공통 원인이 숨어 있습니다. 날씨가 아이스크림 소비도 늘리고, 물놀이도 늘려 익사 위험을 함께 끌어올리는 것입니다. 영어 위키백과의 교란변수(Confounding) 항목은 이처럼 노출과 결과 모두에 영향을 주면서 둘 사이에 가짜 상관을 만드는 제3의 변수를 교란변수로 정의합니다. 무작위로 집단을 나누면 이런 숨은 교란변수까지 양쪽에 고르게 퍼져, 관찰연구에 남는 가짜 상관을 상당 부분 걷어낼 수 있습니다.
숫자에 속지 않으려면 기본적인 통계 감각도 필요합니다. 표본이 얼마나 큰지, 측정에 오차가 얼마나 붙는지, 절대 위험과 상대 위험이 어떻게 다른지를 알면 과장된 헤드라인을 걸러내기 쉬워집니다. 이런 숫자 감각을 기르는 방법은 생활 속 수학과 측정의 원리 글에서 측정 불확도와 함께 자세히 다루고 있습니다.
p값과 재현성 위기
과학 논문은 흔히 결과가 우연일 확률을 나타내는 p값을 보고합니다. 관행적으로 p가 0.05보다 작으면 "통계적으로 유의하다"고 말하는데요. 문제는 이 0.05라는 선이 절대적 진리가 아니라 관습적 약속이라는 점입니다. p-해킹을 다룬 통계 해설이 지적하듯, 연구자가 분석 방법을 이리저리 바꿔 가며 유의한 결과가 나올 때까지 시도하면, 실제로는 아무 효과가 없어도 0.05 문턱을 넘길 수 있습니다. 이것이 이른바 p-해킹입니다.
이런 관행이 쌓이면서 최근 심리학과 생명과학에서는 유명한 연구를 다시 해봤을 때 같은 결과가 안 나오는 재현성 위기(replication crisis)가 불거졌습니다. 한 번 유의하게 나온 결과가 진짜인지 아닌지는, 다른 연구팀이 독립적으로 반복해도 같은 결과가 나오는지로 판가름 납니다. 그래서 단일 논문의 놀라운 발표는 재현되기 전까지 잠정적 결과로 두는 태도가 건강한데요. "한 연구에서 밝혀졌다"는 문장을 보면 "아직 한 번뿐이구나"로 읽는 습관이 과학적 회의주의의 출발점입니다.
근거를 스스로 판단하는 4단계 체크리스트
전문 지식이 없어도 아래 네 단계만 순서대로 물어보면 웬만한 건강·과학 주장의 신뢰도를 가늠할수 있습니다. 초보자도 오늘부터 바로 써볼 수 있는 방법입니다.
- 1단계, 비교가 있었나: 대조군 없이 "먹었더니 좋아졌다"만 있다면 일화입니다. "안 먹은 집단과 비교했더니"가 있어야 근거의 자격을 갖춥니다.
- 2단계, 눈을 가렸나: 무작위배정과 이중맹검이 있었는지 봅니다. 없으면 기대와 편향이 결과를 물들였을 수 있습니다.
- 3단계, 한 번인가 여러 번인가: 단일 연구인지, 여러 연구를 모은 체계적 문헌고찰인지 확인합니다. 재현된 결과일수록 믿을 만합니다.
- 4단계, 누가 돈을 댔나: 이해관계를 봅니다. 제품을 파는 곳이 스스로 낸 자료라면 한 단계 더 의심하는 게 안전합니다.
이 네 질문을 던지는 습관을 들이면, 과장 광고와 진짜 근거를 나누는 감각이 붙습니다. 여기서 한발 더 나아가 직접 데이터를 모으고 검증에 참여해 보고 싶다면 시민과학 프로젝트 참여 방법을 읽어 보세요. 과학의 방법을 글로만 아는 것과 직접 관찰·기록해 보는 것은 이해의 깊이가 다릅니다.
물론 모든 주장을 논문까지 뒤져 검증할 순 없습니다. 다만 큰돈이 들거나 건강에 직접 영향을 주는 선택 앞에서는 이 체크리스트를 꺼내 보는 것만으로도 후회를 크게 줄일 수 잇습니다. 근거를 판단하는 힘은 특별한 재능이 아니라, "그래서 비교는 했나요"라고 한 번 더 되묻는 작은 습관에서 자랍니다.