MEDI:GATE NEWS 거짓 뉴스처럼 혼란스럽게 만드는 거짓 양성(false positives)

기사입력시간 18.06.15 06:32최종 업데이트 18.06.15 06:32

사진=게티이미지뱅크 [메디게이트뉴스 배진건 칼럼니스트] 인터넷에서 거짓 뉴스 때문에 골머리를 앓는다. 가짜 뉴스인지 진짜 뉴스인지 판단하지 못하고 서성거리게 만들어 더 큰 문제를 일으킨다. 신약개발에서도 거짓 뉴스 같은 사례는 있다. 신약개발의 첫 단계인 스크린(screen)을 만들고 100만개의 화합물을 HTS(High Throughput Screen)으로 돌리고 Y축은 개수, X축은 억제 정도 결과를 얻으면 당연히 X축 0을 중심으로 억제(inhibition)의 정상분포 그래프를 만든다. 오른쪽으로 치우치는 작은 수의 히트들(Hits)이 나오기에 어떤 물질이 히트(Hit)인지 판단한다. 그러나 이런 정상적인 판단 외에도 눈에 보이지 않는 오판이 당존재하기 마련이다. 오판에는 두 가지 경우가 있을 수 있다. 거짓 양성(False Positive)과 거짓 음성(False Negative)이다. 거짓 양성은 히트라고 판단했는데 히트가 아닌 경우이고, 거짓 음성은 히트가 아니라는 결과가 나왔는데 실제로는 히트를 제대로 발견하지 못한 경우를 말한다. 당연히 두번째의 거짓 음성 경우가 첫번째의 거짓 양성 경우보다 훨씬 위험하다. 예를 들어 우리가 암세포를 판단하는 시스템을 만들 때, 거짓 양성은 처음에는 암이 존재한다고 염려되지만 곧 암이 아니라는 것을 알고 나면 기쁨이 찾아온다. 반면 거짓 음성은 암이 아니라고 우선 좋아하지만 시간이 지나 우리 몸에 암이 나타나면 검사에서 멀쩡했는데 왜 이런 일이 일어나는지에 대한 원망이 나온다. 이 때문에 거짓 음성에 대해 더 예민하게 알고리즘을 설계해야 한다. 어느 스크린이나 좋은 화합물이 히트로 발견되지 못하고 사장(四葬)될 위험성이 도사리고 있다. 그래서 이를 줄일 수 있는 방법을 생각해야 한다. 1997년에 쉐링 플라우(Schering-Plough)에서 근무할 때 GRB2-SH2 domain 저해제 스크린을 만들었다. 세포 밖의 성장 인자(growth factor)가 세포막의 성장 인자 수용체에 붙으면 GRB2-SH2 domain이 그 신호를 세포 안으로 라스(Ras)같은 단백질에 전달하는 매개체 역할을 했다. 여기를 차단시키면 신호전달이 중단돼 항암제를 만들 수 있다는 기본 생각이었다. 당시 HTS를 위해 많이 사용되는 섬광근접접촉법(Scintillation Proximity Assay, SPA) 형식으로 만들었다. SPA beads에 GST와 결합하는 프로테인 A가 달려있다. 다라서 GRB2-SH2 domain에 GST를 붙인 단백질을 만들고 서브스트레이트(substrate)로 GRB2-SH2 domain과 작용하는 phospho-Tyr 펩타이드를 만들어서 반응을 시키면 시그날(signal)이 올라가고 pY317이란 펩티드(peptide)가 콘트롤(control)로 사용돼 억제(inhibition)하면 0으로 내려가게 잘 만든 스크린이다. 스크린을 돌리고 난 후 SCH46891 계열의 화합물이 히트들로 발견됐다. 이 물질을 가지고 실험을 계속했는데, 시간 변화에 따른 반응을 보던 중 금요일 퇴근 전에 반응을 시킨 후 월요일 오전에 읽었는데 반응이 거의 일어나지 않았다. 뭐가 잘못됐는지 고민하는 중에 다시 플레이트(plate)를 집어넣었던 레코더를 여니 그 안은 검은 색이었다. 혹시 이 화합물의 억제 작용이 빛(light) 때문인가하는 엉뚱한 생각에 플레이트를 하나는 보통대로, 하나는 알루미늄 은박지를 두르고 실험을 진행했다. 실험실에서 보통대로 한 실험은 예전의 결과를 반복했는데 알루미늄 은박지를 두르고 실험한 플레이트에서는 SCH46891는 전혀 억제가 일어나지 않고 pY317 펩타이드는 예전과 거의 같은 IC50 값을 보였다. 피블로퀴논(Pyrroloquinolone) 계열인 SCH46891의 GRB2-SH2 도메인 억제가 빛에 의해 생성된 일중항산소(singlet oxygen)생성 때문에 거짓 양성이 생긴 것일까 하는 가설을 세웠다. 이를 증명하기 위한 여러 실험을 진행했다. 환원제인 DTT나 일중항산소 스캔비저(singlet oxygen scavenger)인 아지드화 나트륨(sodium azide)에 반응하는 웰(well)에 넣으면 형광등이 켜진 실험실 조건에서도 반응 억제가 일어나지 않았다. 결국 SCH46891가 Protein A와 anti-GST Ab 결합을 억제하는 곳을 밝히고 “Compounds Capable of Generating Singlet Oxygen Represent a Source of Artifactual Data in Scintillation Proximity Assays Measuring Phosphopeptide Binding to SH2 Domains” 이란 제목의 논문을 1999년에 Analytical Biochemistry에 발표했다. 1999년 당시의 문제는 S-P연구소 대표(President)인 피케트(Pickett) 박사가 필자에게 부정적인 결과를 도출해낸 이 연구를 케닐워스(Kenilworth)에 100만 sq2 연구소 건물을 새로 짓고 외부 손님들과 초청된 교수님들을 모신 개소기념 강연에서 25분동안 발표하라는 명령이었다. 과학적인 결과 때문이 아니라 이런 거짓 양성이 연구소에서 많이 일어나는데 그냥 넘어가는 경우가 많기 때문에 경종을 울리라는 것이다. 그래서 필자도 발표 슬라이드를 만들고 SCH46891의 스크린 자료를 뒤져봤다. 다른 화합물보다 여러 다른 스크린에 자주 히트들로 등장하고 두세번은 연구를 계속 상당히 진행했지만, 여러 사람들이 시간만 소비한 흔적들이 보였다. 거짓 뉴스(Fake news)처럼 연구를 혼란스럽게 만드는 거짓 양성(false positives)의 위험성을 이런 흔적들을 통해 알 수 있었다. 한편으로는 그냥 이런 사실을 모른체 계속 진행하면 연구팀도 커지고 승진할 기회가 더 많았던 것이 아닌가하는 엉뚱한 생각도 들었다. 이런 혼란뿐만 아니라 더 큰 문제는 제약회사에 소위 100만개의 화합물 은행이 존재한다면 ~25%는 SCH46891처럼 공액이중결합(conjugated double bonds)이 구조 안에 여러 개 존재한다. 따라서 연구실의 자연스러운 형광등 불빛 아래에서 실험을 진행할 때 플레이트에서 일중화산소(Singlet Oxygen)가 만들어지고 여기서 만들어진 것이 어떤 결과를 오류로 빠뜨리게 하는지 잘 모르게 된다. 그리고 실험결과만을 히트들로 간주하는 일이 너무 흔하다는 것에 주의해야 한다. 그래서 필자는 당시 강의제목을 ‘Turn Off the Lights, 불을 끄세요’로 잡았다. "불을 끄고 실험을 한번만 더해보세요. 이런 거짓 양성을 잡아낼 것입니다."

제보 공유

거짓 뉴스처럼 혼란스럽게 만드는 거짓 양성(false positives)

[칼럼] 배진건 퍼스트바이오 테라퓨틱스 상임고문

"불을 끄고 실험을 한번만 더해보세요. 거짓 양성을 잡아낼 것입니다."

[메디게이트뉴스 배진건 칼럼니스트] 인터넷에서 거짓 뉴스 때문에 골머리를 앓는다. 가짜 뉴스인지 진짜 뉴스인지 판단하지 못하고 서성거리게 만들어 더 큰 문제를 일으킨다. 신약개발에서도 거짓 뉴스 같은 사례는 있다. 신약개발의 첫 단계인 스크린(screen)을 만들고 100만개의 화합물을 HTS(High Throughput Screen)으로 돌리고 Y축은 개수, X축은 억제 정도 결과를 얻으면 당연히 X축 0을 중심으로 억제(inhibition)의 정상분포 그래프를 만든다. 오른쪽으로 치우치는 작은 수의 히트들(Hits)이 나오기에 어떤 물질이 히트(Hit)인지 판단한다. 그러나 이런 정상적인 판단 외에도 눈에 보이지 않는 오판이 당존재하기 마련이다.

오판에는 두 가지 경우가 있을 수 있다. 거짓 양성(False Positive)과 거짓 음성(False Negative)이다. 거짓 양성은 히트라고 판단했는데 히트가 아닌 경우이고, 거짓 음성은 히트가 아니라는 결과가 나왔는데 실제로는 히트를 제대로 발견하지 못한 경우를 말한다. 당연히 두번째의 거짓 음성 경우가 첫번째의 거짓 양성 경우보다 훨씬 위험하다.

예를 들어 우리가 암세포를 판단하는 시스템을 만들 때, 거짓 양성은 처음에는 암이 존재한다고 염려되지만 곧 암이 아니라는 것을 알고 나면 기쁨이 찾아온다. 반면 거짓 음성은 암이 아니라고 우선 좋아하지만 시간이 지나 우리 몸에 암이 나타나면 검사에서 멀쩡했는데 왜 이런 일이 일어나는지에 대한 원망이 나온다.

이 때문에 거짓 음성에 대해 더 예민하게 알고리즘을 설계해야 한다. 어느 스크린이나 좋은 화합물이 히트로 발견되지 못하고 사장(四葬)될 위험성이 도사리고 있다. 그래서 이를 줄일 수 있는 방법을 생각해야 한다.

1997년에 쉐링 플라우(Schering-Plough)에서 근무할 때 GRB2-SH2 domain 저해제 스크린을 만들었다. 세포 밖의 성장 인자(growth factor)가 세포막의 성장 인자 수용체에 붙으면 GRB2-SH2 domain이 그 신호를 세포 안으로 라스(Ras)같은 단백질에 전달하는 매개체 역할을 했다. 여기를 차단시키면 신호전달이 중단돼 항암제를 만들 수 있다는 기본 생각이었다.

당시 HTS를 위해 많이 사용되는 섬광근접접촉법(Scintillation Proximity Assay, SPA) 형식으로 만들었다. SPA beads에 GST와 결합하는 프로테인 A가 달려있다. 다라서 GRB2-SH2 domain에 GST를 붙인 단백질을 만들고 서브스트레이트(substrate)로 GRB2-SH2 domain과 작용하는 phospho-Tyr 펩타이드를 만들어서 반응을 시키면 시그날(signal)이 올라가고 pY317이란 펩티드(peptide)가 콘트롤(control)로 사용돼 억제(inhibition)하면 0으로 내려가게 잘 만든 스크린이다.

스크린을 돌리고 난 후 SCH46891 계열의 화합물이 히트들로 발견됐다. 이 물질을 가지고 실험을 계속했는데, 시간 변화에 따른 반응을 보던 중 금요일 퇴근 전에 반응을 시킨 후 월요일 오전에 읽었는데 반응이 거의 일어나지 않았다. 뭐가 잘못됐는지 고민하는 중에 다시 플레이트(plate)를 집어넣었던 레코더를 여니 그 안은 검은 색이었다.

혹시 이 화합물의 억제 작용이 빛(light) 때문인가하는 엉뚱한 생각에 플레이트를 하나는 보통대로, 하나는 알루미늄 은박지를 두르고 실험을 진행했다. 실험실에서 보통대로 한 실험은 예전의 결과를 반복했는데 알루미늄 은박지를 두르고 실험한 플레이트에서는 SCH46891는 전혀 억제가 일어나지 않고 pY317 펩타이드는 예전과 거의 같은 IC50 값을 보였다.

피블로퀴논(Pyrroloquinolone) 계열인 SCH46891의 GRB2-SH2 도메인 억제가 빛에 의해 생성된 일중항산소(singlet oxygen)생성 때문에 거짓 양성이 생긴 것일까 하는 가설을 세웠다. 이를 증명하기 위한 여러 실험을 진행했다. 환원제인 DTT나 일중항산소 스캔비저(singlet oxygen scavenger)인 아지드화 나트륨(sodium azide)에 반응하는 웰(well)에 넣으면 형광등이 켜진 실험실 조건에서도 반응 억제가 일어나지 않았다. 결국 SCH46891가 Protein A와 anti-GST Ab 결합을 억제하는 곳을 밝히고 “Compounds Capable of Generating Singlet Oxygen Represent a Source of Artifactual Data in Scintillation Proximity Assays Measuring Phosphopeptide Binding to SH2 Domains” 이란 제목의 논문을 1999년에 Analytical Biochemistry에 발표했다.

1999년 당시의 문제는 S-P연구소 대표(President)인 피케트(Pickett) 박사가 필자에게 부정적인 결과를 도출해낸 이 연구를 케닐워스(Kenilworth)에 100만 sq2 연구소 건물을 새로 짓고 외부 손님들과 초청된 교수님들을 모신 개소기념 강연에서 25분동안 발표하라는 명령이었다. 과학적인 결과 때문이 아니라 이런 거짓 양성이 연구소에서 많이 일어나는데 그냥 넘어가는 경우가 많기 때문에 경종을 울리라는 것이다.

그래서 필자도 발표 슬라이드를 만들고 SCH46891의 스크린 자료를 뒤져봤다. 다른 화합물보다 여러 다른 스크린에 자주 히트들로 등장하고 두세번은 연구를 계속 상당히 진행했지만, 여러 사람들이 시간만 소비한 흔적들이 보였다. 거짓 뉴스(Fake news)처럼 연구를 혼란스럽게 만드는 거짓 양성(false positives)의 위험성을 이런 흔적들을 통해 알 수 있었다. 한편으로는 그냥 이런 사실을 모른체 계속 진행하면 연구팀도 커지고 승진할 기회가 더 많았던 것이 아닌가하는 엉뚱한 생각도 들었다.

이런 혼란뿐만 아니라 더 큰 문제는 제약회사에 소위 100만개의 화합물 은행이 존재한다면 ~25%는 SCH46891처럼 공액이중결합(conjugated double bonds)이 구조 안에 여러 개 존재한다. 따라서 연구실의 자연스러운 형광등 불빛 아래에서 실험을 진행할 때 플레이트에서 일중화산소(Singlet Oxygen)가 만들어지고 여기서 만들어진 것이 어떤 결과를 오류로 빠뜨리게 하는지 잘 모르게 된다. 그리고 실험결과만을 히트들로 간주하는 일이 너무 흔하다는 것에 주의해야 한다. 그래서 필자는 당시 강의제목을 ‘Turn Off the Lights, 불을 끄세요’로 잡았다.

"불을 끄고 실험을 한번만 더해보세요. 이런 거짓 양성을 잡아낼 것입니다."

오탈자 신고 스크랩 인쇄 제보 공유

메디게이트뉴스 (news@medigatenews.com)

이 기자의 다른 기사 보기

댓글보기(0)