Hướng dẫn phân tích Đường cong R.O.C trong chẩn đoán sử dụng Medcalc, SPSS và R

Hướng dẫn phân tích Đường cong R.O.C trong chẩn đoán sử dụng Medcalc, SPSS và R

Phân tích đường biểu diễn R.O.C trong nghiên cứu y học sử dụng Medcalc
PGS. TS. Lê Đình Vấn

Một học viên cao học nghiên cứu về nồng độ α feto protein máu của bệnh nhân bị ung thư gan và các bệnh gan khác (xơ gan…)với kết quả như sau

Nhóm bệnh (1: ung thư, 0: không ung thư) α feto protein Nhóm bệnh (1: ung thư, 0: không ung thư) α feto protein Nhóm bệnh (1: ung thư, 0: không ung thư) α feto protein
1 209.5 1 720 0 40
1 397 1 185 0 145
1 295 1 2220 0 95
1 506.5 1 815 0 370
1 1114.5 1 545 0 430
1 276 1 470 0 140
1 408 1 675 0 205
1 2340 1 1615 0 170
1 279 1 420 0 114.5
1 182 1 715 0 67.5
1 1615 1 1575 0 72
1 605 1 485 0 295
1 112.5 1 1705 0 320
1 322 1 180 0 170
1 114 1 1445 0 420
1 1282.5 1 835 0 330
1 624.5 1 175 0 75
1 243 1 230 0 55
1 171 1 745 0 190
1 165 1 1860 0 230
1 485 1 1775 0 85
1 215.5 1 565 0 210
1 2181 1 753 0 100
1 745 1 650 0 225
1 1820 1 105 0 355
1 350 1 620 0 329
1 305 1 1570 0 310
1 810 1 1010 0 354.5
1 730 1 1225 0 109
1 305 1 170 0 80
1 580 1 80 0 183
1 425 0 148.5 0 325
1 525 0 30.5 0 150
1 1290 0 11 0 198
1 810 0 171 0 322
1 385 0 47.5 0 160
1 640 0 185 0 290
1 215 0 55 0 125
1 385 0 45 0 120
1 605 0 615 0 315
1 1465 0 155 0 310
1 590 0 365 0 210
1 1680 0 0 0 140
1 460 0 0 0 0
1 1085 0 5 0 315
1 455 0 510 0 5
1 395 0 10 0 570
1 185 0 195 0 430
1 310 0 545 0 130
1 480 0 255 0 410
1 800 0 145 0 35
0 210 0 210 0 5

Từ kết quả xét nghiệm trên, học viên đã đưa ra lần lượt các ngưỡng kết luận dương tính của bệnh ung thư gan dựa vào α feto protein là 365/ml và 325/ml có kết quả cụ thể như sau

                                                   

Chọn ngưỡng kết luận dương tính Khi α feto protein ≥ 365

 

Đối tượng Tổng
Không ung thư Ung thư
CRP Dương 9 57 66
Âm 65 25 90
Tổng 74 82 156
Độ nhạy (Se)       =  57/82 = 69,5%Độ đặc hiệu (Sp) =  65/74 = 87,8%

 

Chọn ngưỡng kết luận dương tính α feto protein ≥ 325

 

Đối tượng Tổng
Không ung thư Ung thư
CRP Dương 14 58 72
Âm 60 24 84
Tổng 74 82 156
Độ nhạy (Se) = 58/82= 70,7%Độ đặc hiệu (Sp) = 60/74 = 81,1%

 

Từ kết quả của hai bảng 2 và 3 cho thấy nếu ngưỡng kết luận α feto protein ≥ 365 thì chẩn đoán đúng được (dương thật) là 57 trường hợp trên 82 người bị bệnh và chẩn đoán lầm 9 người xét nghiệm dương tính trên 74 người lành, nhưng với ngưỡng kết luận α feto protein ≥ 325 thì độ nhạy có tăng lên chút ít nhưng khả năng chẩn đoán lầm tăng lên rất nhiều là 14 người. Như vậy khi tăng ngưỡng kết luận dương tính càng lớn thì độ nhạy càng giảm nhưng độ đặc hiệu càng tăng và ngược lại.

Trong ví dụ trên, rõ ràng chọn ngưỡng α feto protein ≥ 365 là tốt hơn α feto protein ≥ 325. ( Se = 69, 5% và Sp = 87,8% so cới Se = 70,7% và Sp = 81,1%).

Tuy nhiên vấn đề đặt ra ở đây là nếu chọn ngưỡng α feto protein = 385 hay α feto protein ≥ 35 5, hay một ngưỡng khác nữa…thì độ nhạy và độ đặc hiệu của các ngưỡng này thế nào?

Vấn đề đặt ra là lấy ngưỡng nào có thể chấp nhận được. Đây là vấn đề mà người nghiên cứu phải giải quyết. Biện pháp tốt nhất để chọn ngưỡng kết luận đó là dựa vào phân tích đường biểu diễn R.O.C

Trong nghiên cứu y học, có rất nhiều loại xét nghiệm mà kết quả của nó là một số thực  hay nói cách khác là biến số định lượng như nghiên cứu trên ví dụ như nồng độ glucose máu, nồng độ CRP trong nhồi máu cơ tim, CE 125, Ca 19 -9…các giá trị của một tập hợp bệnh nhân là một chuỗi số, ngưỡng kết luận dương tính của các biến số này tốt nhất là bao nhiêu?

Nếu ngưỡng này quá cao thì dễ bỏ sót những ngường bị bệnh nhưng lại ít chẩn đoán lầm, thấp quá thì ngược lại. Giải quyết câu hỏi trên cần  phải sử dụng R.O.C curve analyse.

R.O.C là chữ viết tắt của receiver operator characteristic, là phương pháp phân tích được các nhà quân sự nghiên cứu đưa ra vào thế chiến 2. Sau Trận Trân Châu Cảng, bộ chỉ huy Hải quân của Mỹ đã tiến hành biện pháp nghiên cứu khả năng phát hiện thăm dò của radar, để báo động thế nào cho tốt nhất, không báo động sớm quá sẽ lãng phí, không trể quá vì nguy hiểm.

Sau đó phân tích R.O.C curve đã được ứng dụng nhiều trong lĩnh vực dân sự, đặc biệt là thương mãi và y học.

Đường biểu diễn R.O.C là đường biểu diễn của các điểm có tọa độ tương ứng x = dương tính giả và y là độ nhạy hay dương thật của xét nghiệm của các ngưỡng kết luận từ thấp đến cao

 

Từ ví dụ trên, độ nhạy và tỷ lệ dương tính giả của các ngưỡng kết luận tùy ý.

Ngưỡng kết luận Độ nhạy (Se) Tỷ lệ dương tính giả( 1 – Sp) Ngưỡng kết luận Độ nhạy (Se) Tỷ lệ dương tính giả( 1 – Sp) Ngưỡng kết luận Độ nhạy (Se) Tỷ lệ dương tính giả( 1 – Sp)
0 1 1 196.5 0.854 0.432 535 0.512 0.041
2.5 1 0.959 201.5 0.854 0.419 555 0.5 0.027
7.5 1 0.919 207.5 0.854 0.405 567.5 0.488 0.027
10.5 1 0.905 212.5 0.841 0.351 575 0.488 0.014
21 1 0.892 215.5 0.829 0.351 585 0.476 0.014
33 1 0.878 220.5 0.817 0.351 597.5 0.463 0.014
37.5 1 0.865 227.5 0.817 0.338 610 0.439 0.014
42.5 1 0.851 236.5 0.805 0.324 617.5 0.439 0
46.5 1 0.838 249 0.793 0.324 622.5 0.427 0
51.5 1 0.824 265.5 0.793 0.311 632.5 0.415 0
61.5 1 0.797 277.5 0.78 0.311 645 0.402 0
70 1 0.784 284.5 0.768 0.311 662.5 0.39 0
73.5 1 0.77 292.5 0.768 0.297 695 0.378 0
77.5 1 0.757 300 0.756 0.284 717.5 0.366 0
82.5 0.988 0.743 307.5 0.732 0.284 725 0.354 0
90 0.988 0.73 312.5 0.72 0.257 737.5 0.341 0
97.5 0.988 0.716 317.5 0.72 0.23 749 0.317 0
102.5 0.988 0.703 321 0.72 0.216 776.5 0.305 0
107 0.976 0.703 323.5 0.707 0.203 805 0.293 0
111 0.976 0.689 327 0.707 0.189 812.5 0.268 0
113.5 0.963 0.689 329.5 0.707 0.176 825 0.256 0
114.5 0.951 0.689 340 0.707 0.162 922.5 0.244 0
117.5 0.951 0.676 352.5 0.695 0.162 1047.5 0.232 0
122.5 0.951 0.662 360 0.695 0.135 1100 0.22 0
127.5 0.951 0.649 367.5 0.695 0.122 1170 0.207 0
135 0.951 0.635 377.5 0.695 0.108 1254 0.195 0
142.5 0.951 0.608 390 0.671 0.108 1286.5 0.183 0
147 0.951 0.581 396 0.659 0.108 1367.5 0.171 0
149.5 0.951 0.568 402.5 0.646 0.108 1455 0.159 0
152.5 0.951 0.554 409 0.634 0.108 1517.5 0.146 0
157.5 0.951 0.541 415 0.634 0.095 1572.5 0.134 0
162.5 0.951 0.527 422.5 0.622 0.081 1595 0.122 0
167.5 0.939 0.527 427.5 0.61 0.081 1647.5 0.098 0
170.5 0.927 0.5 442.5 0.61 0.054 1692.5 0.085 0
173 0.915 0.486 457.5 0.598 0.054 1740 0.073 0
177.5 0.902 0.486 465 0.585 0.054 1797.5 0.061 0
181 0.89 0.486 475 0.573 0.054 1840 0.049 0
182.5 0.878 0.486 482.5 0.561 0.054 2020.5 0.037 0
184 0.878 0.473 496 0.537 0.054 2200.5 0.024 0
187.5 0.854 0.459 508.5 0.524 0.054 2280 0.012 0
192.5 0.854 0.446 517.5 0.524 0.041 2341 0 0

Bảng trên có 123 ngưỡng kết luận của α feto protein từ 0 đến 2341. Đường biểu diễn của tọa độ các điểm đó theo Se và 1 – Sp được vẽ ở hình sau.
roc curve
R.O.C curve

Các nhà thống kê học đã nghiên cứu và đưa ra kết luận ngưỡng kết luận tốt nhất là ngưỡng khi tọa độ của ngưỡng đó nằm ở điểm uốn của đường biễu diễn (điểm này thường ngang mức giao điểm của đường biễu diễn và đường chéo nối góc trên trái đến góc dưới phải của hình vuông nếu đường trên đối xứng qua trục là đường chéo trên). Nếu không đối xứng chúng ta có thể đo trên biểu đồ và tham khảo bảng kết quả ở bảng 4.
Từ biểu đồ trên chúng ta thấy rằng điểm uốn nằm trong khoảng các điểm có tọa độ trục tung từ 67% đến 72%. Tham khảo bảng 4 chúng ta thấy trong các mức thì mức tốt nhất là nằm trong khoảng 377.5 ( Se = 69,5% và  1- Sp = 10,8% (sp = 89,2%).
Ở ví dụ trên số lượng của mẫu mới chỉ bằng 156, dù vậy nếu tính toán thủ công, thì chúng ta đã mất khá nhiều thời gian, khi n > 1000 thì thời gian sẽ mất rất nhiều.
May thay trong các phần mềm vi tính phổ biến hiện nay có phần mềm Medcalc và SPSS có cho phép phân tích R.O.C curve, nên công việc của chúng ta chỉ cần trong vòng 10-15 phút. Đặc biệt phần mềm Medcalc còn cho chúng ta biết giá trị tốt nhất của ngưỡng kết luận.
Cách sử dụng phần mềm Medcalc để phân tích R.O.C curve
Chạy chương trình chúng ta sẽ có màn hình của medcalc như sau:
h1
Hình 1: Màn hình chưa có dữ liệu

 

Nhập dữ liệu vào như hình 2:
h2
Hình 2: Màn hình saiu khi nhập dữ liệu

Thao tác như sau sẽ có hộp thoại (Hình 3)

Statistics/ROC curves /ROC curve analysis
h3
Hình 3

Nhập tên variable vào textbox variable và classification variable ta sẽ có hộp thoại như hình 4
h4
Hình 4
Nhấp nút OK  chúng ta sẽ có ba màn hình như hình 5, hình 6 và hình 7

– Hình 5 : đường biễu diễn ROC
– Hình 6 : tổ chức đồ của các tọa độ so với ngưỡng kết luận
– Hình 7 : màn hình mô tả các kết quả cụ thể
h5
Hình 5
h6
HÌnh 6
h7
Hình 7

Các kết quả ở hình 7 chúng ta cần chú ý các chi tiết sau:

– Area under the ROC curve = 0.855
Standard error           = 0.030
95% Confidence interval  = 0.790 to 0.906
Area under the ROC curve (AUC): diện tích nằm dưới đường biểu diễn (chương trình tính sẵn) cho chúng ta biết mức độ hiệu quả của xét nghiệm. Tùy theo diện tích mà hiệu quả như sau:

  • 0.90-1.00 =  Tốt (excellent)
  • 0.80-0.90 =  Khá (good)
  • 0.70-0.80 = Trung bình (fair)
  • 0.60-0.70 = Ít (poor)
  • < 0.60      =  Vô ích (worthless )

> 370 *      69.5 ( 58.4- 79.2)    89.2 ( 79.8- 95.2)    6.43    0.34

370 là ngưỡng kết luận tốt nhất nên chọn (tuy nhiên ngưỡng này có thể thêm bớt tùy mục đích xử dụng của thử nghiệm: tầm soát hay chẩn đoán)./.

**Mục đích của bài này là trình bày về việc xác định ngưỡng kết luận, Phân tích ROC curve  còn xử dụng xác định thêm được AUC, So sánh các test, xác định được dự đoán dương tính và âm tính đề nghị quý bạn tự nghiên cứu. Ngoài phần mềm Medcalc, còn có phần mềm SPSS cũng có thể xử dụng để Phân tích ROC curve.

Tài liệu tham khảo

  1. Tom Fawcett (2005). An introduction to ROC analysis. Institute for the Study of Learning and Expertise, 2164 Staunton Court, Palo Alto, CA 94306, USA. Available online 19 December 2005.
  2. David F. Penson (2006). Clinical Research Methods for Surgeons.© 2006 Humana Press Inc.
  3. Dawson, Beth; Trapp, Robert G (2004). Basic & Clinical Biostatistics, 4th Edition Copyright ©2004 McGraw-Hill.
  4. R. B. D’Agostino (2004). Tutorials in Biostatistics, Volume 1: Statistical Methods in Clinical Studies. Edited by Boston University, USA. Copyright © 2004 John Wiley & Sons Ltd.
  5. Alvan R. Feinstein (2002). Principles of Medical Statistics. Copyright ©2002 by Chapman & Hall/CRC