從診斷試驗角度看AI醫療軟件臨床評價

發布日期：2020-11-11 閱讀次數：918 作者：廣州奧咨達醫療器械技術股份有限公司 招仲恒 來源：中國醫藥報

摘要：

       隨著５Ｇ和云計算技術的不斷發展，深度學習輔助決策軟件（以下簡稱ＡＩ軟件）得到越來越廣泛的應用。ＡＩ軟件在影像數據的輔助評閱上有很大的應用潛力，其處理速度快、病灶識別靈敏度高，對閱片經驗不足的臨床醫生的工作能起到很好的輔助作用。
       ２０１９年７月，國家藥品監督管理局醫療器械技術審評中心發布全球首個關于人工智能醫療器械的技術審評要點——《深度學習輔助決策醫療器械軟件審評要點》（以下簡稱《審評要點》），并于今年先后批準了多款ＡＩ軟件產品。雖然我國在ＡＩ軟件上已經進行了一定程度的探索性應用，但目前暫無具有病灶定位功能的影像輔助決策軟件獲批上市，如何對該類軟件進行臨床評價值得探討。
與傳統診斷試驗類似
       根據《審評要點》，申請ＡＩ軟件注冊應提交基于臨床試驗的臨床評價資料。從臨床試驗角度出發，ＡＩ軟件的臨床試驗本質上是診斷試驗，因此，在試驗設計上與傳統診斷試驗具有相似特征。如今年８月獲批的“糖尿病視網膜病變眼底圖像輔助診斷軟件”用于糖尿病視網膜病變的診斷，其主要指標為靈敏度和特異度，而評價結果為簡單的二分類變量，即“患病”或“未患病”，臨床試驗設計特征與傳統診斷試驗基本一致。
       若ＡＩ軟件針對的疾病不涉及病灶的定位要求，其臨床試驗設計較為簡單，采用傳統診斷試驗設計即可。若ＡＩ軟件針對的疾病具有病灶定位要求（如ＣＴ影像中對肺結節的識別及定位、內鏡影像下對息肉的識別及定位等），則其臨床試驗與傳統診斷試驗設計存在一定差別，包括靈敏度的定義、ＲＯＣ曲線的繪制、非完美金標準的校正等。如何合理地評價具有病灶定位功能的ＡＩ軟件產品的性能及臨床價值，是此類臨床試驗的重點與難點。
回顧性研究可作為重要參考
       是否能采用回顧性研究進行ＡＩ軟件臨床試驗是大部分申請人關注的重點之一。回顧性研究是基于現有的評價數據對ＡＩ軟件的診斷性能進行評價，這種試驗設計具有實施容易、成本低廉、試驗時間短等優點。因此，回顧性研究是注冊申請人最感興趣的臨床研究設計方式。
       產品是否能進行回顧性研究應優先根據其風險級別進行選擇。根據《審評要點》要求，對于安全級別為Ｂ、Ａ級的中低風險ＡＩ軟件，回顧性研究可用作預實驗或替代臨床試驗，而安全級別為Ｃ級的高風險ＡＩ軟件，回顧性研究可作為預實驗，為臨床試驗設計提供參考依據。對于大部分具有病灶定位要求的ＡＩ軟件，其安全級別為Ｃ級。
       除法規上的考量外，在臨床試驗方法學上，回顧性研究還存在一些難以避免的嚴重偏倚。因此，采用回顧性研究必須有嚴格的偏倚控制措施。
       一般來說，由于回顧性研究存在固有缺陷，不推薦對ＡＩ軟件采用回顧性研究進行臨床評價，但回顧性研究在產品性能評價和為臨床試驗作參考時具有重要價值。
       境外申請人通常較為關注是否能采用境外ＡＩ軟件臨床試驗數據進行注冊申報。對于這個問題，《審評要點》有明確說明。其中，進口ＡＩ軟件的研發和驗證應當優先考慮人種及流行病學特征，一般來說，臨床影像在人種上的差異可能較小，境外申請人應優先關注流行病學方面的問題。包括相關疾病的流行病特征（如發病率、不同疾病類型的分布等）、疾病診斷差別（如臨床診斷指南的差異等）、不同國家和地區的醫療水平（如影像設備的水平差別）等。對于擬采用境外數據進行申報的申請人，在提交境外數據之前應考慮上述流行病學差異問題，并在提交資料前積極與國家藥監局醫療器械技術審評中心溝通。
優先考慮前瞻性研究
       鑒于回顧性研究存在諸多難以控制的試驗偏倚，ＡＩ軟件的臨床試驗應優先考慮前瞻性研究，尤其是具有病灶定位能力的ＡＩ軟件產品。
       按照《審評要點》要求，ＡＩ軟件的臨床試驗應基于軟件預期用途、使用場景和核心功能進行試驗設計。雖然不同的ＡＩ軟件針對的疾病類型各不相同，但其試驗設計和統計方法類似。
       根據《審評要點》，入排標準應基于目標疾病的流行病學特征，保證陽性樣本和陰性樣本選取的合理性和充分性。在實際入選患者時，可結合產品的特點選擇具有特定特征的患者樣本。如針對肺結節識別的ＡＩ軟件，可選擇需進行肺結節篩查的高危人群。
       采用該方法入選的病例具有很好的樣本代表性，但該方法入組時間較長，成本較高；另一種比較折中的入選病例方法是有針對性地入選患者，由研究者根據患者體征、癥狀等綜合判斷其是否應該接受影像檢查，該方法較有針對性，也是診斷試驗中比較流行的一種做法，但為進一步避免選擇偏倚，在實施這種入組方法時應在試驗方案中對每一種疾病類型／嚴重程度的樣本量比例進行規定。
       在評價指標方面，根據《審評要點》的要求，原則上選擇靈敏度、特異度、ＲＯＣ／ＡＵＣ等作為主要評價指標。對于用于病灶定位的ＡＩ軟件，其靈敏度應在病灶水平上進行統計。當臨床試驗選擇用戶結合軟件聯合決策與用戶單獨決策進行優效對照設計時，可選用ＲＯＣ／ＡＵＣ作為主要評價指標。此時，研究者需要在沒有ＡＩ軟件輔助的時候單獨找出影像上的病灶，并對這些病灶進行５級把握度評分（肯定不是病灶、可能不是病灶、無法確定、可能是病灶、肯定是病灶），然后再在有ＡＩ軟件輔助的情形下，重新按上述方法進行病灶評價。需要注意的是，采用此種方法進行評價時應注意閱片的隨機順序，以避免研究者的記憶偏倚。如有可能，建議可在兩次閱片之間設置一定的洗脫期。
       診斷正確應定義為在正確的位置上識別出正確的病灶。以閱片數據中對每個病灶的５級評分作為截斷值，即可建立相應的ＲＯＣ曲線。常見的曲線繪制方法有定位ＲＯＣ曲線法（ＬＲＯＣ）、因變量自由ＲＯＣ曲線法（ＦＲＯＣ）及感興趣區域ＲＯＣ曲線法（ＲＯＩＲＯＣ）等。
        ＬＲＯＣ要求研究者對圖像上某處至少一個病灶進行把握度評級，然后選出最有可能是病灶的區域，對于同一影像中的多個病灶，多出來的病灶不多加分。因此，該方法比較適用于患者病灶數目不超過１的情況。對于每例患者病灶數目超過１的情況，可采用ＦＲＯＣ進行評價。此時，曲線的縱坐標為靈敏度（正確定位的病灶比例），橫坐標為每個個體的平均假陽性數。ＲＯＩ－ＲＯＣ將檢測區域分為有臨床意義的ＲＯＩ，如肺結節檢測時的五段肺葉、乳腺癌檢測時的左右乳房等，要求研究者識別并定位所有疑似病灶，并對這些病灶進行把握度評分，然后將上述評分進行ＲＯＩ映射。若真實病灶被判定為“疑似”，則該處得分就是該ＲＯＩ的得分；若真實病灶檢測出錯，則此時的ＲＯＩ得分為最低把握度。以上述ＲＯＩ的不同分級為截斷值即可構建ＲＯＣ曲線，然后采用３級或４級作為截斷值即可構建出相應的靈敏度及特異度指標，對ＡＩ軟件的診斷性能作出綜合評價。
       實際進行病灶定位類ＡＩ軟件臨床試驗時，試驗方案中應有全面的偏倚控制考慮，包括操作偏倚、評價偏倚等。臨床試驗結果的評價應優先采用第三方獨立評價的方式。同時，在統計上也應對聚類數據、不完美金標準等進行數學上的校正，以科學、合理地評價產品臨床性能。