深度學(xué)習輔助決策醫療器械軟件審評要點(diǎn)

一、適用范圍

本審評要點(diǎn)適用于深度學(xué)習輔助決策醫療器械軟件（含獨立軟件、軟件組件）的注冊申報。深度學(xué)習輔助決策醫療器械軟件（以下簡(jiǎn)稱(chēng)軟件）即基于醫療器械數據（醫療器械所生成的醫學(xué)圖像、醫學(xué)數據，以下統稱(chēng)數據），使用深度學(xué)習技術(shù)進(jìn)行輔助決策的軟件。其中，“基于醫療器械數據”是指單獨使用醫療器械數據，或者聯(lián)合使用醫療器械數據與非醫療器械數據；“輔助決策”是指通過(guò)提供診療活動(dòng)建議輔助醫務(wù)人員進(jìn)行臨床決策。

使用深度學(xué)習技術(shù)進(jìn)行前處理（如成像質(zhì)量改善、成像速度提升、圖像重建）、流程優(yōu)化（如一鍵操作）、常規后處理（如圖像分割、數據測量）等非輔助決策的軟件可參考使用本審評要點(diǎn)。使用傳統機器學(xué)習技術(shù)的軟件亦可參考使用本審評要點(diǎn)。

本審評要點(diǎn)遵循《醫療器械軟件注冊技術(shù)審查指導原則》（以下簡(jiǎn)稱(chēng)軟件指導原則）、《醫療器械網(wǎng)絡(luò )安全注冊技術(shù)審查指導原則》（以下簡(jiǎn)稱(chēng)網(wǎng)絡(luò )安全指導原則）、《移動(dòng)醫療器械注冊技術(shù)審查指導原則》（以下簡(jiǎn)稱(chēng)移動(dòng)器械指導原則）等相關(guān)指導原則要求。

本審評要點(diǎn)不含人工智能倫理、數據產(chǎn)權等法律法規層面要求，但生產(chǎn)企業(yè)應當在軟件全生命周期過(guò)程中考慮相關(guān)規定。

二、審評關(guān)注重點(diǎn)

從發(fā)展驅動(dòng)要素角度講，深度學(xué)習實(shí)為基于海量數據和高算力的黑盒算法。本審評要點(diǎn)重點(diǎn)關(guān)注軟件的數據質(zhì)量控制、算法泛化能力、臨床使用風(fēng)險，臨床使用風(fēng)險應當考慮數據質(zhì)量控制、算法泛化能力的直接影響，以及算力所用計算資源（即運行環(huán)境）失效的間接影響。

基于風(fēng)險的全生命周期管理是此類(lèi)軟件監管的基本方法，相關(guān)考量詳見(jiàn)軟件指導原則、網(wǎng)絡(luò )安全指導原則、移動(dòng)器械指導原則以及醫療器械生產(chǎn)質(zhì)量管理規范獨立軟件附錄。下面結合審評關(guān)注重點(diǎn)分別闡述軟件風(fēng)險管理、軟件設計開(kāi)發(fā)、軟件更新等方面考量。

軟件風(fēng)險管理活動(dòng)應當基于軟件的預期用途（目標疾病、臨床用途、重要程度、緊迫程度）、使用場(chǎng)景（適用人群、目標用戶(hù)、使用場(chǎng)所、臨床流程）、核心功能（處理對象、數據兼容性、功能類(lèi)型）予以實(shí)施，并貫穿于軟件全生命周期過(guò)程。軟件臨床使用風(fēng)險主要包括假陰性和假陽(yáng)性，其中假陰性即漏診，可能導致后續診療活動(dòng)延誤，特別是要考慮快速進(jìn)展疾病的診療活動(dòng)延誤風(fēng)險；假陽(yáng)性即誤診，可能導致后續不必要的診療活動(dòng)。進(jìn)口軟件除考慮假陽(yáng)性和假陰性風(fēng)險外，還應當考慮中外人種、流行病學(xué)特征、臨床診療規范等方面差異的影響及其風(fēng)險。生產(chǎn)企業(yè)應當采取充分的、適宜的、有效的風(fēng)險控制措施以保證軟件的安全性和有效性。

軟件典型設計開(kāi)發(fā)過(guò)程通?？煞譃樾枨蠓治?、數據收集、算法設計、驗證與確認等階段。

（一）需求分析

需求分析應當以軟件的臨床需求與使用風(fēng)險為導向，結合軟件的預期用途、使用場(chǎng)景和核心功能，綜合考慮法規、標準、用戶(hù)、產(chǎn)品、數據、功能、性能、接口、用戶(hù)界面、網(wǎng)絡(luò )安全、警示提示等方面需求，重點(diǎn)考慮數據收集、算法性能、臨床使用限制等方面要求。

數據收集應當考慮數據來(lái)源的合規性和多樣性、目標疾病流行病學(xué)特征、數據質(zhì)量控制要求（詳見(jiàn)下節）。數據來(lái)源應當在合規性基礎上保證數據多樣性，以提高算法泛化能力，如盡可能來(lái)自多家、不同地域、不同層級的代表性臨床機構，盡可能來(lái)自多種、不同采集參數的采集設備。目標疾病流行病學(xué)特征包括但不限于疾病構成（如分型、分級、分期）、人群分布（如健康、患者，性別、年齡、職業(yè)、地域、生活方式）、統計指標（如發(fā)病率、患病率、治愈率、死亡率、生存率）等情況，以及目標疾病并發(fā)癥與類(lèi)似疾病的影響情況。

算法性能應當考慮假陰性與假陽(yáng)性（指標、關(guān)系）、重復性與再現性、魯棒性/健壯性等要求。

臨床使用限制應當考慮臨床禁用、慎用等場(chǎng)景。

（二）數據收集

數據收集應當考慮數據采集、數據預處理、數據標注、數據集構建等活動(dòng)的質(zhì)控要求，以保證數據質(zhì)量和算法設計質(zhì)量。

1.數據采集

數據采集主要由臨床機構實(shí)施，應當考慮采集設備、采集過(guò)程以及數據脫敏的質(zhì)控要求。

采集設備質(zhì)控應當明確采集設備的兼容性要求和采集要求。兼容性要求應當基于數據生成方式（直接生成、間接生成）提供采集設備兼容性列表或技術(shù)要求，明確采集設備的制造商、型號規格、性能指標等要求，若對采集設備無(wú)具體要求應當提供相應支持資料。采集要求應當明確采集設備的采集方式（如常規成像、增強成像）、采集協(xié)議（如MRI成像序列）、采集參數（如CT加載電壓、加載電流、加載時(shí)間、層厚）、采集精度（如分辨率、采樣率）等要求。

采集過(guò)程質(zhì)控應當建立數據采集操作規范，明確采集人員要求和采集過(guò)程要求。采集人員要求包括人員的選拔、培訓、考核。采集過(guò)程要求包括人員職責、采集流程（如采集步驟、操作要求）。

若使用現有歷史數據，應當明確采集設備要求、數據采集質(zhì)量評估要求（如人員、方法、指標、通過(guò)準則）。

采集的數據應當進(jìn)行數據脫敏以保護患者隱私。數據脫敏應當明確脫敏的類(lèi)型（靜態(tài)、動(dòng)態(tài)）、規則、程度、方法。

2.數據預處理

脫敏數據由臨床機構轉移至生產(chǎn)企業(yè)形成原始數據庫，不同模態(tài)的數據在原始數據庫中應當加以區分（下同）。

數據預處理應當基于原始數據庫考慮數據處理、數據清洗的質(zhì)控要求。數據處理應當明確處理的方法，如濾波、增強、重采樣、尺寸裁剪、均一化等。數據清洗應當明確清洗的規則、方法。

數據處理和清洗應當明確選用軟件工具的名稱(chēng)、型號規格、完整版本、供應商、運行環(huán)境、確認等要求，同時(shí)考慮數據處理選用方法對軟件的影響及其風(fēng)險。

數據經(jīng)預處理后形成基礎數據庫，應當明確樣本類(lèi)型、樣本量、樣本分布等信息。樣本類(lèi)型以適用人群為單位可分為數據序列（由多個(gè)單一數據組成，如結構序列、功能序列、時(shí)間序列）、單一數據。樣本量應當明確樣本規模及確定依據，需要考慮樣本量不足對軟件的影響及其風(fēng)險。樣本分布應當依據疾病構成、適用人群、數據來(lái)源機構、采集設備、樣本類(lèi)型等因素明確數據分布情況，需要考慮數據偏性對軟件的影響及其風(fēng)險。

3.數據標注

數據標注應當考慮標注資源管理、標注過(guò)程質(zhì)控、標注質(zhì)量評估等要求。

標注資源管理包括人員管理和基礎設施管理。人員管理應當明確標注人員和仲裁人員的選拔（如職稱(chēng)、工作年限、工作經(jīng)驗、所在機構，若有國外人員應當明確其資質(zhì)要求）、培訓、考核（如方法、頻次、指標、通過(guò)準則，其中指標應當包括重復性、再現性）等要求?；A設施管理應當明確標注場(chǎng)所（真實(shí)或模擬，環(huán)境、照明條件）、標注軟件（名稱(chēng)、型號規格、完整版本、供應商、運行環(huán)境、確認）等要求。

標注過(guò)程質(zhì)控應當建立數據標注操作規范，明確標注人員（如資質(zhì)、數量、職責）、標注流程（如標注對象、標注形式、標注輪次、標注步驟、操作要求）、臨床診療規范（如臨床指南、專(zhuān)家共識）、分歧處理（如仲裁人員、仲裁方式）、可追溯性（如數據、操作）等要求。

標注質(zhì)量評估應當明確人員、方法、指標、通過(guò)準則等要求。

數據經(jīng)標注后形成標注數據庫，其樣本類(lèi)型可分為數據序列、單一數據（由多個(gè)數據塊組成）、數據塊（圖像區域、數據片段）。樣本量、樣本分布等要求及風(fēng)險考量與基礎數據庫相同。

4.數據集構建

基于標注數據庫構建訓練集（用于算法訓練）、調優(yōu)集[1]（若有，用于算法超參數調優(yōu)）、測試集（用于算法性能評估），明確訓練集、調優(yōu)集、測試集的劃分方法、劃分依據、數據分配比例。訓練集應當保證樣本分布具有均衡性，測試集、調優(yōu)集應當保證樣本分布符合臨床實(shí)際情況，訓練集、調優(yōu)集、測試集的樣本應當兩兩無(wú)交集。

為解決數據樣本分布不滿(mǎn)足預期目標的問(wèn)題，可對訓練集、調優(yōu)集小樣本量數據進(jìn)行擴增；測試集不宜進(jìn)行數據擴增，若擴增應當分析對軟件的影響及其風(fēng)險。數據擴增應當明確擴增的方式（離線(xiàn)、在線(xiàn)）、方法（如翻轉、旋轉、鏡像、平移、縮放、濾波等）、倍數，并考慮擴增方法選用以及擴增倍數過(guò)大對軟件的影響及其風(fēng)險。

數據經(jīng)擴增后形成擴增數據庫，應當列表對比擴增數據庫與標注數據庫在樣本量、樣本分布（注明擴增倍數）等方面的差異，以證實(shí)擴增數據庫樣本量的充分性以及樣本分布的合理性。

（三）算法設計

算法設計應當考慮算法選擇、算法訓練、網(wǎng)絡(luò )安全防護、算法性能評估等活動(dòng)的質(zhì)控要求。建議數據驅動(dòng)與知識驅動(dòng)相結合進(jìn)行算法設計，以提升算法可解釋性。

1.算法選擇

算法選擇應當明確所用算法的名稱(chēng)、結構（如層數、參數規模）、流程圖、現成框架（如Tensorflow、Caffe）、輸入與輸出、運行環(huán)境、算法來(lái)源依據（或注明原創(chuàng )）等信息。同時(shí)應當明確算法選擇與設計的原則、方法和風(fēng)險考量，如量化誤差、梯度消失、過(guò)擬合、白盒化等。

若使用遷移學(xué)習技術(shù)，除上述內容外還應當補充預訓練模型的數據集構建、驗證與確認等總結信息。

2.算法訓練

算法訓練需要基于訓練集、調優(yōu)集進(jìn)行訓練和調優(yōu)，應當明確評估指標、訓練方法、訓練目標、調優(yōu)方法、訓練數據量-評估指標曲線(xiàn)等要求。

評估指標建議根據臨床需求進(jìn)行選擇，如敏感性、特異性等。訓練方法包括但不限于留出法和交叉驗證法。訓練目標應當滿(mǎn)足臨床要求，提供ROC曲線(xiàn)等證據予以證實(shí)。調優(yōu)方法應當明確算法優(yōu)化策略和實(shí)現方法。訓練數據量-評估指標曲線(xiàn)應當能夠證實(shí)算法訓練的充分性和有效性。

3.網(wǎng)絡(luò )安全防護

網(wǎng)絡(luò )安全防護應當結合軟件的預期用途、使用場(chǎng)景和核心功能，基于保密性、完整性、可得性等網(wǎng)絡(luò )安全特性，確定軟件網(wǎng)絡(luò )安全能力建設要求，以應對網(wǎng)絡(luò )攻擊和數據竊取等網(wǎng)絡(luò )威脅。相關(guān)要求詳見(jiàn)網(wǎng)絡(luò )安全指導原則。

此類(lèi)軟件常見(jiàn)網(wǎng)絡(luò )威脅包括但不限于框架漏洞攻擊、數據污染，其中框架漏洞攻擊是指利用算法所用現成框架本身漏洞進(jìn)行網(wǎng)絡(luò )攻擊，數據污染是指通過(guò)污染輸入數據進(jìn)行網(wǎng)絡(luò )攻擊。

4.算法性能評估

算法性能評估作為軟件驗證的重要組成部分，需要基于測試集對算法設計結果進(jìn)行評估，應當明確假陰性與假陽(yáng)性、重復性與再現性、魯棒性/健壯性等評估要求，以證實(shí)算法性能滿(mǎn)足算法設計要求。

同時(shí)，應當分析算法性能影響因素及其影響程度，如采集設備、采集參數、疾病構成、病變特征等因素影響，以提升算法可解釋性，并作為軟件驗證、軟件確認的基礎。

（四）驗證與確認

1.軟件驗證

軟件驗證是指通過(guò)提供客觀(guān)證據認定軟件開(kāi)發(fā)、軟件更新某一階段的輸出滿(mǎn)足輸入要求，包括軟件驗證測試（單元測試、集成測試、系統測試）、設計評審等系列活動(dòng)。

軟件驗證應當明確法規、標準、用戶(hù)、產(chǎn)品、數據、功能、性能、接口、用戶(hù)界面、網(wǎng)絡(luò )安全、警示提示等測試要求，以驗證軟件的安全性和有效性，并作為軟件確認的基礎。

2.軟件確認

軟件確認是指通過(guò)提供客觀(guān)證據認定軟件滿(mǎn)足用戶(hù)需求和預期目的，包括軟件確認測試（用戶(hù)測試）、臨床評價(jià)、設計評審等系列活動(dòng)，其中軟件確認測試應當基于軟件需求在真實(shí)或模擬使用場(chǎng)景下予以實(shí)施。

（1）基本原則

臨床評價(jià)是此類(lèi)軟件進(jìn)行軟件確認的主要方式，相關(guān)要求詳見(jiàn)《醫療器械臨床評價(jià)技術(shù)指導原則》。根據軟件指導原則要求，軟件應當提交基于臨床試驗的臨床評價(jià)資料，即提交申報產(chǎn)品的臨床試驗資料，或者與申報產(chǎn)品核心算法具有實(shí)質(zhì)等同性的同品種產(chǎn)品或同類(lèi)軟件功能的臨床試驗資料。

進(jìn)口軟件應當提供中外人種、流行病學(xué)特征、臨床診療規范等方面差異影響的臨床評價(jià)資料，若不足以證實(shí)申報產(chǎn)品在中國使用的安全性和有效性，應當在中國開(kāi)展臨床試驗。使用境外臨床試驗數據應當滿(mǎn)足《接受醫療器械境外臨床試驗數據技術(shù)指導原則》要求。

（2）臨床試驗

臨床試驗應當符合《醫療器械臨床試驗質(zhì)量管理規范》要求?？蓞⒄铡夺t療器械臨床試驗設計指導原則》，基于軟件的預期用途、使用場(chǎng)景和核心功能進(jìn)行試驗設計，確定觀(guān)察指標、樣本量估計、入排標準、隨訪(fǎng)以及實(shí)施機構等要求，以確認軟件的安全性和有效性。

建議優(yōu)先選擇同品種產(chǎn)品或臨床參考標準（即臨床金標準）進(jìn)行非劣效對照設計，若無(wú)同品種產(chǎn)品且難以獲取臨床參考標準（如違背倫理學(xué)要求）可選擇替代方法，如選擇用戶(hù)結合軟件聯(lián)合決策與用戶(hù)單獨決策進(jìn)行優(yōu)效對照設計。非劣效界值或優(yōu)效界值的確定應當有充分的臨床依據。此外考慮到用戶(hù)的差異性，可選擇多閱片者多病例（MRMC）試驗設計。

建議結合適用人群、病變等層面選擇觀(guān)察指標，原則上選擇敏感性、特異性、ROC/AUC作為主要觀(guān)察指標，亦可在此基礎上根據軟件特點(diǎn)選擇敏感性/特異性衍生指標、ROC/AUC衍生指標、組內相關(guān)系數、Kappa系數、時(shí)間效率、數據有效使用率等指標作為觀(guān)察指標。

入排標準應當基于目標疾病流行病學(xué)特征，保證陽(yáng)性樣本和陰性樣本選取的合理性和充分性。

建議臨床試驗結果由第三方獨立評價(jià)。

實(shí)施機構應當具備代表性和廣泛性，不同于訓練數據主要來(lái)源機構，地域分布盡可能廣泛，機構數量盡可能多，以確認算法泛化能力。

例如，預期以提高輔助診斷時(shí)間效率為首要目標的某軟件，無(wú)同品種產(chǎn)品且難以獲取臨床參考標準，其臨床試驗設計可選擇用戶(hù)結合軟件聯(lián)合決策與用戶(hù)單獨決策進(jìn)行交叉對照設計，以敏感性、特異性、時(shí)間效率作為主要觀(guān)察指標，其中敏感性、特異性可為非劣性對照，時(shí)間效率指標應當為優(yōu)效對照。

（3）回顧性研究

臨床評價(jià)可采用基于現有歷史數據的回顧性研究?；仡櫺匝芯繎斣谠O計時(shí)考慮并必須嚴格控制偏倚，如選擇偏倚、臨床參考標準偏倚、測量偏倚、記憶偏倚等?；仡櫺匝芯吭瓌t上應當包含多個(gè)不同地域臨床機構（非訓練數據主要來(lái)源機構）的同期數據，結合分層分析、第三方獨立評價(jià)等方法控制偏倚，以保證真實(shí)、準確評價(jià)軟件的安全性和有效性。

回顧性研究應當基于軟件安全性級別考慮使用問(wèn)題。對于安全性級別為C級的高風(fēng)險軟件，原則上應當開(kāi)展臨床試驗，此時(shí)回顧性研究可用作臨床預試驗，為臨床試驗設計提供參考依據，或者在少見(jiàn)亞組病例入組時(shí)間過(guò)長(cháng)等情況下，用作臨床試驗的補充。對于安全性級別為B、A級的中低風(fēng)險軟件，回顧性研究可用作臨床預實(shí)驗或替代臨床試驗。

軟件安全性級別應當基于軟件的預期用途、使用場(chǎng)景和核心功能進(jìn)行綜合判定，判定方法詳見(jiàn)軟件指導原則。例如，預期用于病理圖像輔助篩查或者危重疾病輔助識別的軟件，其安全性級別通常為C級。

三、軟件更新

（一）基本原則

軟件更新應當考慮對軟件安全性和有效性的影響，包括正面影響和負面影響。若為重大軟件更新（即影響到軟件安全性或有效性的軟件更新）應當申請許可事項變更，若為輕微軟件更新（即未影響軟件安全性和有效性的軟件更新）則無(wú)需申請許可事項變更，通過(guò)質(zhì)量管理體系進(jìn)行控制。

（二）重大軟件更新

除軟件更新基本類(lèi)型外，此類(lèi)軟件常見(jiàn)更新類(lèi)型又可分為算法驅動(dòng)型和數據驅動(dòng)型。其中，算法驅動(dòng)型軟件更新是指軟件所用算法、算法結構、算法流程、現成框架、輸入與輸出等發(fā)生改變，包括算法重新訓練（即棄用原有訓練數據）；數據驅動(dòng)型軟件更新是指僅由訓練數據量增加而促使軟件發(fā)生更新，實(shí)為算法驅動(dòng)型軟件更新的特殊情況。

算法驅動(dòng)型軟件更新通常屬于重大軟件更新。數據驅動(dòng)型軟件更新是否屬于重大軟件更新原則上以算法性能評估結果為準，若算法性能評估結果發(fā)生顯著(zhù)性改變（即與前次注冊所批準的算法性能評估結果相比存在統計學(xué)顯著(zhù)差異）則屬于重大軟件更新。其他類(lèi)型重大軟件更新的判定準則詳見(jiàn)軟件指導原則、網(wǎng)絡(luò )安全指導原則相關(guān)要求。

（三）驗證與確認

無(wú)論何種軟件更新，均應當按照質(zhì)量管理體系的要求，開(kāi)展與軟件更新類(lèi)型、內容和程度相適宜的驗證與確認活動(dòng)。

對于算法驅動(dòng)型軟件更新和數據驅動(dòng)型軟件更新，應當開(kāi)展算法性能評估、臨床評價(jià)等驗證與確認活動(dòng)，以保證軟件更新的安全性和有效性。

軟件更新臨床評價(jià)應當與軟件安全性級別相適宜。對于安全性級別為C級的高風(fēng)險軟件，適用范圍實(shí)質(zhì)變更原則上應當開(kāi)展臨床試驗，其他變更情況可使用回顧性研究進(jìn)行軟件更新臨床評價(jià)；對于安全性級別為B、A級的中低風(fēng)險軟件，可使用回顧性研究進(jìn)行軟件更新臨床評價(jià)。

（四）軟件版本命名規則

軟件版本命名規則應當涵蓋算法驅動(dòng)型軟件更新和數據驅動(dòng)型軟件更新，明確并區分重大軟件更新和輕微軟件更新，其中重大軟件更新應當列舉全部典型情況。

四、相關(guān)技術(shù)考量

（一）適用范圍擴展

1.基本原則

軟件所含全部深度學(xué)習、傳統機器學(xué)習功能（以下統稱(chēng)軟件功能）均應當開(kāi)展需求分析、數據收集、算法設計、驗證與確認等活動(dòng)，且每項軟件功能應當分別開(kāi)展需求分析、數據收集、算法設計、驗證與確認等活動(dòng)。

2.深度學(xué)習非輔助決策軟件功能

對于深度學(xué)習非輔助決策軟件功能，其驗證與確認要求如下：前處理軟件功能原則上應當開(kāi)展算法性能評估、臨床評價(jià)；流程優(yōu)化軟件功能開(kāi)展算法性能評估即可，無(wú)需開(kāi)展臨床評價(jià)；常規后處理軟件功能原則上開(kāi)展算法性能評估即可，全新功能應當開(kāi)展臨床評價(jià)。此時(shí)臨床評價(jià)可參照傳統醫療器械評價(jià)方法。

3.傳統機器學(xué)習軟件功能

傳統機器學(xué)習技術(shù)與深度學(xué)習技術(shù)的主要區別在于：前者特征提取通常需要人為干預，而后者自動(dòng)完成特征提取。因此，對于傳統機器學(xué)習輔助決策軟件功能，應當明確特征提取信息，包括但不限于特征分類(lèi)（如人口統計學(xué)、生物學(xué)、形態(tài)學(xué)）、特征屬性（如形態(tài)、紋理、性質(zhì)、尺寸、邊界）和特征展現方式（如形狀、尺寸、邊界、顏色、數量）。

對于傳統機器學(xué)習非輔助決策軟件功能，其要求參照深度學(xué)習非輔助決策軟件功能，同時(shí)明確特征提取信息。

（二）第三方數據庫

第三方數據庫可視為回顧性研究的一種特殊形式，可用于算法性能評估，但其類(lèi)型、用途等情況各不相同，未必能夠完全滿(mǎn)足軟件確認測試的要求。因此，使用第三方數據庫進(jìn)行軟件確認測試，應當評估其滿(mǎn)足軟件確認測試條件的充分性、適宜性和有效性。

可用于軟件確認測試的第三方數據庫（以下簡(jiǎn)稱(chēng)測評數據庫）應當滿(mǎn)足數據平臺建設的通用要求（如網(wǎng)絡(luò )與數據安全等，不再贅述）和專(zhuān)用要求，其中專(zhuān)用要求包括：

1.權威性：考慮到數據質(zhì)量主要取決于數據標注質(zhì)量，因此測評數據庫創(chuàng )建單位應當包括相應臨床專(zhuān)業(yè)領(lǐng)域的權威機構（如國家臨床醫學(xué)研究中心），數據標注人員、標注分歧仲裁人員應當分別具備適宜的、豐富的臨床實(shí)踐經(jīng)驗。

2.科學(xué)性：為保證能夠真實(shí)、準確的反映臨床實(shí)際情況，測評數據庫樣本量應當通過(guò)統計學(xué)計算確定以控制抽樣誤差，樣本分布應當符合目標疾病的流行病學(xué)特征情況，不能進(jìn)行數據擴增；單次測試所用數據量應當予以規定，測試數據應當根據測評數據庫樣本分布情況進(jìn)行等比例隨機抽取。

3.規范性：測評數據庫的數據采集、數據脫敏、數據處理、數據清洗、數據標注、數據管理、網(wǎng)絡(luò )安全防護等數據治理活動(dòng)以及測評過(guò)程均應當建立質(zhì)控程序并形成文件，并滿(mǎn)足可追溯性要求。

4.多樣性：測評數據庫的數據應當來(lái)源于多個(gè)臨床機構，以保證測評數據庫能夠用于評價(jià)算法泛化能力；在滿(mǎn)足倫理學(xué)要求的前提下可包含適當比例的對抗數據樣本，以用于評價(jià)算法的魯棒性/健壯性。

5.封閉性：為保證能夠充分、客觀(guān)的評價(jià)算法質(zhì)量，測評數據庫應當封閉管理，且樣本量應當遠大于單次測試所用數據量；測評過(guò)程同樣應當保證封閉性。

6.動(dòng)態(tài)性：測評數據庫應當定期更換一定比例的數據，以保證測評數據庫具有持續的多樣性和封閉性；被更換的數據可用于構建公開(kāi)數據庫以服務(wù)于行業(yè)發(fā)展。

此外，第三方公開(kāi)數據庫（以下簡(jiǎn)稱(chēng)公開(kāi)數據庫）因不具備封閉性而不能用作測評數據庫，但可用于算法性能評估。公開(kāi)數據庫不宜用于算法訓練，若用于算法訓練應當評估其使用的適宜性和有效性。

（三）網(wǎng)絡(luò )與數據安全過(guò)程控制

除考慮軟件自身網(wǎng)絡(luò )安全能力建設外，還應當在軟件全生命周期過(guò)程中考慮網(wǎng)絡(luò )與數據安全過(guò)程控制要求，包括上市前設計開(kāi)發(fā)階段和上市后使用階段。

脫敏數據由臨床機構轉移至生產(chǎn)企業(yè)應當明確數據轉移方法、數據污染防護措施。數據預處理、數據集構建、算法訓練、算法性能評估、軟件驗證等內部活動(dòng)應當在封閉的網(wǎng)絡(luò )環(huán)境下開(kāi)展，以防止數據污染。數據標注、軟件確認等涉及外方的活動(dòng)若在開(kāi)放的網(wǎng)絡(luò )環(huán)境下開(kāi)展，應當明確網(wǎng)絡(luò )安全防護措施，以防止數據污染。數據采集、上市后使用應當考慮與臨床機構網(wǎng)絡(luò )與數據安全要求相銜接的接口問(wèn)題。

各數據庫（集）應當進(jìn)行數據備份以保證數據安全，數據備份應當明確備份的方法、頻次以及數據恢復方法。

（四）云計算服務(wù)與移動(dòng)計算終端

使用云計算服務(wù)應當明確服務(wù)模式、部署模式、核心功能、數據接口、網(wǎng)絡(luò )安全能力和服務(wù)（質(zhì)量）協(xié)議等要求。使用移動(dòng)計算終端應當結合終端的類(lèi)型、特點(diǎn)和使用風(fēng)險明確相應性能指標要求。相關(guān)要求詳見(jiàn)移動(dòng)器械指導原則。

云計算服務(wù)與移動(dòng)計算終端的網(wǎng)絡(luò )安全要求詳見(jiàn)網(wǎng)絡(luò )安全指導原則。

五、注冊申報資料說(shuō)明

注冊申報資料應當在相關(guān)公告基礎上滿(mǎn)足軟件指導原則、網(wǎng)絡(luò )安全指導原則、移動(dòng)器械指導原則等相關(guān)指導原則要求。輔助決策軟件還應當考慮下述要求，不適用項應當提供合理解釋。非輔助決策軟件可參照輔助決策軟件的適用要求。

（一）產(chǎn)品名稱(chēng)

輔助決策獨立軟件產(chǎn)品名稱(chēng)應當符合獨立軟件通用名稱(chēng)命名規范要求，體現處理對象（如CT圖像、眼底照片）、目標疾?。ê∽?、疾病屬性）、臨床用途（如輔助篩查、輔助識別）等特征詞。

軟件組件相應輔助決策軟件功能名稱(chēng)可參照輔助決策獨立軟件要求。

（二）適用范圍

輔助決策獨立軟件適用范圍應當明確預期用途、使用場(chǎng)景和核心功能，包括但不限于處理對象、目標疾病、臨床用途、適用人群、目標用戶(hù)、使用場(chǎng)所、采集設備要求、臨床使用限制。

軟件組件相應輔助決策軟件功能適用范圍可參照輔助決策獨立軟件要求，并在產(chǎn)品適用范圍中予以體現。

（三）研究資料

除軟件描述文檔、網(wǎng)絡(luò )安全描述文檔、軟件版本命名規則外，研究資料還應當提供以下資料：

軟件描述文檔核心算法部分應當結合本審評要點(diǎn)提供相應算法研究資料，包括數據來(lái)源合規性聲明、算法性能影響因素分析資料以及各類(lèi)測試場(chǎng)景下算法性能評估結果比較分析資料。

研究資料“其他資料”應當提供網(wǎng)絡(luò )與數據安全過(guò)程控制研究資料，包括公開(kāi)數據庫、測評數據庫的基本信息（如名稱(chēng)、創(chuàng )建者、數據量、數據分布）和使用情況。

對于公開(kāi)數據庫，若用于算法訓練，使用情況應當明確數據使用量、數據分布、訓練集所占比例，并提供其滿(mǎn)足算法訓練要求的評估資料；若用于算法性能評估，使用情況應當明確數據使用量、數據分布、測試集所占比例、評估指標與結果。

對于測評數據庫，若用于算法性能評估，使用情況應當明確評估指標與結果；若用于軟件確認測試，使用情況應當提供其滿(mǎn)足軟件確認測試條件要求的評估資料。

其他類(lèi)型第三方數據庫申報資料參照公開(kāi)數據庫、測評數據庫適用要求。

（四）說(shuō)明書(shū)

說(shuō)明書(shū)應當符合《醫療器械說(shuō)明書(shū)和標簽管理規定》要求。

輔助決策軟件說(shuō)明書(shū)應當明確軟件的適用范圍、臨床使用限制、注意事項、用戶(hù)培訓、采集設備要求、數據采集操作規范、輸入與輸出、算法性能評估總結（測試集基本信息、評估指標與結果）、軟件臨床評價(jià)總結（臨床數據基本信息、評價(jià)指標與結果）、運行環(huán)境等內容。

深度學(xué)習輔助決策軟件說(shuō)明書(shū)除上述內容外還應當補充算法訓練總結信息（訓練集基本信息、訓練指標與結果）。

前期已開(kāi)發(fā)軟件若不滿(mǎn)足本審評要點(diǎn)的適用要求，應當開(kāi)展差距分析并進(jìn)行必要限定。

總之，技術(shù)審評將基于審評關(guān)注重點(diǎn)綜合權衡軟件的風(fēng)險和受益，系統評價(jià)軟件的安全性和有效性，協(xié)調上市前與上市后的監管要求，兼顧公眾健康保護與促進(jìn)技術(shù)創(chuàng )新的關(guān)系。