IT技術(shù)的發(fā)展及應用是醫療器械行業(yè)機遇之一，留意我們網(wǎng)站的朋友們就會(huì )發(fā)現，近年來(lái)關(guān)于醫療器械軟件注冊及網(wǎng)絡(luò )安全相關(guān)話(huà)題的內容較多。2022年5月26日，國家藥監局器審中心關(guān)于發(fā)布肺結節CT圖像輔助檢測軟件注冊審查指導原則的通告（2022年第21號），一起看正文。

肺結節CT圖像輔助檢測軟件注冊審查指導原則（2022年第21號） 

本指導原則是對肺結節CT圖像輔助檢測軟件的一般要求，申請人應依據產(chǎn)品的具體特性確定其中的內容是否適用。若不適用，需具體闡述其理由及相應的科學(xué)依據，并依據具體的產(chǎn)品特性對注冊申報資料的內容進(jìn)行充實(shí)和細化。

本指導原則是供注冊申請人和技術(shù)審評人員使用的指導性文件，但不包括注冊審批所涉及的行政事項，亦不作為法規強制執行，應在遵循相關(guān)法規的前提下使用本指導原則。如果有能夠滿(mǎn)足相關(guān)法規要求的其他方法，也可以采用，但是需要提供詳細的研究資料和驗證資料。

本指導原則是在現行法規和標準體系以及當前認知水平下制定的，隨著(zhù)法規和標準的不斷完善，以及科學(xué)技術(shù)的不斷發(fā)展，相關(guān)內容也將適時(shí)進(jìn)行調整。

本指導原則是人工智能醫療器械指導原則體系的重要組成部分，基于人工智能醫療器械審評指導原則的通用要求，明確了肺結節CT圖像輔助檢測軟件的具體要求。

一、適用范圍

本指導原則適用于肺結節CT圖像輔助檢測軟件的產(chǎn)品注冊。按現行《醫療器械分類(lèi)目錄》，該類(lèi)產(chǎn)品分類(lèi)編碼為21-04-02，管理類(lèi)別為三類(lèi)。設備中所含肺結節CT圖像輔助檢測功能也適用于本指導原則。采用非人工智能算法的肺結節CT圖像輔助檢測軟件可參照本指導原則執行。

二、注冊審查要點(diǎn)

（一）監管信息

明確申請表中產(chǎn)品名稱(chēng)、管理類(lèi)別、分類(lèi)編碼、型號規格、產(chǎn)品組成等信息。

1.   產(chǎn)品名稱(chēng)

產(chǎn)品命名需符合《醫療器械通用名稱(chēng)命名規則》的要求。根據產(chǎn)品預期用途可采用肺結節CT圖像輔助檢測軟件進(jìn)行命名。

2.分類(lèi)編碼

依據《醫療器械分類(lèi)目錄》，申報產(chǎn)品分類(lèi)編碼為21-04-02。按第三類(lèi)醫療器械管理。

（二）綜述資料

1. 產(chǎn)品描述

1.1器械及操作原理描述

1.1.1工作原理

需詳述產(chǎn)品的工作原理，例如：基于深度學(xué)習技術(shù)對醫學(xué)影像進(jìn)行分析處理、對肺結節進(jìn)行分割、檢測、自動(dòng)識別等。

1.1.2結構組成

結構組成明確交付內容和功能模塊，其中交付內容包括軟件安裝程序、授權文件、外部軟件環(huán)境安裝程序等軟件程序文件，功能模塊包括客戶(hù)端、服務(wù)器端（若適用）、云端（若適用），若適用注明選裝、模塊版本?；谌斯ぶ悄芩惴ǎㄈ缟疃葘W(xué)習）的功能模塊，需在模塊名稱(chēng)中予以注明，如深度學(xué)習。

1.1.3產(chǎn)品描述

需明確臨床工作流程，工作流程中使用申報產(chǎn)品的時(shí)間（如在醫生閱片前使用）。

肺結節檢測當前的臨床實(shí)踐（基于參考文獻）。

結合用戶(hù)界面圖示詳細介紹技術(shù)要求中對應的臨床功能、量化分析的具體內容、自動(dòng)操作、手動(dòng)及半自動(dòng)操作/預定義的默認設置。需明確軟件輸出報告、特殊聲稱(chēng)（如用于檢測小于4mm結節）、服務(wù)器部署（局域網(wǎng)、云端）、產(chǎn)品接口和聯(lián)合使用設備等信息。

1.2 型號規格

需明確申報產(chǎn)品的型號規格及發(fā)布版本。產(chǎn)品型號規格及其劃分，如同一個(gè)注冊單元包含多個(gè)型號規格，需提供產(chǎn)品型號規格區分列表或配置表。

1.3研發(fā)歷程

闡述申請注冊產(chǎn)品的研發(fā)背景和目的。如有參考的同類(lèi)產(chǎn)品或前代產(chǎn)品，需提供同類(lèi)產(chǎn)品或前代產(chǎn)品的信息，并說(shuō)明選擇其作為研發(fā)參考的原因。

1.4與同類(lèi)和/或前代產(chǎn)品的參考和比較

同一制造商生產(chǎn)的改良器械，建議直接和本公司已獲批準的器械的算法性能進(jìn)行比較（即，使用相同的評估過(guò)程和測試數據集比較性能）。

2.適用范圍和禁忌證

（1）適用范圍

適用范圍需明確處理對象、核心功能、適用人群、目標用戶(hù)、臨床用途。

例如，用于胸部CT圖像的顯示、處理、測量和分析，可對4mm及以上肺結節進(jìn)行自動(dòng)識別并分析結節影像學(xué)特征，供經(jīng)培訓合格的醫師使用，不能單獨用作臨床診療決策依據。

（2）預期使用環(huán)境

需明確設備使用場(chǎng)所和使用環(huán)境要求。

設備使用場(chǎng)所包括：醫療機構機房等。

使用環(huán)境要求需至少包括：推薦的硬件使用的適宜溫度、濕度、大氣壓、光照條件。

（3）適用人群

需詳述產(chǎn)品的適用人群、感興趣器官/疾病/病灶/異常、以及預期使用該產(chǎn)品的目標用戶(hù)。如，可供18歲及以上門(mén)診及體檢人群使用，供經(jīng)培訓合格的放射科醫師、專(zhuān)科醫師使用。

（4）禁忌證

需明確產(chǎn)品臨床應用的禁忌證以及器械限制，包括導致器械無(wú)效且不應使用的疾病、病癥、異常。

（三）非臨床資料

1.產(chǎn)品風(fēng)險管理資料

依據YY/T 0316《醫療器械風(fēng)險管理對醫療器械的應用》，提供產(chǎn)品風(fēng)險管理報告。

申請人需重點(diǎn)說(shuō)明：申報產(chǎn)品的研制階段已對有關(guān)可能的危害及產(chǎn)生的風(fēng)險進(jìn)行了估計和評價(jià)，針對性地實(shí)施了降低風(fēng)險的技術(shù)和管理方面的措施。產(chǎn)品性能測試對上述措施的有效性進(jìn)行了驗證，達到了通用和專(zhuān)用標準的要求。申請人對所有剩余風(fēng)險進(jìn)行了評價(jià)，全部達到可接受的水平。產(chǎn)品風(fēng)險分析資料需為申請人關(guān)于產(chǎn)品安全性的承諾提供支持。

風(fēng)險管理報告一般包括以下內容：

（1）申報產(chǎn)品的風(fēng)險管理組織。

（2）申報產(chǎn)品的組成。

（3）申報產(chǎn)品符合的安全標準。

（4）申報產(chǎn)品的預期用途，與安全性有關(guān)的特征的判定。

（5）對申報產(chǎn)品的可能危害作出判定（見(jiàn)附件1）。

（6）對所判定的危害采取的降低風(fēng)險的控制措施。

（7）對采取控制措施后的剩余風(fēng)險進(jìn)行估計和評價(jià)。

2.產(chǎn)品技術(shù)要求及檢驗報告

2.1產(chǎn)品技術(shù)要求

依據《醫療器械產(chǎn)品技術(shù)要求編寫(xiě)指導原則》進(jìn)行編制。

  2.1.1規格信息

明確軟件發(fā)布版本和版本命名規則。軟件版本命名規則原則上需涵蓋算法驅動(dòng)型更新和數據驅動(dòng)型更新，明確并區分重大軟件更新和輕微軟件更新，其中重大軟件更新列舉常見(jiàn)典型情況。

明確不同型號間產(chǎn)品差異。

2.1.2性能指標

明確產(chǎn)品處理對象，以及數據接口信息，包括成像模態(tài)（如計算機體層攝影）和特定軟硬件名稱(chēng)及型號（如適用）。

明確軟件功能及指標，如輸入圖像的質(zhì)量要求、結節檢出、結節密度分類(lèi)類(lèi)別（如實(shí)性、亞實(shí)性的手動(dòng)分類(lèi)等）、結節位置（如肺葉、肺段、肺結節CT圖像層面、肺內、胸膜）、結節標記方式（緊密包裹結節的邊界框、不緊密包裹結節的邊界框）、分割方式（自動(dòng)分割、半自動(dòng)分割、手動(dòng)分割）、測量功能（如體積、最大軸向平面最長(cháng)直徑、短徑、平均直徑、最大三維直徑、有效直徑、平均密度、面積等）、隨訪(fǎng)評估功能（如倍增時(shí)間、數值參數的百分比(%)和絕對變化、結節長(cháng)軸、短軸、平均直徑、最大三維直徑、有效直徑、體積、平均密度等）、客觀(guān)物理測量準確性（如線(xiàn)性度、精度、重復性、再現性、范圍限值、顯示誤差等）、結節的3D或MIP可視化等。

使用限制明確應用場(chǎng)景（體檢、門(mén)診病房）、患者（年齡、地域、疾病類(lèi)型）、CT設備（主流廠(chǎng)家、探測器排數）、CT掃描參數(如管電壓、管電流、層厚/層間距、劑量（常規劑量、低劑量）、窗寬窗位、重建方式、顯示方式)、放射學(xué)檢查條件(CT增強掃描、CT平掃)、CT圖像質(zhì)量要求(如分辨率、偽影)、結節檢出的尺寸范圍、結節密度分類(lèi)類(lèi)別。如軟件包含圖像質(zhì)量判定功能，明確軟件使用限制。

若含有基于測評數據庫測試的性能指標，其要求參考《人工智能醫療器械注冊審查指導原則》。

運行環(huán)境，運行在不同計算機系統的產(chǎn)品模塊（如客戶(hù)端和云端）需分別描述其運行環(huán)境、服務(wù)器部署（局域網(wǎng)、云端）信息。

附錄中明確體系結構圖、用戶(hù)界面關(guān)系圖與主界面圖示、物理拓撲圖、測評數據庫、數據庫/集信息。

3.軟件研究

（1）基本要求

生產(chǎn)企業(yè)需依據《醫療器械軟件注冊審查指導原則（2022年修訂版）》提交相應軟件研究資料。其中，核心算法所述人工智能算法需依據 《人工智能醫療器械注冊審查指導原則》提交相應算法研究資料。

生產(chǎn)企業(yè)需依據《醫療器械網(wǎng)絡(luò )安全注冊審查指導原則（2022年修訂版）》提交網(wǎng)絡(luò )安全描述文檔。按照《人工智能醫療器械注冊審查指導原則》提交數據安全資料。

若使用云計算服務(wù)，生產(chǎn)企業(yè)需依據《人工智能醫療器械注冊審查指導原則》提交相應研究資料。使用云計算服務(wù)需明確服務(wù)模式、部署模式、核心功能、數據接口、網(wǎng)絡(luò )安全能力、服務(wù)（質(zhì)量）協(xié)議等要求。

軟件版本命名規則涵蓋算法驅動(dòng)型軟件更新和數據驅動(dòng)型軟件更新；區分重大軟件更新和輕微軟件更新，其中重大軟件更新需列舉常見(jiàn)典型情況。

（2）軟件安全級別

該類(lèi)產(chǎn)品的軟件安全性級別為嚴重（C）級。

（3）核心功能

列明軟件核心功能的名稱(chēng)、所用核心算法、預期用途并注明類(lèi)型，全新的核心功能、核心算法、預期用途均需提供安全有效性研究資料。

表1 核心功能示例

注：表1中全新是對當前深度學(xué)習算法的全新算法的示例

4.算法研究資料

4.1算法基本信息

需提供算法設計和功能的信息，提供流程圖及注釋?zhuān)鞔_算法名稱(chēng)、版本、軟件平臺的相關(guān)特性。

需描述算法每個(gè)階段（如肺結節檢出、肺結節分類(lèi)、肺結節分割、肺結節測量）的設計和功能，通過(guò)文獻論述算法類(lèi)型（成熟及全新）。

4.1.1肺結節檢出算法

肺結節檢出算法需明確算法的輸入，比如算法采用的是2D，2.5D還是3D的胸部CT圖像作為算法輸入；算法的輸出-標記格式描述（形狀、大小、與感興趣區域有關(guān)的預期位置、邊界、顏色，比如緊密包裹肺結節的矩形框端點(diǎn)（二維/三維），肺結節中心點(diǎn)）。

明確算法所采用的神經(jīng)網(wǎng)絡(luò )結構，如 Faster RCNN；明確算法訓練采用的損失函數，如交叉熵，L1范數；明確算法設計過(guò)程中網(wǎng)絡(luò )結構、損失函數等核心組件選擇和設計的原則、方法與風(fēng)險考量，如肺結節大小尺度的差異，肺結節與背景正負樣本的不均衡性、假陽(yáng)性、過(guò)擬合等；若肺結節檢出采用多個(gè)模型融合，需明確不同模型訓練與推理的方式，以及模型融合的策略，如級聯(lián)，多數投票；

肺結節檢出存在同一個(gè)目標多個(gè)重疊框的問(wèn)題，算法需明確匹配關(guān)系所采用的策略，如交并比（IoU），定位框中心距離；

明確算法的流程圖，需包含算法運行前所進(jìn)行的前處理（圖像縮放、圖像像素值歸一化、圖像重采樣）以及算法運行后所進(jìn)行的后處理操作（圖像重采樣、非最大化抑制）。明確訓練與部署所采用的框架（如Tensorflow, Pytorch）、算法運行環(huán)境（如內存、顯存的需求）。

若使用遷移學(xué)習技術(shù)，除上述內容外還需補充預訓練模型的數據集構建、算法測試等資料。

4.1.2肺結節密度分類(lèi)算法

肺結節密度分類(lèi)算法需明確輸出（密度類(lèi)別），密度類(lèi)別制定依據以及臨床適用性。

肺結節密度分類(lèi)算法需明確算法的輸入，比如算法采用的是2D，2.5D還是3D的圖像作為算法的輸入。若采用2D，需明確肺結節選取的圖像層面，如中心層面，最大面積層面；明確算法所采用的神經(jīng)網(wǎng)絡(luò )結構，如Residual Net，Dense-Net；明確算法訓練采用的損失函數，如交叉熵，Focal損失函數；損失函數等核心組件選擇和設計的原則、方法與風(fēng)險考量，如肺結節大小尺度的差異，不同類(lèi)別肺結節樣本的不均衡性、過(guò)擬合等；若肺結節分類(lèi)采用多個(gè)模型融合，需明確不同模型訓練與推理的方式，以及模型融合的策略，如多數投票；最后，明確算法的流程圖，訓練與部署所采用的框架（如Tensorflow, Pytorch）、算法運行環(huán)境（如內存、顯存的需求）。

4.1.3肺結節測量算法

針對肺結節測量算法，明確測量原理（基于像素點(diǎn)數），測量實(shí)現的方式，如肺結節體積測量算法、密度值測量算法與長(cháng)徑短徑測量算法可以通過(guò)肺結節分割技術(shù)來(lái)實(shí)現，也可以通過(guò)機器學(xué)習中的回歸方法來(lái)進(jìn)行預測。測量?jì)热莅ㄩL(cháng)徑、短徑、體積、面積、平均HU值等，其中密度值測量算法需明確測量的類(lèi)型，如平均值，標準差，最大值，最小值，中位數。

4.1.4肺結節肺葉肺段定位算法

肺結節肺葉肺段定位算法中，明確肺結節定位的類(lèi)別，如左/右肺定位、肺葉定位、肺段定位。明確算法輸入的類(lèi)型，如肺結節二維切片，肺結節三維圖像塊，若輸入類(lèi)型為二維切片，明確二維切片選取標準（如肺結節長(cháng)徑短徑交點(diǎn)所在切片、肺結節最大面積切片）。

肺結節肺葉肺段定位算法需明確實(shí)現的機理，如基于肺段分割算法實(shí)現解剖定位，基于圖像分類(lèi)算法實(shí)現解剖定位。

若申報產(chǎn)品涉及上述多個(gè)算法，需提供算法整體流程圖，明確各個(gè)算法調用先后關(guān)系，以及輸入輸出依賴(lài)關(guān)系。

若使用遷移學(xué)習技術(shù)，除上述內容外還需補充預訓練模型的數據集構建、算法測試等資料。

4.2算法需求規范

算法功能需求建議關(guān)注數據庫需求、算法性能評價(jià)指標及制定依據、性能的擬定目標及制定依據。

4.2.1數據庫需求

算法性能評價(jià)需要基于訓練和測試數據庫，數據庫具體要求詳見(jiàn)附件2。

4.2.2算法性能評價(jià)指標

在指定肺結節檢出算法評估指標之前，需確定器械標記的位置和范圍和參考標準之間的匹配性，需明確標記匹配的方式，即算法標記目標與參考標準目標的匹配方式，常見(jiàn)的標記匹配方式有按照區域重疊的比例（面積、體積）、中心點(diǎn)的距離、中心是否落入來(lái)判斷標記是否匹配；還需明確聲稱(chēng)的標記匹配的閾值。

明確算法任務(wù)，明確算法訓練和調優(yōu)過(guò)程中不同任務(wù)的評估指標及定義。有關(guān)標記匹配方式與評估指標的定義可以參考“人工智能醫療器械 肺部影像輔助分析軟件算法性能測試方法”5.1.1.1章節。明確不同任務(wù)的算法評價(jià)指標的定義、計算公式及確定依據、分層影響因素選擇依據，如肺結節診療中國專(zhuān)家共識、美國國立綜合癌癥網(wǎng)絡(luò )NCCN指南、 Fleischner協(xié)會(huì )指南、中華醫學(xué)會(huì )肺癌臨床診療指南等。

結節檢出指標包括不限于召回率、精確度、自由響應受試者操作特性曲線(xiàn)（FROC）。

結節分類(lèi)指標包括不限于靈敏度、特異度、總體的Kappa系數、準確率。

結節分割指標包括不限于Dice系數、體積交并比、Hausdorff距離。

測量指標包括不限于相對誤差、絕對誤差、相對誤差絕對值的平均值。

提供文獻綜述論證評價(jià)指標選擇及分層影響因素選擇的合理性。分層分析的影響因素包括年齡、病變類(lèi)型、大小、層厚、采集協(xié)議、性別、結節大小、結節密度、廠(chǎng)家、重建核、劑量、管電壓、管電流等重要變量。

算法質(zhì)量特性包括泛化能力、魯棒性（對抗測試）、壓力測試、重復性、一致性、效率。

隨訪(fǎng)評估功能包括倍增時(shí)間、數值參數的百分比(%)和絕對變化，如結節長(cháng)軸、短軸、平均直徑、最大三維直徑、有效直徑、體積、平均HU等。

4.2.3算法性能測試基本要求

基于算法流程圖評價(jià)每個(gè)器械操作點(diǎn)的基于病例、基于肺結節、基于分層因素的性能指標，需包括訓練集、調優(yōu)集、測試集的算法性能測試結果，需明確測試方法。所有性能指標均需具有相關(guān)置信區間，需提供關(guān)于估計置信區間以及與其相關(guān)的臨床顯著(zhù)性的方法學(xué)描述，需提供FROC曲線(xiàn)圖及FROC置信區間（如適用）。

4.2.3.1結節檢出

需給出軟件檢出肺結節的召回率和精確度的閾值。測試產(chǎn)品定位準確程度時(shí)，只有真陽(yáng)性檢出的結節，且位置正確的標記才能算作正確標記。

召回率和精確度的計算一般針對全體結節進(jìn)行。在設置篩選條件后，可以使用篩選后的參考標準與篩選后的AI結果進(jìn)行匹配。如篩選后假陽(yáng)性結果難以定義，建議以召回率為主要指標，常見(jiàn)情形為：

-對具體某一種結節類(lèi)型，計算結節的召回率。

-對平均直徑、長(cháng)徑處于某一區間的結節，計算召回率

-對類(lèi)型、尺寸范圍組合的結節，計算召回率。

4.2.3.2結節分類(lèi)

明確分類(lèi)場(chǎng)景，如二分類(lèi)場(chǎng)景、多分類(lèi)場(chǎng)景。對于二分類(lèi)場(chǎng)景下的指標，如軟件能夠對A類(lèi)型的肺結節進(jìn)行分類(lèi)，需給出準確率、靈敏度、特異性的閾值?？傮w的Kappa系數不低于N%；多分類(lèi)問(wèn)題可以轉化為二分類(lèi)問(wèn)題，按每一類(lèi)進(jìn)行描述。

4.2.3.3結節分割

如果產(chǎn)品在三維上進(jìn)行結節分割，需給出算法可以達到的體積交并比或者DICE系數的閾值。如果產(chǎn)品只輸出最大層面的分割，則需給出算法可以達到的最大層面面積交并比或者DICE系數的閾值。測試集數據的平均交并比或者DICE系數的95%置信區間應大于等于該閾值。

4.2.3.4結節測量

需明確測量?jì)热?，如體積、密度、尺寸測量；需明確各測量?jì)热莸臏y量誤差。對于尺寸測量長(cháng)徑小于等于10mm需增加平均直徑允差，大于10mm需增加短徑允差。

4.2.3.5結節肺葉肺段定位

結節肺葉肺段定位需明確定位的具體功能（如采用邊緣勾畫(huà)方法展示肺葉肺段分割結果、僅采用文字描述結節所處肺葉肺段），肺葉、肺段標記標簽分布（如左肺上葉尖后段、左肺上葉前段、右肺中葉外段……）、基于不同功能確定測試指標（如結節所處左右肺準確性、肺葉準確性、肺段準確性、肺葉肺段分割的DICE系數或其他合理指標）及測試指標的計算方法、參考標準建立的方法、測試流程。

測試產(chǎn)品定位準確程度時(shí)，只有真陽(yáng)性檢出的結節，且位置正確的標記才能算作正確標記。

4.2.4樣本量

明確樣本量估計的公式、參數及制定依據。研究樣本應足夠大，以使聲稱(chēng)的性能具有統計學(xué)顯著(zhù)性，若有分層性能的聲稱(chēng)，應確定子集的樣本量以檢測聲稱(chēng)的統計學(xué)顯著(zhù)性。

4.2.5測試方法

需明確測試方法及制定依據。

4.3數據質(zhì)控

建議參考“人工智能醫療器械注冊審查指導原則”及“人工智能醫療器械質(zhì)量要求和評價(jià) 第2部分：數據集通用要求”。

4.3.1數據采集

需提供數據采集協(xié)議，需要考慮明確偏倚控制的方法，如通過(guò)各亞組設置進(jìn)行偏移控制，不應為提高算法結果刻意篩選數據。采集數據的地區分布需覆蓋東西南北中地區。

明確數據庫信息（要求詳見(jiàn)附件2）

4.3.2數據整理

明確數據轉移保存的方法。明確數據納入排除標準，以及進(jìn)行數據篩選的方法（人工清洗、自動(dòng)清洗），提供數據整理軟件工具的研究資料。

提供數據清洗流程圖，明確清洗規則，例如確定數據合規性、圖像唯一性、層厚、層間距等信息滿(mǎn)足要求、連續性、完整性、已完成脫敏等并加以篩選。清洗結果明確棄用數據的數量和原因。明確預處理的操作步驟和內容。

4.3.3數據標注

數據標注建議參考“人工智能醫療器械質(zhì)量要求和評價(jià) 第3部分：數據標注通用要求”。

需明確標注任務(wù)分類(lèi)（包括數據模態(tài)、執行主體、標注結果格式、標注結果性質(zhì)、標注結果形式等維度），提供標注任務(wù)描述文檔（標注規則、標注人員、標注工具、標注環(huán)境、數據）。其中標注規則需明確制定依據并提供參考文獻。標注內容宜包括結節檢出、結節位置（肺葉、肺段、結節層面）、結節大小、結節密度、角度等。標注人員建議列表給出標注、審核、仲裁人員的基本信息，如數量、醫療機構、科室、工作年限、職稱(chēng)、培訓、培訓考核情況、工作量、標注任務(wù)、人員類(lèi)型（標注、審核、仲裁）。

標注與質(zhì)控流程建議提供業(yè)務(wù)架構、過(guò)程組織（任務(wù)生成、任務(wù)分配、任務(wù)實(shí)施、質(zhì)量控制、驗收準則及驗收報告）。其中業(yè)務(wù)架構宜采用流程圖介紹單例數據的標注、審核、仲裁過(guò)程。

明確標注是否基于另一器械的輸出、臨床檢驗(如病理檢測結果)、隨訪(fǎng)臨床成像檢查、除成像外的隨訪(fǎng)體檢、臨床醫生的解釋。

如標注工具、標注平臺使用人工智能算法進(jìn)行輔助標注，需提交標注工具、標注平臺算法性能研究資料。

4.3.4數據集構建

依據《人工智能醫療器械注冊審查指導原則》指南明確訓練集、調優(yōu)集、測試集的劃分方法、劃分依據、數據分配比例。

提供查重驗證結果，以證實(shí)訓練集、調優(yōu)集、測試集的樣本兩兩無(wú)交集。

數據擴增需明確擴增的對象、范圍、方式（離線(xiàn)、在線(xiàn)）、方法（如翻轉、旋轉、鏡像、平移、縮放、濾波、生成對抗網(wǎng)絡(luò )等）、倍數、在線(xiàn)數據擴增記錄。

提供擴增數據庫與標注數據庫樣本量、樣本分布（注明擴增倍數）對比表，以證實(shí)擴增數據庫樣本量的充分性以及樣本分布的合理性。

如果采用生成對抗網(wǎng)絡(luò )進(jìn)行數據擴增，應提供生成對抗網(wǎng)絡(luò )的算法基本信息以及算法選用依據資料。

4.4算法訓練

     算法訓練需明確訓練過(guò)程所采用的優(yōu)化器及其相關(guān)參數，如Adam，SGD；在算法訓練階段，需明確訓練集、調優(yōu)集的劃分方式，如留出法，交叉驗證法； 需明確訓練目標，即判斷何時(shí)停止訓練，如設定最大的訓練epoch數目，依據損失函數判斷損失穩定且不繼續下降，根據訓練epoch數量-評估指標曲線(xiàn)判斷評估指標不繼續提升等。當訓練停止后，明確訓練模型最佳epoch的選擇方法，如在留出法中，根據留出部分的調優(yōu)集選取評價(jià)指標最優(yōu)的epoch；在交叉驗證法中，計算多次隨機劃分調優(yōu)集的評價(jià)指標平均值，選擇最優(yōu)的epoch。同時(shí)，結合臨床需求（如靈敏度、精準度），明確算法出廠(chǎng)閾值的選擇與方法，并論證訓練所得模型是否滿(mǎn)足產(chǎn)品既定目標。算法出廠(chǎng)閾值的選擇需提供制定依據。

算法訓練階段需結合訓練數據量-評估指標曲線(xiàn)驗證算法訓練數據量的充分性。對于不同的訓練數據量，計算對應的評價(jià)指標。當評價(jià)指標為單一標量時(shí)（如靈敏度），訓練數據量-評估指標曲線(xiàn)的x軸為訓練數據的樣本量（如CT序列個(gè)數），y軸為在使用特定訓練量時(shí)，算法在測試集的評價(jià)指標。結合訓練數據量-評估指標曲線(xiàn)，判斷當訓練數據量有限時(shí)，評價(jià)指標是否隨數據量的增加而增加，并在數據量達到一定程度后，評價(jià)指標趨于平穩。當評價(jià)指標為曲線(xiàn)時(shí)，可考慮根據不同訓練數據量，繪制對應的評價(jià)指標曲線(xiàn)，判斷曲線(xiàn)下面積（AUC）是否先隨數據量的增加而增加，最后當數據量達到一定程度后趨于平穩。以FROC曲線(xiàn)為例，在評估訓練數據量的充分性時(shí)，當訓練數據量有限時(shí)，FROC曲線(xiàn)下面積需隨數據量增加而增加，FROC曲線(xiàn)逐步逼近坐標左上角；當訓練數據量達到一定程度后，FROC曲線(xiàn)下面積慢慢趨于穩定。

若訓練過(guò)程中采用了數據擴增的方式，需明確擴增方式，如離線(xiàn)數據擴增，在線(xiàn)數據擴增。同時(shí)，需明確數據擴增的方法以及相應的參數設置，如圖像平移，旋轉，縮放，彈性形變等。若訓練過(guò)程未采用數據擴增，需論證未進(jìn)行數據擴增的理由。

4.5算法驗證與確認

明確臨床醫師操作點(diǎn)、不同算法任務(wù)的算法評價(jià)指標的閾值及確定依據。明確算法標記目標與參考標準的匹配方式和匹配閾值。

明確病例水平和結節水平計算方法及定義一個(gè)結節的處理方法及病例陽(yáng)性的方法。在計算病例水平算法性能指標時(shí)，需要明確陽(yáng)性以及陰性病例的定義，比如陽(yáng)性病例是定義為包含肺結節的病例，還是定義為包含>4mm肺結節的病例。在計算結節水平算法性能指標時(shí)，需要明確檢出（真陽(yáng)性）以及假陽(yáng)性的定義，比如檢測框與參考標準重合率為多少時(shí)認為檢測框是真陽(yáng)性，檢測框與金標準重合率的定義等。

區分算法任務(wù)制定具體測試方法和結果計算方法。建議參考《人工智能醫療器械 肺部影像輔助分析軟件 算法性能測試方法》。

基于算法的出廠(chǎng)閾值，明確算法在訓練集，調優(yōu)集和測試集的召回率與精確度，通過(guò)比較三個(gè)數據集的性能來(lái)評估算法的泛化性。

對于肺結節檢出算法，需分層統計算法對于不同大小和不同密度的肺結節的檢出效能，可以通過(guò)FROC曲線(xiàn)，召回率以及精確度等指標來(lái)評價(jià)，同時(shí)結合臨床需求論述結果的合理性。在肺結節大小的維度來(lái)進(jìn)行分層統計，如將肺結節分為4-5mm,5-8mm ，8-10mm以及10-30mm。一般而言，肺結節尺寸越大，檢出的難度越低。在肺結節密度維度，需明確是二分類(lèi)還是多分類(lèi)，需明確密度類(lèi)型及制定依據，進(jìn)行密度類(lèi)型的分層統計。

除此之外，還需考慮性別、年齡、設備廠(chǎng)家、重建方式、層厚/層間距、管電流、管電壓、劑量(常規劑量、低劑量)、等因素對肺結節檢出算法效能的影響。需明確設備主流廠(chǎng)家，且必須符合DICOM 3.0協(xié)議標準數據；管電壓考慮70-140 kV，管電流考慮10-400 mA；層厚與層間距需不超過(guò)5mm；重建方式需考慮常見(jiàn)的肺算法與標準算法（軟組織算法）。

在亞組的分層統計中，肺結節檢出效能需在不同因素下均能取得較好性能。若在某些影響因素下，肺結節檢出效能存在差異，需進(jìn)行合理地論證，并在說(shuō)明書(shū)給出使用限制。

需提供算法性能測試報告，至少包括軟件環(huán)境、硬件環(huán)境、測試平臺描述（如適用）、測試集描述、算法性能指標的符合性分析（性能指標的定義、測試通過(guò)準則、統計分析）、算法錯誤統計。需包括算法性能及算法質(zhì)量特性、隨訪(fǎng)功能測試結果。

4.6 算法性能綜合分析

結合算法訓練、算法性能評估、臨床評價(jià)等結果開(kāi)展算法性能綜合評價(jià)，針對訓練樣本量和測試樣本量過(guò)少、測試結果明顯低于算法設計目標、算法性能變異度過(guò)大等情況，對產(chǎn)品的適用范圍、使用場(chǎng)景、核心功能進(jìn)行必要限制。

需對算法測試產(chǎn)生的錯誤結果進(jìn)行分析，評估算法在檢出、分類(lèi)等任務(wù)中出現的假陽(yáng)性、假陰性結果的含義與危險程度，形成定量報告。

5．用戶(hù)培訓方案

對于軟件安全性級別為嚴重級別的產(chǎn)品，原則上需單獨提供一份用戶(hù)培訓方案，包括用戶(hù)培訓的計劃、材料、方式、師資等。

用戶(hù)培訓需關(guān)注以下內容：預期用戶(hù)要求，如工作年限或執業(yè)資格；醫生必須對軟件結果進(jìn)行確認，軟件只用于輔助檢測，不能替代醫生。CT圖像要求，如嚴重呼吸、金屬偽影或有掃描質(zhì)量問(wèn)題的CT圖像慎用；基于臨床試驗驗證，不宜使用該軟件的疾??；

（四）產(chǎn)品說(shuō)明書(shū)和標簽樣稿

說(shuō)明書(shū)、標簽和包裝標識需符合《醫療器械說(shuō)明書(shū)和標簽管理規定》和《醫療器械軟件注冊審查指導原則（2022年修訂版）》、《醫療器械網(wǎng)絡(luò )安全注冊審查指導原則（2022年修訂版）》、《人工智能醫療器械注冊審查指導原則》和相關(guān)標準的規定。

說(shuō)明書(shū)內容需重點(diǎn)關(guān)注：

1.用戶(hù)說(shuō)明

對預期用戶(hù)和推薦用戶(hù)培訓的詳細說(shuō)明。如，預期用戶(hù)工作年限或執業(yè)資格要求，且需經(jīng)培訓合格。

2.使用限制

若產(chǎn)品采用人工智能黑盒算法，需根據算法影響因素分析報告，在說(shuō)明書(shū)中明確產(chǎn)品使用限制和必要警示提示信息。

示例：不應僅僅依靠本器械所標識的輸出，應由專(zhuān)業(yè)醫師對結果進(jìn)行解釋。

已發(fā)現該器械對于XX的受檢者無(wú)效。具有這種疾病/病癥/異常的受檢者不應使用該器械。

對訓練數據、測試數據與臨床試驗的算法性能評估結果不佳，數據量偏少的，此類(lèi)受檢者使用該器械，應由專(zhuān)業(yè)醫師結合受檢者的病史、癥狀、體征、其他檢查結果情況綜合給出最終的肺結節檢出結論，核實(shí)是否需要進(jìn)一步診療的決策，并對臨床診斷結果負責。

3.注意事項

測量準確性（如圖像長(cháng)度、CT值平均值、最大值、最小值、面積值、體積、密度、位置坐標）、測量功能警示信息，如體積測量是基于體素個(gè)數的圖形學(xué)測量，并不能完全反映人體真實(shí)的體積，測量體積僅供醫生參考。

CT圖像質(zhì)量要求，如嚴重呼吸、金屬偽影或有掃描質(zhì)量問(wèn)題的CT圖像慎用；圖像序列未完整包含肺臟全部組織的圖像數據禁用。

醫生必須對軟件結果進(jìn)行確認，軟件只用于輔助檢測，不能替代醫生。原始的AI結果應保留，確保軟件結果的可追溯性與可責性。

4.預防措施

需明確與器械使用相關(guān)的不良事件，并提供緩解措施建議。不良事件討論需至少包括對假陽(yáng)性事件和假陰性事件的不良事件的討論。

5.器械描述

需提供以下內容：

-算法設計和功能的概述

-特殊聲稱(chēng)（如用于小于4mm結節檢測）

-研發(fā)和調整算法中所用的受檢者數據的參考標準的描述

-與本器械兼容的采集技術(shù)

-適當顯示器械標記的要求

-軟件輸出報告及界面數據圖示

6.軟件

需明確軟件發(fā)布版本、提供網(wǎng)絡(luò )安全說(shuō)明和使用指導，明確用戶(hù)訪(fǎng)問(wèn)控制機制、電子接口（含網(wǎng)絡(luò )接口、電子數據交換接口）及其數據類(lèi)型和技術(shù)特征、網(wǎng)絡(luò )安全特征配置、數據備份與災難恢復、運行環(huán)境（含硬件配置、外部軟件環(huán)境、網(wǎng)絡(luò )環(huán)境，若適用）、安全軟件兼容性列表（若適用）、外部軟件環(huán)境與安全軟件更新（若適用）、現成軟件清單（SBOM，若適用）等要求。

7.產(chǎn)品接口和聯(lián)合使用設備

需明確對配合使用的圖像工作站和PACS適當顯示器械標記的要求（如適用）。

需明確CT設備兼容（廠(chǎng)家、型號（如適用）、層數）與掃描參數要求（如層厚、層間距、重建方式、管電壓、管電流、劑量（常規劑量、低劑量））。

8.算法訓練總結

訓練方法概述、開(kāi)發(fā)數據庫基本信息、訓練指標與結果、調優(yōu)指標及結果。

9.算法性能評估總結

-算法輸入與輸出

-測試集基本信息

-用于確定器械標記的每個(gè)區域的性質(zhì)的評分標準

-每個(gè)可用器械操作點(diǎn)的總體敏感度和假陽(yáng)性率指標

-分層分析（如，根據病變大小、病變類(lèi)型、采集參數、成像或數據特征）

-獨立FROC性能（如適用），需和操作特性曲線(xiàn)一起說(shuō)明。

-測試結果

10.臨床試驗總結

需包括臨床試驗設計基本類(lèi)型、研究對象（受試者及閱片者情況）、評價(jià)指標，金標準、對收集臨床信息方法的描述、統計方法描述、樣本量，臨床試驗結果（含各結節尺寸、各密度類(lèi)型結節情況）。

11.公開(kāi)數據庫及測試結果（如有）

12.第三方測評數據庫及測試結果（如有）

13.輔助決策指標定義（或提供決策指標定義所依據的臨床指南、專(zhuān)家共識等參考文獻）等信息。如結節大小、結節密度類(lèi)型的定義、低劑量/常規劑量的定義、分層依據。

三、參考文獻

[1]《醫療器械注冊與備案管理辦法》（國家市場(chǎng)監督管理總局令第47號）[Z].

[2]《醫療器械說(shuō)明書(shū)和標簽管理規定》（國家食品藥品監督管理總局令第6號）[Z].

[3]《醫療器械注冊申報資料要求和批準證明文件格式》（國家藥品監督管理局2021年第121號）[Z].

[4]《醫療器械通用名稱(chēng)命名指導原則》（國家藥品監督管理局2019年第99號）[Z].

[5]《醫療器械產(chǎn)品技術(shù)要求編寫(xiě)指導原則》（國家藥品監督管理局2022年第8號）[Z].

[6]《醫療器械軟件注冊審查指導原則（2022年修訂版）》（國家藥品監督管理局醫療器械技術(shù)審評中心2022年第9號）[Z].

[7]《人工智能醫療器械注冊審查指導原則》(國家藥品監督管理局醫療器械技術(shù)審評中心2022年第8號)[Z].

[8] 《人工智能類(lèi)醫用軟件產(chǎn)品分類(lèi)界定指導原則》（國家藥品監督管理局2021年第47號）[Z].

    [9] YY/T 0316-2016，《醫療器械 風(fēng)險管理對醫療器械的應用》[S].

[10] YY/T 1833.1，《人工智能醫療器械 質(zhì)量要求和評價(jià) 第1部分：術(shù)語(yǔ)》（報批稿） [S].

[11] YY/T 1833.2，《人工智能醫療器械 質(zhì)量要求和評價(jià) 第2部分：數據集通用要求》（報批稿） [S].

    [12]YY/T 1833.3，《人工智能醫療器械 質(zhì)量要求和評價(jià) 第3部分：數據標注通用要求》（報批稿） [S].

[13] YY/T XXXX，《人工智能醫療器械 肺部影像輔助分析軟件 算法性能測試方法》（報批稿） [S].

[14]AIMDICP-WG6-2020-002，《基于胸部CT的肺結節影像輔助決策產(chǎn)品性能指標和測試方法》[S].

[15] FDA. Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data- Premarket Notification[510(k)] Submissions [EB/OL]https://www.fda.gov/media/77635/download. 2012-07-03/2022-3-8.

[16] FDA. Clinical Performance Assessment: Considerations for Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data in-Premarket Notification [510(k)] Submissions [EB/OL] https://www.fda.gov/media/77642/download 2020-1-22/2022-3-8.

[17] 胸部CT肺結節數據集構建及質(zhì)量控制專(zhuān)家共識[J].中華放射學(xué)雜志,2021,55(02):104-110.

[18]胸部CT肺結節數據標注與質(zhì)量控制專(zhuān)家共識(2018)[J].中華放射學(xué)雜志,2019(01):9-15.

[19] 周清華,范亞光,王穎,喬友林,王貴齊,黃云超,王新允,吳寧,張國楨,鄭向鵬,步宏.中國肺部結節分類(lèi)、診斷與治療指南(2016年版)[J].中國肺癌雜志,2016,19(12):793-798.

[20] 赫捷,李霓,陳萬(wàn)青,吳寧,沈洪兵,江宇,李江,王飛,田金徽,中國肺癌篩查與早診早治指南制定顧問(wèn)組,中國肺癌篩查與早診早治指南制定專(zhuān)家組,中國肺癌篩查與早診早治指南制定工作組.中國肺癌篩查與早診早治指南(2021,北京)[J].中國綜合臨床,2021,37(03):193-207.

[21] 劉士遠.肺亞實(shí)性結節影像處理專(zhuān)家共識[J].中華放射學(xué)雜志,2015,49(04):254-258.

[22] 中國肺結節病診斷和治療專(zhuān)家共識[J].中華結核和呼吸雜志,2019(09):685-693.

[23] Bankier Alexander A,MacMahon Heber,Goo Jin Mo,Rubin Geoffrey D,Schaefer-Prokop Cornelia M,Naidich David P. Recommendations for Measuring Pulmonary Nodules at CT: A Statement from the Fleischner Society.[J]. Radiology,2017,285(2).

[24] Bai, C., Choi, C.-M., Chu, C. M., Anantham, D., Chung-man Ho, J., Khan, A. Z., … Yim, A. (2016). Evaluation of Pulmonary Nodules. Chest, 150(4), 877–893.

[25] Deterbeck FC, Mazzone PJ, Naidich DP, et al. Screening for lung cancer:Diagnosis and management of lung cancer, 3rd ed: American College of Chest Physicians evidence-based clinical practice guidelines. Chest, 2013,143(5 Suppl): e78S- e92S.