近日，為深入貫徹落實(shí)國家藥品監督管理局有關(guān)監管要求，指導監管人員加強對人工智能醫療器械生產(chǎn)質(zhì)量監管，引導相關(guān)醫療器械生產(chǎn)企業(yè)科學(xué)開(kāi)展生產(chǎn)活動(dòng)，推動(dòng)北京市人工智能醫療器械產(chǎn)業(yè)高質(zhì)量發(fā)展，北京市藥品監督管理局根據相關(guān)法規、文件和標準要求，以及監管實(shí)際，組織編制了《北京市人工智能醫療器械生產(chǎn)質(zhì)量管理規范檢查指南（2024版）》，詳見(jiàn)正文。其他地區人工智能醫療器械注冊人也可以參考！

北京市人工智能醫療器械生產(chǎn)質(zhì)量管理規范檢查指南（2024版）

人工智能醫療器械是指基于“醫療器械數據”，采用人工智能技術(shù)實(shí)現其預期醫療用途的醫療器械，包括第二類(lèi)、第三類(lèi)人工智能獨立軟件和含有人工智能軟件組件的醫療器械（包括體外診斷醫療器械）。

本指南結合人工智能醫療器械特點(diǎn)，依據《醫療器械生產(chǎn)質(zhì)量管理規范》《醫療器械生產(chǎn)質(zhì)量管理規范附錄獨立軟件》《醫療器械生產(chǎn)質(zhì)量管理規范獨立軟件現場(chǎng)檢查指導原則》等文件，明確了對人工智能醫療器械的生產(chǎn)質(zhì)量管理體系要求。旨在幫助北京市醫療器械生產(chǎn)監管人員增強對人工智能醫療器械產(chǎn)品生產(chǎn)監管的認知，指導和規范全市醫療器械生產(chǎn)監管人員對人工智能醫療器械注冊人、受托生產(chǎn)企業(yè)（以下簡(jiǎn)稱(chēng)“生產(chǎn)企業(yè)”）的監督檢查工作。同時(shí)，為相關(guān)生產(chǎn)企業(yè)開(kāi)展生產(chǎn)管理活動(dòng)提供參考和依據。

本指南中引用的國家相關(guān)法律、法規、規章、標準、檢查指南等版本發(fā)生變化時(shí)，要以當時(shí)執行的最新版為準。隨著(zhù)法規、強制性標準體系的不斷完善以及科技能力、認知水平的不斷發(fā)展，必要時(shí)，北京市藥品監督管理局將重新研究修訂，以確保本指南持續符合要求。

一、機構和人員

人工智能醫療器械具有對數據和算法依賴(lài)性高的特點(diǎn)，數據處理和算法相關(guān)的機構和人員是關(guān)鍵性要素，生產(chǎn)企業(yè)應定義相關(guān)人員角色、明確職責和資質(zhì)要求，可參照IEEE Std 2801-2022醫學(xué)人工智能數據集質(zhì)量管理推薦標準。

（一）數據處理人員：生產(chǎn)企業(yè)應確立一名數據管理代表全面負責數據處理相關(guān)工作。數據處理人員一般包括首席研究員、數據管理員、采集人員、初級標注人員、審核人員、仲裁人員等，標注過(guò)程中處理同一例數據時(shí)，初級標注、審核、仲裁人員之間不可相互兼任；應明確人員的職責、任職資質(zhì)、選拔、培訓、考核要求，如職稱(chēng)、工作年限、工作經(jīng)驗等；應有任命、培訓（如培訓材料、培訓方案）及考核記錄（如方法、頻次、指標、通過(guò)準則、一致性）等；對于生產(chǎn)企業(yè)外部聘用人員的還應記錄聘用、主要執業(yè)機構、培訓等信息，明確其資質(zhì)是否滿(mǎn)足崗位要求。

（二）算法相關(guān)人員：生產(chǎn)企業(yè)應建立具有算法研發(fā)能力且穩定的算法團隊，確立一名團隊負責人全面負責算法相關(guān)工作。算法團隊人員一般包括：算法研究人員、算法工程人員、算法測試人員、算法部署人員，上述人員中同一算法測試人員不可與其他角色兼任。若采用外部委托研發(fā)或者直接使用開(kāi)源項目進(jìn)行算法的研發(fā)，則必須有算法測試人員和部署人員，并對算法相關(guān)的質(zhì)量負責。

二、廠(chǎng)房與設施

人工智能醫療器械的數據集是進(jìn)行開(kāi)發(fā)的要素，對采用自建數據集的產(chǎn)品，數據預處理、清洗、標注等操作的場(chǎng)所為真實(shí)場(chǎng)所或模擬場(chǎng)所，真實(shí)的場(chǎng)所應明確環(huán)境條件（如空間、照明、溫度、濕度、氣壓等），如有特殊要求應保持相關(guān)記錄，采用模擬場(chǎng)所情形可根據產(chǎn)品實(shí)際情況調整模擬程度，需詳述調整理由并予以記錄；對采用公開(kāi)數據集、第三方數據集，則需對數據集開(kāi)發(fā)方所能提供范圍內的場(chǎng)地信息進(jìn)行記錄。

三、設備

生產(chǎn)企業(yè)應結合自身產(chǎn)品的實(shí)際情況，在產(chǎn)品生存周期過(guò)程提供充分、適宜、有效的軟硬件設備、開(kāi)發(fā)測試工具、網(wǎng)絡(luò )資源以及病毒防護、數據備份與恢復等保障措施。

（一）數據集構建所用設備

1.數據采集設備管理應明確兼容性和采集特征等要求，設備的兼容性記錄應包括采集設備的名稱(chēng)、規格型號、制造商、性能指標，若無(wú)需考慮兼容性要求應詳述理由并予以記錄。采集特征需明確采集設備的采集方式（如常規成像、增強成像）、采集協(xié)議（如MRI成像序列）、采集參數（如CT加載電壓、加載電流、加載時(shí)間、層厚）、采集精度（如分辨率、采樣率）。數據采集若使用歷史數據，需列明采集設備及采集特征要求，并開(kāi)展數據采集質(zhì)量評估工作。

2.企業(yè)應配備執行數據集相關(guān)任務(wù)需要的資源，如訪(fǎng)問(wèn)、讀取數據、預覽、檢索等任務(wù)需要的軟件、硬件、網(wǎng)絡(luò )配置。測試集應配備封閉管理需要的軟件、硬件、網(wǎng)絡(luò )配置，明確管理要求。

3.數據標注應明確標注軟件（包含自動(dòng)標注軟件）的要求，明確標注軟件的名稱(chēng)、規格型號、完整版本、制造商、運行環(huán)境、軟件確認等要求并予以記錄。

4.若需使用特定的外部設備獲取附加的信息（如病理結果、檢驗結果、數據模態(tài)轉化、多模態(tài)配準、體積測量、三維打印等），設備的規格型號、計量信息（如需計量）等應確認要求并予以記錄。

5.數據整理所用軟件工具（含腳本）均需明確名稱(chēng)、規格型號、完整版本、制造商、運行環(huán)境，并進(jìn)行軟件確認。

（二）算法研發(fā)所用設備

1.應明確定義并記錄進(jìn)行算法訓練、算法測試、算法部署所用到服務(wù)器算力的典型配置（如GPU型號和數量、CPU型號和數量、內存大小、網(wǎng)絡(luò )帶寬等）。

2.應明確定義并記錄算法訓練所用的操作系統、開(kāi)發(fā)環(huán)境（如編程語(yǔ)言及版本、集成開(kāi)發(fā)環(huán)境及版本、web服務(wù)及版本、支持軟件及版本等）、算法架構（如基礎計算包、GPU指令集、集成開(kāi)發(fā)環(huán)境插件等）。

3.應明確定義并記錄算法測試所用的操作系統、開(kāi)發(fā)環(huán)境、算法框架、基礎服務(wù)等，若與其他外部設備進(jìn)行配合或作為軟件組件集成到其他醫療器械中，明確說(shuō)明外部設備和器械的規格型號。

4.應明確定義并記錄算法部署運行的操作系統、開(kāi)發(fā)環(huán)境、算法框架、基礎服務(wù)、虛擬機、應用容器引擎等。

四、設計開(kāi)發(fā)

生產(chǎn)企業(yè)應結合質(zhì)量管理體系要求，建立人工智能醫療器械生存周期過(guò)程，開(kāi)展與軟件安全性級別相匹配的產(chǎn)品質(zhì)量保證工作，確定需求分析、數據收集、算法設計、驗證與確認、部署運行、更新控制等活動(dòng)要求，將風(fēng)險管理、可追溯分析（需包含算法和數據）貫穿于生存周期全程，形成記錄。

（一）需求分析

1.需求分析應當以用戶(hù)需求與風(fēng)險為導向，結合產(chǎn)品的預期用途、使用場(chǎng)景、核心功能，綜合分析法律、法規、規章、標準、用戶(hù)、產(chǎn)品、功能、性能、接口、用戶(hù)界面、網(wǎng)絡(luò )安全、警示提示等需求，明確風(fēng)險管理、可追溯性分析、數據收集、算法性能、使用限制、現成軟件（現成算法）的驗證與確認等活動(dòng)要求，形成相應文件。

2.數據收集應當確保數據來(lái)源的合規性、充分性和多樣性，數據分布的科學(xué)性和合理性，數據質(zhì)控的充分性、有效性和準確性。

3.算法性能需結合醫療實(shí)際和產(chǎn)品定位，明確假陰性與假陽(yáng)性、重復性與再現性、魯棒性/健壯性、實(shí)時(shí)性等性能指標的適用性及其要求，并兼顧不同性能指標的制約關(guān)系。

4.使用限制需考慮產(chǎn)品禁用、慎用等場(chǎng)景，準確表述產(chǎn)品使用場(chǎng)景，提供必要警示提示信息。

（二）數據收集

1.數據采集

數據采集應當明確采集設備、采集過(guò)程、數據脫敏等質(zhì)控要求，并建立數據采集操作規范。若使用歷史數據，應當結合樣本規模、采集難度等影響因素合理選擇數據采集方式，明確數據篩選標準并對采集的數據進(jìn)行質(zhì)量評估。

采集的數據應進(jìn)行數據脫敏以保護患者隱私，數據脫敏需明確脫敏的類(lèi)型（靜態(tài)、動(dòng)態(tài)）、規則、方法以及脫敏內容的確定依據。如使用歷史數據，企業(yè)接收的數據應為脫敏后的數據，不得有敏感數據流入企業(yè)。

2.數據整理

數據整理應基于原始數據庫明確數據清洗、數據預處理的質(zhì)控要求。數據清洗應當明確清洗的規則、方法、結果，數據預處理應當明確處理的方法（如濾波、增強、重采樣、尺寸裁剪、均一化等）、結果。數據經(jīng)整理后形成基礎數據庫，需明確樣本類(lèi)型、樣本量、樣本分布等信息。

3.數據標注

數據標注應當明確標注資源管理、標注過(guò)程質(zhì)控、標注質(zhì)量評估等要求，并建立數據標注操作規范。標注過(guò)程質(zhì)控包括人員職責（如人員資質(zhì)、人員數量、職責分工）、標注規則（如臨床指南、專(zhuān)家共識、專(zhuān)家評議、文獻分析）、標注流程（如標注對象、標注形式、標注輪次、標注步驟、結果審核）、分歧處理（如仲裁人員、仲裁方式）、可追溯性（如數據、操作）等要求。數據經(jīng)標注后形成標注數據庫，樣本類(lèi)型可分為數據塊（如圖像區域、數據片段）、單一數據（由多個(gè)數據塊組成）、數據序列（由多個(gè)單一數據組成）。標注數據庫的樣本量、樣本分布等要求及風(fēng)險考量與基礎數據庫相同。

數據標注若使用自動(dòng)標注軟件，結果不得直接使用，應由標注人員審核后方可使用。

4.數據集構建

基于標注數據庫構建訓練集、調優(yōu)集（若有）、測試集，應當明確訓練集、調優(yōu)集、測試集的劃分方法、劃分依據、數據分配比例。訓練集原則上需保證樣本分布具有均衡性，測試集、調優(yōu)集原則上需保證樣本分布符合真實(shí)情況，訓練集、調優(yōu)集、測試集的樣本應兩兩無(wú)交集并通過(guò)查重予以驗證。

數據擴增（若有）應當明確擴增的對象、范圍、方式（離線(xiàn)、在線(xiàn)）、方法（如翻轉、旋轉、鏡像、平移、縮放、濾波、生成對抗網(wǎng)絡(luò )等）、倍數，在線(xiàn)擴增亦需予以記錄，擴增需考慮數據偏倚的影響及風(fēng)險。原則上不得對測試集進(jìn)行數據擴增，對抗測試除外。

數據經(jīng)擴增后應當形成擴增數據庫，需列表對比擴增數據庫與標注數據庫在樣本量、樣本分布（注明擴增倍數）等差異，以證實(shí)擴增數據庫樣本量的充分性以及樣本分布的合理性。

（三）算法設計

1.算法選擇

算法選擇應當提供所用算法的名稱(chēng)、類(lèi)型（如有監督學(xué)習、無(wú)監督學(xué)習，基于模型、基于數據，白盒、黑盒）、結構（如層數、參數規模）、輸入輸出數據類(lèi)型、流程圖、算法編程框架、運行環(huán)境等基本信息，并明確算法選用依據，包括選用的理由和基本原則。若組合使用集成學(xué)習、遷移學(xué)習、強化學(xué)習等，需提供算法基本信息以及算法選用依據。

2.算法訓練

算法訓練應當基于訓練集、調優(yōu)集進(jìn)行訓練和調優(yōu)，考慮評估指標、訓練方式、訓練目標、調優(yōu)方式、訓練數據量—評估指標曲線(xiàn)等要求。

3.算法性能評估

算法性能評估應當基于測試集對算法設計結果進(jìn)行評估，綜合評估假陰性與假陽(yáng)性、重復性與再現性、魯棒性/健壯性、實(shí)時(shí)性等適用性，以證實(shí)算法性能滿(mǎn)足算法設計目標，并作為軟件驗證、軟件確認的基礎。若使用第三方數據庫開(kāi)展算法性能評估，應當提供第三方數據庫的基本信息（如名稱(chēng)、創(chuàng )建者、數據總量等）和使用情況（如測試數據樣本量、評估指標、評估結果等）。

對于黑盒算法，應開(kāi)展算法性能影響因素分析，并提供算法性能影響因素分析報告，明確影響算法性能的主要因素及其影響程度，以及產(chǎn)品使用限制和必要警示提示信息。

（四）驗證與確認

1.軟件驗證

軟件驗證應當基于軟件需求予以開(kāi)展，保證軟件的安全有效性，并作為軟件確認的基礎。

2.軟件確認

軟件確認測試應當基于用戶(hù)需求，由預期用戶(hù)在真實(shí)或模擬使用場(chǎng)景下予以開(kāi)展，涵蓋現成軟件、網(wǎng)絡(luò )安全的測試要求，確定缺陷管理、風(fēng)險管理、可追溯性分析、評審等活動(dòng)要求，形成用戶(hù)測試記錄、測試報告以及評審記錄并經(jīng)批準，適時(shí)更新并經(jīng)批準?？勺匪菪苑治龃藭r(shí)應當分析用戶(hù)測試與用戶(hù)需求、用戶(hù)測試與風(fēng)險管理的關(guān)系。同時(shí)，開(kāi)展算法性能比較分析，若各類(lèi)測試場(chǎng)景（含臨床評價(jià)）算法性能變異度較大，詳述原因并基于分析結果明確產(chǎn)品使用限制和必要警示提示信息。最后，結合算法訓練、算法性能評估、臨床評價(jià)等結果開(kāi)展算法性能綜合評價(jià)，針對訓練樣本量和測試樣本量過(guò)少、測試結果明顯低于算法設計目標、算法性能變異度過(guò)大等情況，對產(chǎn)品的適用范圍、使用場(chǎng)景、核心功能進(jìn)行必要限制。

基于測評數據庫開(kāi)展的，除滿(mǎn)足數據庫通用要求（如數據管理、網(wǎng)絡(luò )安全與數據安全、可擴展性）外，還應滿(mǎn)足權威性、科學(xué)性、規范性、多樣性、封閉性和動(dòng)態(tài)性要求。不應使用公開(kāi)數據庫作為測評數據庫。

（五）部署運行

算法發(fā)布和更新時(shí)應在相關(guān)文件列明算法關(guān)鍵模塊的功能、接口、版本、存儲形式（如pt、pth、bin、onnx、pb、keras、ckpt、pkl等）；主要功能組件模塊及相互依賴(lài)和接口關(guān)系；軟件的前后端部署方式；對基礎軟件和硬件的依賴(lài)和兼容性要求等。

（六）更新控制

人工智能醫療器械若發(fā)生算法更新、軟件更新，均應當按照質(zhì)量管理體系的要求，開(kāi)展與算法更新、軟件更新的類(lèi)型、內容和程度相適宜的驗證與確認活動(dòng)，將風(fēng)險管理、可追溯分析貫穿于更新全程，形成記錄。此外，算法更新、軟件更新均需考慮引入回滾機制，以保證醫療業(yè)務(wù)的連續性，特別是對風(fēng)險較高的軟件。

軟件版本控制應當基于合規性要求確定軟件版本命名規則，涵蓋自研軟件、現成軟件、算法（算法驅動(dòng)型更新或數據驅動(dòng)型更新）網(wǎng)絡(luò )安全的全部軟件更新類(lèi)型，明確并區分重大軟件更新和輕微軟件更新，并符合軟件版本命名規則的要求。

對數據集進(jìn)行用途（如訓練、調優(yōu)、測試、驗證等）的變更，應按照數據集管理體系的要求進(jìn)行確認形成記錄。高控制等級的數據集停用后數據可流入低控制等級的數據集，不允許低控制等級的數據集向高控制等級流動(dòng)（測試集數據可變更為訓練和調優(yōu)使用，不可將訓練集、調優(yōu)集的數據變更為測試使用）。數據集數據的變更，應按照建立數據集過(guò)程相同的質(zhì)量體系進(jìn)行管理，并記錄更新內容和版本變更。

（七）網(wǎng)絡(luò )與數據安全

人工智能醫療器械全生命周期過(guò)程中應當考慮網(wǎng)絡(luò )安全與數據安全問(wèn)題，對網(wǎng)絡(luò )與數據安全過(guò)程的控制要求形成文件，包括數據轉移要求，數據整理、數據集構建、算法訓練等內部活動(dòng)開(kāi)展過(guò)程中的數據污染防護措施，以及數據標注、軟件確認等涉及外部活動(dòng)開(kāi)展過(guò)程中的數據污染防護措施及數據接口要求。

各數據庫（集）均需進(jìn)行數據備份，明確備份的方法、頻次、數據恢復方法。

數據庫和數據集訪(fǎng)問(wèn)應明確授權訪(fǎng)問(wèn)管理要求，形成文件及記錄。

人工智能醫療器械軟件應明確算法的軟件安全性級別（輕微、中等、嚴重）并詳述判定理由。應形成算法風(fēng)險管理資料，明確過(guò)擬合與欠擬合、假陰性與假陽(yáng)性、數據污染與數據偏倚（如數據擴增引入的偏倚）、中外差異等風(fēng)險的控制措施。

（八）可追溯性分析

可追溯性分析應當建立控制程序，涵蓋軟件、現成軟件、算法及數據、網(wǎng)絡(luò )安全的控制要求，形成軟件及算法的可追溯性分析報告。使用可追溯性分析工具保證軟件開(kāi)發(fā)、軟件更新過(guò)程滿(mǎn)足可追溯性要求，并貫穿于軟件生存周期全過(guò)程。提供算法可追溯性分析報告等相關(guān)文件及記錄，即追溯算法需求、算法設計、算法實(shí)現、算法驗證與確認、風(fēng)險管理、數據集的管理。若無(wú)單獨文檔可提供軟件可追溯性分析報告，并注明算法可追溯性分析所在位置。

五、采購

生產(chǎn)企業(yè)應確保采購物品符合法律法規的相關(guān)規定和國家強制性標準的相關(guān)要求，包括數據來(lái)源及以開(kāi)源方式獲得的軟件等。

數據來(lái)源應當提供數據來(lái)源的合規性聲明，列明數據來(lái)源機構名稱(chēng)、所在地域、數據收集量、倫理批件（或科研合作協(xié)議）編號等信息。

產(chǎn)品部署運行所需的軟硬件，應當記錄采購信息，其中以開(kāi)源方式獲得的軟件組件、基礎包、基礎軟件、集成環(huán)境等，應列明來(lái)源、下載地址、版本、開(kāi)源協(xié)議等信息。

六、銷(xiāo)售和售后服務(wù)

人工智能醫療器械軟件在產(chǎn)品設計具有持續學(xué)習/自適應學(xué)習能力的，需要在軟件部署階段確認自學(xué)習功能已關(guān)閉，并提供記錄。

七、不良事件監測、分析和改進(jìn)

上市后需要持續開(kāi)展算法泛化能力研究的，需要結合用戶(hù)投訴、不良事件和召回等情況識別前期未預見(jiàn)的風(fēng)險，并采取有效的風(fēng)險控制措施將風(fēng)險降至可接受水平。此外，根據產(chǎn)品更新需求，經(jīng)評估后實(shí)施更新活動(dòng)，開(kāi)展與之相適宜的驗證與確認活動(dòng)，保證算法泛化能力持續滿(mǎn)足用戶(hù)需求。

如有人工智能醫療器械注冊咨詢(xún)服務(wù)需求，歡迎您隨時(shí)方便與杭州證標客醫藥技術(shù)咨詢(xún)有限公司聯(lián)絡(luò )，聯(lián)系人：葉工，電話(huà)：18058734169，微信同。