醫療器械法規、注冊、臨床、體系認證、信息系統一站式服務(wù)
24×7服務(wù)熱線(xiàn):0571-86198618 簡(jiǎn)體中文 ENGLISH
當前位置:網(wǎng)站首頁(yè)>關(guān)于我們>新聞動(dòng)態(tài)
人工智能醫療器械注冊審查指導原則(征求意見(jiàn)稿)
發(fā)布日期:2021-06-05 12:09瀏覽次數:2441次
為進(jìn)一步規范人工智能醫療器械生存周期過(guò)程質(zhì)控要求和注冊申報資料要求,并統一審評要求,藥監總局基于《深度學(xué)習輔助決策醫療器械軟件審評要點(diǎn)》,結合產(chǎn)品審評經(jīng)驗積累和監管科學(xué)研究成果,編寫(xiě)了《人工智能醫療器械注冊審查指導原則?(征求意見(jiàn)稿)》,即日起公開(kāi)征求意見(jiàn)。

引言:為進(jìn)一步規范人工智能醫療器械生存周期過(guò)程質(zhì)控要求和注冊申報資料要求,并統一審評要求,藥監總局基于《深度學(xué)習輔助決策醫療器械軟件審評要點(diǎn)》,結合產(chǎn)品審評經(jīng)驗積累和監管科學(xué)研究成果,編寫(xiě)了《人工智能醫療器械注冊審查指導原則(征求意見(jiàn)稿)》,即日起公開(kāi)征求意見(jiàn)。

人工智能醫療器械注冊審查指導原則.jpg

人工智能醫療器械注冊審查指導原則

(征求意見(jiàn)稿)

 

本指導原則旨在指導注冊人建立人工智能醫療器械生存周期過(guò)程和準備人工智能醫療器械注冊申報資料,同時(shí)規范人工智能醫療器械技術(shù)審評要求。

本指導原則是對人工智能醫療器械的一般要求。注冊人應依據產(chǎn)品具體特性和風(fēng)險程度確定本指導原則具體內容的適用性,若不適用應詳述理由。注冊人也可采用其他滿(mǎn)足法規要求的替代方法,但應提供詳盡的支持資料。

本指導原則是在現行法規、強制性標準體系以及當前科技能力、認知水平下制定的,隨著(zhù)法規、強制性標準體系的不斷完善以及科技能力、認知水平的不斷發(fā)展,本指導原則相關(guān)內容也將適時(shí)調整。

本指導原則是供注冊人、審評人員和檢查人員使用的指導文件,不涉及行政審批事項,亦不作為法規強制執行,應在遵循相關(guān)法規的前提下使用本指導原則。

本指導原則作為數字醫療指導原則體系的重要組成部分,遵循醫療器械軟件、醫療器械網(wǎng)絡(luò )安全、移動(dòng)醫療器械、醫療器械人因設計、醫療器械獨立軟件生產(chǎn)質(zhì)量現場(chǎng)檢查等數字醫療相關(guān)指導原則要求。

本指導原則是人工智能醫療器械的通用指導原則,其他含有人工智能技術(shù)的醫療器械指導原則可在本指導原則基礎上結合具體情況進(jìn)行有針對性的調整、修改和完善。采用人工智能技術(shù)進(jìn)行醫療器械的設計、生產(chǎn),亦可參考本指導原則適用要求。

一、適用范圍

本指導原則適用于人工智能醫療器械(含體外診斷醫療器械)的注冊申報,包括第二類(lèi)、第三類(lèi)人工智能獨立軟件和含有人工智能軟件組件的醫療器械。

本指導原則也可用作人工智能醫療器械體系核查的參考。

二、主要概念

(一)人工智能醫療器械

本指導原則所述人工智能醫療器械是指基于“醫療器械數據”,采用人工智能技術(shù)實(shí)現其預期用途的醫療器械。

醫療器械數據是指醫療器械產(chǎn)生的客觀(guān)醫療數據,如醫學(xué)影像設備產(chǎn)生的醫學(xué)圖像數據(如X射線(xiàn)、CT、MRI、超聲等圖像)、醫用電子設備產(chǎn)生的生理參數數據(如心電、腦電、血壓、無(wú)創(chuàng )血糖等波形數據)、體外診斷設備產(chǎn)生的體外診斷數據(如病理圖像、顯微圖像、有創(chuàng )血糖波形數據等);通用設備產(chǎn)生的用于醫療用途的客觀(guān)數據亦屬于醫療器械數據,如數碼相機拍攝的用于皮膚疾病診斷的皮膚照片、健康電子產(chǎn)品采集的用于心臟疾病預警的心電數據等?;卺t療器械數據包括單獨使用醫療器械數據,或者以醫療器械數據為主聯(lián)合使用非醫療器械數據(如電子病歷、醫學(xué)檢查報告的結果文本等)。

人工智能是指機器表現出與人類(lèi)智能相關(guān)行為的能力,通常是指通過(guò)感知周?chē)h(huán)境做出合理行動(dòng)以達到預期目標的計算機軟件或系統。機器學(xué)習是指與人類(lèi)學(xué)習行為相關(guān)的人工智能,通常是指通過(guò)整理現有數據和/或獲取新數據以提升性能的計算機軟件或系統。機器學(xué)習雖是人工智能的子集,但卻為人工智能的核心領(lǐng)域,二者當前對于醫療器械而言含義基本相同,故本指導原則對二者不做嚴格區分,統一采用人工智能進(jìn)行表述。

基于非醫療器械數據的醫學(xué)人工智能產(chǎn)品,或者采用人工智能技術(shù)實(shí)現非醫療用途的醫療器械均非人工智能醫療器械。醫學(xué)人工智能產(chǎn)品是否屬于人工智能醫療器械,必要時(shí)可申請醫療器械分類(lèi)界定。

(二)人工智能醫療器械類(lèi)型

從醫療器械軟件角度,人工智能醫療器械可分為人工智能獨立軟件和人工智能軟件組件,故其類(lèi)型劃分可參考醫療器械軟件指導原則相關(guān)維度。

人工智能醫療器械從用途角度可分為輔助決策類(lèi)和非輔助決策類(lèi)。其中,輔助決策是指通過(guò)提供診療活動(dòng)建議輔助醫務(wù)人員進(jìn)行臨床決策,如通過(guò)異常識別、病灶性質(zhì)判定、自動(dòng)制定手術(shù)計劃進(jìn)行輔助分診、輔助檢測、輔助診斷、輔助治療等,相當于醫務(wù)人員的助手。反之即為非輔助決策,包括流程優(yōu)化、診療驅動(dòng),如診療流程簡(jiǎn)化、自動(dòng)測量、三維重建等,相當于醫務(wù)人員的工具。

人工智能醫療器械從功能角度大體上可分為控制功能、處理功能,處理功能又可分為前處理功能和后處理功能。其中,控制功能是指控制/驅動(dòng)醫療器械硬件運行的功能,如控制機械臂運動(dòng)等。前處理功能是指采集人體解剖、生理信息生成醫療器械數據過(guò)程的處理功能,如成像質(zhì)量改善、成像流程簡(jiǎn)化等。后處理功能是指利用醫療器械數據生成診療信息過(guò)程的處理功能,如診療流程簡(jiǎn)化、自動(dòng)測量、三維重建、異常識別、病灶性質(zhì)判定、自動(dòng)制定手術(shù)計劃等。

人工智能醫療器械從算法角度具有多種類(lèi)型劃分維度。從學(xué)習策略角度可分為有監督學(xué)習和無(wú)監督學(xué)習,前者需要對訓練數據進(jìn)行標注,如回歸、分類(lèi)等典型算法,后者無(wú)需對訓練數據進(jìn)行標注,如聚類(lèi)、降維等典型算法,前者對于數據標注的要求高于后者。從學(xué)習方法角度可分為基于模型的算法和基于數據的算法,前者采用統計模型、規則推理等方法,后者主要基于大數據方法,前者對于訓練數據量的要求低于后者。從可解釋性角度可分為白盒算法和黑盒算法,前者特征提取需要人為干預,可與現有醫學(xué)知識建立關(guān)聯(lián),后者自動(dòng)完成特征提取,難與現有醫學(xué)知識建立關(guān)聯(lián),前者可解釋性?xún)?yōu)于后者。

上述類(lèi)型劃分維度相互交叉,例如:前處理和后處理均可采用不同類(lèi)型的人工智能算法實(shí)現輔助決策、非輔助決策用途。同時(shí),同一維度亦不存在嚴格的劃分界線(xiàn),例如:在用途方面,通過(guò)圖像識別技術(shù)進(jìn)行流程優(yōu)化則需考慮診療驅動(dòng)相關(guān)要求,自動(dòng)測量結果若為臨床決策指標則屬于輔助決策范疇;在功能方面,控制功能可與處理功能相結合,前處理過(guò)程可包含后處理功能;在算法方面,有監督學(xué)習和無(wú)監督學(xué)習可結合為半監督學(xué)習,統計模型可基于大數據,白盒算法和黑盒算法可結合為灰盒算法。

人工智能醫療器械可同時(shí)采用多種、多個(gè)人工智能算法,在前處理、后處理過(guò)程中實(shí)現輔助決策、非輔助決策用途。因此,應結合人工智能醫療器械的預期用途、使用場(chǎng)景、核心功能以及所用算法的類(lèi)型特點(diǎn)、技術(shù)特征、組合形式開(kāi)展相應產(chǎn)品質(zhì)控工作,以保證產(chǎn)品的安全有效性。

(三)人工智能算法更新

人工智能算法特別是基于數據的算法,具有快速迭代更新的特性。人工智能算法更新屬于軟件更新范疇,故遵循軟件更新的一般原則及要求:人工智能算法更新若影響到人工智能醫療器械的安全性或有效性則屬于重大軟件更新,應申請許可事項變更;反之,人工智能算法更新若未影響到人工智能醫療器械的安全性和有效性則屬于輕微軟件更新,通過(guò)質(zhì)量管理體系進(jìn)行控制,無(wú)需申請許可事項變更。

人工智能算法更新可分為算法驅動(dòng)型更新和數據驅動(dòng)型更新。其中,算法驅動(dòng)型更新是指人工智能醫療器械所用算法、算法結構、算法流程、算法框架(詳見(jiàn)后文)、輸入輸出等發(fā)生改變,通常屬于重大軟件更新。算法重新訓練即棄用原有訓練數據而采用全新訓練數據進(jìn)行算法訓練,亦屬于算法驅動(dòng)型更新。

數據驅動(dòng)型更新是指僅由訓練數據量增加而發(fā)生的算法更新。數據驅動(dòng)型更新是否屬于重大軟件更新原則上以算法性能評估結果(基于相同測試集)為準,算法性能評估結果若發(fā)生顯著(zhù)性改變則屬于重大軟件更新,即算法性能評估結果與前次注冊相比存在統計學(xué)差異,反之屬于輕微軟件更新。

軟件版本命名規則應涵蓋算法驅動(dòng)型更新和數據驅動(dòng)型更新,明確并區分重大軟件更新和輕微軟件更新,其中重大軟件更新列舉全部典型情況。

人工智能醫療器械其他類(lèi)型的算法更新、軟件更新以及重大軟件更新判定原則詳見(jiàn)醫療器械軟件指導原則、醫療器械網(wǎng)絡(luò )安全指導原則。軟件版本命名規則的一般要求詳見(jiàn)醫療器械軟件指導原則。

三、基本原則

(一)基于算法特性

人工智能技術(shù)從發(fā)展驅動(dòng)要素角度實(shí)為基于模型/數據和算力的算法,其中模型/數據是人工智能技術(shù)的基礎,算力是人工智能技術(shù)的保證,算法是人工智能技術(shù)的核心。

由于算力所用計算資源本身不屬于監管對象,計算資源的監管要求取決于其所屬的計算平臺類(lèi)型(參見(jiàn)后文人工智能芯片要求)。故從監管角度出發(fā),人工智能醫療器械安全有效性評價(jià)以算法特性為核心重點(diǎn)關(guān)注其泛化能力,以模型/數據為基礎重點(diǎn)關(guān)注其質(zhì)控情況,同時(shí)兼顧算力不足與失效的影響及風(fēng)險。

人工智能算法的類(lèi)型不同,其算法特性、適用場(chǎng)景也不同,評價(jià)重點(diǎn)亦有所側重;同時(shí),不同類(lèi)型的人工智能算法可組合使用,需結合各算法特性和算法組合形式進(jìn)行整體評價(jià)。因此,應結合人工智能醫療器械的預期用途、使用場(chǎng)景、核心功能選擇與之相適宜的人工智能算法或算法組合,基于算法特性并結合風(fēng)險管理開(kāi)展相應驗證與確認工作。

以深度學(xué)習為例,其是指通過(guò)訓練具有多個(gè)隱層的神經(jīng)網(wǎng)絡(luò )而獲得輸入輸出映射關(guān)系的人工智能算法,實(shí)為基于海量數據和高算力的黑盒算法。因此,對于采用深度學(xué)習技術(shù)的人工智能醫療器械,重點(diǎn)關(guān)注其算法泛化能力、數據質(zhì)控、可解釋性等問(wèn)題,同時(shí),深度學(xué)習若與其他類(lèi)型的人工智能算法組合使用,還應基于各算法特性重點(diǎn)關(guān)注算法組合的整體評價(jià)問(wèn)題。

人工智能新算法研究處于深入發(fā)展階段,如基于小樣本數據、基于弱標注數據、基于非結構化數據的算法。人工智能醫療器械若使用人工智能新算法,亦需基于算法特性并結合風(fēng)險管理開(kāi)展相應驗證與確認工作,以保證產(chǎn)品的安全有效性。

(二)風(fēng)險導向

人工智能醫療器械的風(fēng)險水平亦可用軟件安全性級別進(jìn)行表述,軟件安全性級別越高,其生存周期質(zhì)控要求越嚴格,注冊申報資料越詳盡,具體要求詳見(jiàn)醫療器械軟件指導原則。

人工智能醫療器械的軟件安全性級別可基于產(chǎn)品的預期用途、使用場(chǎng)景、核心功能進(jìn)行綜合判定,其中預期用途主要考慮用途類(lèi)型、重要程度、緊迫程度等因素,使用場(chǎng)景主要考慮使用場(chǎng)合、疾病特征、適用人群、目標用戶(hù)等因素,核心功能主要考慮功能類(lèi)型、核心算法、輸入輸出、接口等因素。亦可根據風(fēng)險管理所確定的風(fēng)險等級進(jìn)行判定,軟件安全性級別與風(fēng)險等級的分級可以不同,但二者存在對應關(guān)系,因此可根據風(fēng)險等級來(lái)判定軟件安全性級別,但應在采取風(fēng)險緩解措施之前進(jìn)行判定。

人工智能醫療器械的主要風(fēng)險從算法角度包括過(guò)擬合和欠擬合,其中過(guò)擬合是指算法對于訓練數據過(guò)度學(xué)習而將非普遍規律作為重要特征,欠擬合是算法對于訓練數據學(xué)習不充分而遺漏重要特征,均會(huì )降低算法泛化能力。從用途角度,輔助決策主要包括假陰性和假陽(yáng)性,其中假陰性即漏診,可能導致后續診療活動(dòng)延誤,特別是要考慮快速進(jìn)展疾病的診療活動(dòng)延誤風(fēng)險,而假陽(yáng)性即誤診,可能導致后續不必要的診療活動(dòng);非輔助決策從算法設計目標能否得以實(shí)現角度,亦可參考輔助決策分為假陰性和假陽(yáng)性。此外,進(jìn)口人工智能醫療器械還需考慮中外差異風(fēng)險,如中外在人種、流行病學(xué)特征、臨床診療規范等差異。

人工智能醫療器械應結合產(chǎn)品的預期用途、使用場(chǎng)景、核心功能開(kāi)展相應風(fēng)險管理活動(dòng),采取有效的風(fēng)險控制措施將風(fēng)險降至可接受水平,并貫穿于人工智能醫療器械全生命周期過(guò)程。

(三)全生命周期管理

注冊人應結合質(zhì)量管理體系要求,參考軟件、人工智能相關(guān)標準和良好工程實(shí)踐,建立人工智能醫療器械生存周期過(guò)程,開(kāi)展與軟件安全性級別相匹配的產(chǎn)品質(zhì)量保證工作,將風(fēng)險管理、可追溯分析貫穿于生存周期全程,形成記錄以供體系核查。

上市前應開(kāi)展充分、適宜、有效的驗證與確認活動(dòng),保證算法泛化能力滿(mǎn)足臨床需求,識別可預見(jiàn)風(fēng)險并將其降至可接受水平,明確產(chǎn)品使用限制(含技術(shù)限制,下同)和必要警示提示信息。上市后持續開(kāi)展算法泛化能力研究,結合用戶(hù)投訴、不良事件和召回等情況,識別前期未預見(jiàn)風(fēng)險并采取有效的風(fēng)險控制措施將風(fēng)險降至可接受水平,同時(shí)根據產(chǎn)品更新需求,經(jīng)評估后實(shí)施更新活動(dòng),開(kāi)展與之相適宜的驗證與確認活動(dòng),保證算法泛化能力持續滿(mǎn)足臨床需求。

四、人工智能醫療器械生存周期過(guò)程

人工智能醫療器械生存周期(即生命周期)過(guò)程可基于軟件生存周期過(guò)程予以建立,具體要求詳見(jiàn)醫療器械獨立軟件生產(chǎn)質(zhì)量管理規范及其現場(chǎng)檢查指導原則。

考慮到有監督深度學(xué)習是當前人工智能醫療器械的主流算法,故本指導原則以有監督深度學(xué)習為例詳述人工智能醫療器械生存周期過(guò)程質(zhì)控要求,主要包括需求分析、數據收集、算法設計、驗證與確認、更新控制等階段。其他類(lèi)型的人工智能算法可參照執行,不適用內容詳述理由并予以記錄。

(一)需求分析

需求分析以臨床需求與風(fēng)險為導向,結合產(chǎn)品的預期用途、使用場(chǎng)景、核心功能,綜合考慮法規、標準、用戶(hù)、產(chǎn)品、數據、功能、性能、接口、用戶(hù)界面、網(wǎng)絡(luò )安全、警示提示等需求,重點(diǎn)考慮數據收集、算法性能、使用限制等要求。

數據收集需考慮數據來(lái)源的合規性和多樣性、數據分布的科學(xué)性和合理性、數據質(zhì)控的充分性和有效性。數據來(lái)源在合規性基礎上保證多樣性,以提高算法泛化能力,例如:盡可能來(lái)源于多家、多地域、多層級的代表性臨床機構,盡可能來(lái)源于多家、多種、多參數的代表性采集設備。數據分布的科學(xué)性和合理性需結合目標疾病流行病學(xué)特征予以考慮,包括但不限于疾病構成(如分型、分級、分期)、人群分布(如健康、患者,性別、年齡、職業(yè)、地域、生活方式)、統計指標(如發(fā)病率、患病率、治愈率、死亡率、生存率)等情況,以及目標疾病并發(fā)癥與類(lèi)似疾病的影響情況。數據質(zhì)控的充分性和有效性需結合數據采集與數據標注的人員、設備、過(guò)程等影響因素予以考慮,具體要求詳見(jiàn)后文。

算法性能需結合臨床實(shí)際和產(chǎn)品定位,綜合考慮假陰性與假陽(yáng)性、重復性與再現性、魯棒性/健壯性等性能指標要求,兼顧不同性能指標的制約關(guān)系,如假陰性與假陽(yáng)性等。

使用限制需考慮產(chǎn)品禁用、慎用等場(chǎng)景,準確表述產(chǎn)品使用場(chǎng)景,提供必要警示提示信息。

(二)數據收集

數據收集基于合規性要求,主要考慮數據采集、數據整理、數據標注、數據集構建等活動(dòng)的質(zhì)控要求,以保證數據質(zhì)量和算法訓練效果。

1.數據采集

數據采集需考慮采集設備、采集過(guò)程、數據脫敏等質(zhì)控要求,并建立數據采集操作規范。數據采集亦可使用歷史數據,需結合樣本規模、采集難度等影響因素合理選擇數據采集方式。

采集設備質(zhì)控包括采集設備的兼容性和采集特征等要求。兼容性基于數據生成方式(直接生成、間接生成)考慮采集設備的兼容性要求,如采集設備的名稱(chēng)、型號規格、制造商、性能指標等要求,若無(wú)需考慮兼容性要求詳述理由并予以記錄。采集特征考慮采集設備的采集方式(如常規成像、增強成像)、采集協(xié)議(如MRI成像序列)、采集參數(如CT加載電壓、加載電流、加載時(shí)間、層厚)、采集精度(如分辨率、采樣率)等要求。

采集過(guò)程質(zhì)控包括人員管理、采集流程、采集質(zhì)量評估等要求。人員管理考慮采集人員、審核人員的選拔(如職稱(chēng)、工作年限、工作經(jīng)驗、所在機構,若有國外人員明確其資質(zhì)要求)、培訓(如培訓材料、培訓方案)、考核(如方法、頻次、指標、通過(guò)準則、一致性)等要求。采集流程考慮人員職責、采集步驟、結果審核等要求。采集質(zhì)量評估考慮評估人員、評估方法、評估指標、通過(guò)準則等要求,并記錄評估結果。

數據采集若使用歷史數據,需列明采集設備及采集特征要求,并開(kāi)展數據采集質(zhì)量評估工作。

采集的數據應進(jìn)行數據脫敏以保護患者隱私,數據脫敏需明確脫敏的類(lèi)型(靜態(tài)、動(dòng)態(tài))、規則、程度、方法。

2.數據整理

脫敏數據匯總形成原始數據庫,不同模態(tài)的數據在原始數據庫中需加以區分(下同)。

數據整理基于原始數據庫考慮數據清洗、數據預處理的質(zhì)控要求。數據清洗需明確清洗的規則、方法、結果,數據預處理需明確處理的方法(如濾波、增強、重采樣、尺寸裁剪、均一化等)、結果。數據整理所用軟件工具均需明確名稱(chēng)、型號規格、完整版本、制造商、運行環(huán)境,并進(jìn)行軟件確認。

數據經(jīng)整理后形成基礎數據庫,需明確樣本類(lèi)型、樣本量、樣本分布等信息。樣本類(lèi)型以適用人群為單位可分為單一數據、數據序列(由多個(gè)單一數據組成,如結構序列、功能序列、時(shí)間序列)。樣本量需考慮樣本規模的充分性,明確樣本總量確定依據。樣本分布需考慮樣本的多樣性和偏倚控制問(wèn)題,依據疾病構成、適用人群、數據來(lái)源機構、采集設備、樣本類(lèi)型等因素明確數據分布情況。

3.數據標注

數據標注作為有監督學(xué)習數據質(zhì)控的關(guān)鍵環(huán)節,應建立數據標注操作規范,明確標注資源管理、標注過(guò)程質(zhì)控、標注質(zhì)量評估等要求。

標注資源管理包括人員管理和基礎設施管理。人員管理考慮標注人員、審核人員和仲裁人員的選拔(如職稱(chēng)、工作年限、工作經(jīng)驗、所在機構,若有國外人員明確其資質(zhì)要求)、培訓(如培訓材料、培訓方案)、考核(如方法、頻次、指標、通過(guò)準則、一致性)等要求?;A設施管理考慮標注場(chǎng)所(真實(shí)場(chǎng)所或模擬場(chǎng)所,模擬場(chǎng)所可根據產(chǎn)品實(shí)際情況調整模擬程度,詳述調整理由并予以記錄)、標注環(huán)境條件(如空間、照明、溫度、濕度、氣壓)、標注軟件(名稱(chēng)、型號規格、完整版本、制造商、運行環(huán)境、軟件確認)等要求。

標注過(guò)程質(zhì)控包括人員職責(如資質(zhì)、數量、職責)、標注規則(如臨床指南、專(zhuān)家共識、專(zhuān)家評議、文獻分析)、標注流程(如標注對象、標注形式、標注輪次、標注步驟、結果審核)、分歧處理(如仲裁人員、仲裁方式)、可追溯性(如數據、操作)等要求。

標注質(zhì)量評估包括評估人員、評估方法、評估指標、通過(guò)準則等要求,并記錄評估結果。

數據經(jīng)標注后形成標注數據庫,其樣本類(lèi)型可分為數據塊(如圖像區域、數據片段)、單一數據(由多個(gè)數據塊組成)、數據序列(由多個(gè)單一數據組成)。樣本量、樣本分布等要求及風(fēng)險考量與基礎數據庫相同。

數據標注可使用自動(dòng)標注軟件,但自動(dòng)標注結果不得直接使用,應由標注人員審核后方可使用;同時(shí),自動(dòng)標注軟件亦需明確名稱(chēng)、型號規格、完整版本、制造商、運行環(huán)境等信息,并進(jìn)行軟件確認。

4.數據集構建

基于標注數據庫構建訓練集(用于算法訓練)、調優(yōu)集[1](若有,用于算法超參數調優(yōu))、測試集(用于算法性能評估),明確訓練集、調優(yōu)集、測試集的劃分方法、劃分依據、數據分配比例。訓練集需保證樣本分布具有均衡性,測試集、調優(yōu)集原則上需保證樣本分布符合臨床實(shí)際情況,訓練集、調優(yōu)集、測試集的樣本應兩兩無(wú)交集并通過(guò)查重予以驗證。

為解決樣本分布不滿(mǎn)足預期的問(wèn)題,可對訓練集、調優(yōu)集小樣本量數據進(jìn)行擴增,原則上不得對測試集進(jìn)行數據擴增,對抗測試(詳見(jiàn)后文)除外。數據擴增需明確擴增的對象、方式(離線(xiàn)、在線(xiàn))、方法(如翻轉、旋轉、鏡像、平移、縮放、濾波、生成對抗網(wǎng)絡(luò )等)、倍數,擴增倍數過(guò)大應考慮數據偏倚的影響及風(fēng)險。若采用生成對抗網(wǎng)絡(luò )(詳見(jiàn)后文)進(jìn)行數據擴增,需明確算法基本信息以及算法選用依據。

數據經(jīng)擴增后形成擴增數據庫,需列表對比擴增數據庫與標注數據庫在樣本量、樣本分布(注明擴增倍數)等差異,以證實(shí)擴增數據庫樣本量的充分性以及樣本分布的合理性。

(三)算法設計

人工智能算法作為人工智能醫療器械的核心,其設計主要考慮算法選擇、算法訓練、算法性能評估等要求。對于黑盒算法,算法設計應開(kāi)展算法性能影響因素分析,同時(shí)建議與現有醫學(xué)知識[2]建立關(guān)聯(lián),以提升算法可解釋性。

1.算法選擇

算法選擇提供所用算法的名稱(chēng)、類(lèi)型、結構(如層數、參數規模)、輸入輸出、流程圖、算法框架(含自研框架、現成框架)、運行環(huán)境等基本信息,并明確算法選用依據,包括選用的理由和基本原則。

若組合使用遷移學(xué)習(詳見(jiàn)后文)、強化學(xué)習(詳見(jiàn)后文),亦需提供算法基本信息以及算法選用依據。

2.算法訓練

算法訓練需基于訓練集、調優(yōu)集進(jìn)行訓練和調優(yōu),考慮評估指標、訓練方法、訓練目標、調優(yōu)方法、訓練數據量-評估指標曲線(xiàn)等要求。

評估指標建議根據臨床需求進(jìn)行選擇,輔助決策可選擇敏感性、特異性等指標,非輔助決策可選擇圖像質(zhì)量、測量準確性等指標。訓練方法包括但不限于留出法和交叉驗證法,若組合使用聯(lián)邦學(xué)習(詳見(jiàn)后文)亦需明確算法選用依據,并提供算法基本信息。訓練目標根據臨床情況詳述目標確定依據,提供ROC曲線(xiàn)等證據予以證實(shí)。調優(yōu)方法明確優(yōu)化策略和實(shí)現方法。訓練數據量-評估指標曲線(xiàn)用于證實(shí)算法訓練的充分性和有效性。

3.算法性能評估

算法性能評估作為軟件驗證的重要組成部分,需基于測試集對算法設計結果進(jìn)行評估,綜合考慮假陰性與假陽(yáng)性、重復性與再現性、魯棒性/健壯性等評估要求,以證實(shí)算法性能滿(mǎn)足算法設計目標,并作為軟件驗證、軟件確認的基礎。亦可基于第三方數據庫(詳見(jiàn)后文)開(kāi)展算法性能評估。

同時(shí),開(kāi)展算法性能影響因素分析以提升算法可解釋性,詳述影響算法性能的主要因素及其影響程度,如采集設備、采集參數、疾病構成、病變特征等因素,基于分析結果明確產(chǎn)品使用限制和必要警示提示信息。

此外,根據產(chǎn)品實(shí)際情況開(kāi)展壓力測試(詳見(jiàn)后文)、對抗測試等測試,以全面深入評估算法性能。

(四)驗證與確認

1.軟件驗證

軟件驗證是指通過(guò)提供客觀(guān)證據認定軟件開(kāi)發(fā)、軟件更新某一階段的輸出滿(mǎn)足輸入要求,包括軟件驗證測試(單元測試、集成測試、系統測試)、設計評審等系列活動(dòng)。

軟件驗證通過(guò)法規、標準、用戶(hù)、產(chǎn)品、數據、功能、性能、接口、用戶(hù)界面、網(wǎng)絡(luò )安全、警示提示等測試,驗證軟件的安全有效性,并作為軟件確認的基礎。

2.軟件確認

軟件確認是指通過(guò)提供客觀(guān)證據認定軟件滿(mǎn)足用戶(hù)需求和預期目的,包括軟件確認測試(用戶(hù)測試)、臨床評價(jià)、設計評審等系列活動(dòng)。根據產(chǎn)品實(shí)際情況,軟件確認方式可單一使用,亦可組合使用。

軟件確認測試基于軟件需求在真實(shí)或模擬使用場(chǎng)景下予以開(kāi)展,亦可基于測評數據庫(詳見(jiàn)后文)予以開(kāi)展。

臨床評價(jià)基本原則詳見(jiàn)醫療器械軟件指導原則,對于非輔助決策類(lèi)功能,可基于核心功能開(kāi)展同品種醫療器械比對,全新的功能、算法和用途原則上均需開(kāi)展臨床評價(jià);對于輔助決策類(lèi)功能,需基于核心算法開(kāi)展同品種醫療器械比對,所選同品種醫療器械的臨床證據需基于臨床試驗(可使用歷史數據),全新的功能、算法和用途原則上均需開(kāi)展臨床試驗。具體要求詳見(jiàn)臨床評價(jià)、臨床試驗設計、境外臨床試驗數據接受等通用指導原則,以及人工智能醫療器械臨床評價(jià)等專(zhuān)用指導原則。

同時(shí),開(kāi)展算法性能比較分析,詳述各類(lèi)測試場(chǎng)景(含臨床評價(jià))算法性能變異度較大的原因,基于分析結果明確產(chǎn)品使用限制和必要警示提示信息。

最后,結合算法訓練、算法性能評估、臨床評價(jià)等結果開(kāi)展算法性能綜合評價(jià),針對訓練樣本量和測試樣本量過(guò)少、測試結果明顯低于算法設計目標、算法性能變異度過(guò)大等情況,對產(chǎn)品的適用范圍、使用場(chǎng)景、核心功能進(jìn)行必要限制。

(五)更新控制

人工智能醫療器械若發(fā)生算法更新、軟件更新,均應當按照質(zhì)量管理體系的要求,開(kāi)展與算法更新、軟件更新的類(lèi)型、內容和程度相適宜的驗證與確認活動(dòng),將風(fēng)險管理、可追溯分析貫穿于更新全程,形成記錄以供體系核查。

對于算法更新,無(wú)論算法驅動(dòng)型更新還是數據驅動(dòng)型更新,均應開(kāi)展算法性能評估、臨床評價(jià)等驗證與確認活動(dòng),以保證算法更新的安全有效性。對于軟件更新,具體要求詳見(jiàn)醫療器械軟件指導原則、醫療器械獨立軟件生產(chǎn)質(zhì)量現場(chǎng)檢查指導原則。

總之,人工智能醫療器械所含的每個(gè)人工智能算法,均應獨立開(kāi)展需求分析、數據收集、算法設計、驗證與確認、更新控制等活動(dòng),同時(shí)考慮人工智能算法組合的整體評價(jià)要求,以保證產(chǎn)品的安全有效性。

前期已開(kāi)發(fā)的人工智能醫療器械若不滿(mǎn)足本指導原則的適用要求,應開(kāi)展差距分析并予以記錄,明確產(chǎn)品使用限制和必要警示提示信息。必要時(shí)采取補救措施,以滿(mǎn)足質(zhì)量管理體系要求,并保證產(chǎn)品的安全有效性。

五、技術(shù)考量

(一)注冊單元與檢測單元

人工智能醫療器械的注冊單元與檢測單元劃分原則詳見(jiàn)醫療器械軟件指導原則,人工智能獨立軟件、人工智能軟件組件分別參照獨立軟件、軟件組件的要求。

若軟件核心功能相同但核心算法類(lèi)型不同,則每類(lèi)核心算法均需在產(chǎn)品技術(shù)要求中注明并檢測。

(二)網(wǎng)絡(luò )安全與數據安全

人工智能醫療器械應結合預期用途、使用場(chǎng)景、核心功能,基于保密性、完整性、可得性等網(wǎng)絡(luò )安全特性,確定網(wǎng)絡(luò )安全能力建設要求,以應對網(wǎng)絡(luò )攻擊和數據竊取等網(wǎng)絡(luò )威脅,如算法框架漏洞攻擊、數據污染等。具體要求詳見(jiàn)醫療器械網(wǎng)絡(luò )安全指導原則。

除此之外,還應在人工智能醫療器械全生命周期過(guò)程中考慮數據安全問(wèn)題,包括上市前設計開(kāi)發(fā)階段和上市后使用階段。數據轉移需明確轉移方法、數據污染防護措施、數據銷(xiāo)毀等要求。數據整理、數據集構建、算法訓練、算法性能評估、軟件驗證等內部活動(dòng)需在封閉網(wǎng)絡(luò )環(huán)境下開(kāi)展以防止數據污染。數據標注、軟件確認等涉及外方的活動(dòng)需明確數據污染防護措施,特別是在開(kāi)放網(wǎng)絡(luò )環(huán)境下。各數據庫(集)均需進(jìn)行數據備份,明確備份的方法、頻次、數據恢復方法。數據采集、上市后使用需考慮臨床機構關(guān)于網(wǎng)絡(luò )安全與數據安全的接口要求。

(三)移動(dòng)計算與云計算

人工智能醫療器械若使用移動(dòng)計算、云計算等技術(shù),遵循相關(guān)指導原則要求。具體而言,移動(dòng)計算相關(guān)要求詳見(jiàn)移動(dòng)醫療器械指導原則,云計算相關(guān)要求詳見(jiàn)醫療器械軟件指導原則,移動(dòng)計算與云計算的網(wǎng)絡(luò )安全相關(guān)要求詳見(jiàn)醫療器械網(wǎng)絡(luò )安全指導原則。

(四)人因設計與可用性

人工智能醫療器械建議加強用戶(hù)接口人因設計以提升可用性,并將用戶(hù)錯誤使用的風(fēng)險降至可接受水平,特別是對軟件用戶(hù)界面。具體要求詳見(jiàn)醫療器械人因設計相關(guān)指導原則。

(五)壓力測試

本指導原則所述壓力測試[3]是指采用罕見(jiàn)或特殊臨床真實(shí)數據樣本開(kāi)展的算法性能測試,側重于評估算法泛化能力的極限。

注冊人應根據產(chǎn)品實(shí)際情況開(kāi)展壓力測試,以全面深入評估算法性能。若未開(kāi)展相應測試或測試結果不佳,均需對產(chǎn)品的適用范圍、使用場(chǎng)景、核心功能進(jìn)行必要限制,并在說(shuō)明書(shū)中明確產(chǎn)品使用限制和必要警示提示信息。

(六)對抗測試

本指導原則所述對抗測試是指基于臨床真實(shí)數據樣本利用數據擾動(dòng)、生成對抗網(wǎng)絡(luò )等技術(shù)產(chǎn)生對抗樣本,并采用對抗樣本開(kāi)展的算法性能測試,側重于評估算法的魯棒性/健壯性。

若條件具備,建議注冊人開(kāi)展對抗測試,以全面深入評估算法性能。若未開(kāi)展相應測試或測試結果不佳,均需明確產(chǎn)品使用限制和必要警示提示信息。

(七)第三方數據庫

第三方數據庫可用于算法性能評估,但其類(lèi)型、用途等情況各不相同,未必能夠完全滿(mǎn)足軟件確認測試的要求。因此,使用第三方數據庫進(jìn)行軟件確認測試,應評估其滿(mǎn)足軟件確認測試的充分性、適宜性和有效性。

可用于軟件確認測試的第三方數據庫即為測評數據庫。測評數據庫除滿(mǎn)足數據庫通用要求(如數據管理、網(wǎng)絡(luò )安全與數據安全、可擴展性等)外,還應滿(mǎn)足以下專(zhuān)用要求。

1.權威性:測評數據庫的數據采集、數據標注及其質(zhì)控工作應由相應臨床專(zhuān)業(yè)領(lǐng)域的權威機構(如國家臨床醫學(xué)研究中心)負責,以保證數據準確性;標注人員、審核人員、仲裁人員需具備與其崗位職責相匹配的臨床實(shí)踐經(jīng)驗。

2.科學(xué)性:測評數據庫的數據樣本均應為臨床真實(shí)數據,不得進(jìn)行數據擴增;樣本分布符合目標疾病流行病學(xué)特征情況,樣本總量基于目標疾病流行病學(xué)統計指標、測試抽樣誤差控制要求,通過(guò)統計學(xué)計算予以確定;單次測試原則上根據測評數據庫樣本分布情況等比例隨機抽取測試樣本,且其樣本量滿(mǎn)足測試抽樣誤差控制要求。

3.規范性:測評數據庫的數據采集、數據脫敏、數據清洗、數據預處理、數據標注、數據更換、數據管理、數據安全保證等數據治理活動(dòng)以及測評活動(dòng)均應建立質(zhì)控程序文件,并滿(mǎn)足可追溯性要求。

4.多樣性:測評數據庫的樣本應來(lái)源于多家、多地域、多層級的代表性臨床機構以及多家、多種、多參數的代表性采集設備,以保證數據多樣性能夠滿(mǎn)足算法泛化能力評估要求;若條件具備,測評數據庫可包含適當比例的罕見(jiàn)或特殊臨床真實(shí)數據樣本,以便開(kāi)展壓力測試深入評估算法泛化能力的極限。

5.封閉性:測評數據庫應封閉管理,樣本總量需遠大于單次測試樣本量,測評活動(dòng)亦需封閉管理,以保證算法性能評價(jià)的客觀(guān)性、公正性、公平性。

6.動(dòng)態(tài)性:測評數據庫應定期更換一定比例的數據樣本,以保證其具備持續的多樣性和封閉性;數據更換的頻率、比例需有確定依據,并滿(mǎn)足規范性要求;更換出庫的數據樣本由測評數據庫責任方自行確定其處理方案。

基于測評數據庫,利用數據擾動(dòng)、生成對抗網(wǎng)絡(luò )等技術(shù),可衍生出對抗測評數據庫。若條件具備,建議基于測評數據庫建設對抗測評數據庫,以全面深入評價(jià)算法性能。

第三方數據庫經(jīng)評估符合要求后可成為測評數據庫(含對抗測評數據庫),測評數據庫名錄另行制定并動(dòng)態(tài)調整。

公開(kāi)數據庫因不具備封閉性而不能用作測評數據庫,但可用于算法性能評估,若用于算法訓練應重新進(jìn)行質(zhì)量評估。使用公開(kāi)數據庫應根據其使用情況開(kāi)展必要評估工作,并在注冊申報資料中予以說(shuō)明。

其他類(lèi)型第三方數據庫可參照測評數據庫和公開(kāi)數據庫的要求予以使用,同時(shí)考慮其適用場(chǎng)景、數據質(zhì)量評估、時(shí)效性等要求。

(八)基于模型的算法

基于模型的算法對于訓練數據的數量要求相對較低,通常為白盒算法,特征提取需要人為干預,可與現有醫學(xué)知識建立關(guān)聯(lián),可解釋性相對較高。

對于此類(lèi)算法,有監督學(xué)習的模型/數據質(zhì)控要求參照有監督深度學(xué)習執行,不適用內容詳述理由并予以記錄。同理,無(wú)監督學(xué)習的模型/數據質(zhì)控要求亦參照有監督深度學(xué)習執行,其中數據標注不適用,其余不適用內容詳述理由并予以記錄。

此類(lèi)算法無(wú)論有監督學(xué)習還是無(wú)監督學(xué)習,均需明確特征信息,包括但不限于特征分類(lèi)(如人口統計學(xué)、生物學(xué)、形態(tài)學(xué))、特征屬性(如形態(tài)、紋理、性質(zhì)、尺寸、邊界)、特征展現方式(如形狀、尺寸、邊界、顏色、數量)等信息。

(九)遷移學(xué)習

遷移學(xué)習是指將在某領(lǐng)域或任務(wù)學(xué)習到的模型應用于不同但相關(guān)的領(lǐng)域或任務(wù)的人工智能算法,如將在自然圖像領(lǐng)域學(xué)習形成的模型應用于醫學(xué)圖像領(lǐng)域。遷移學(xué)習主要包括基于特征和基于模型的算法,并可與深度學(xué)習、聯(lián)邦學(xué)習等人工智能算法組合使用。

人工智能醫療器械若使用遷移學(xué)習算法,注冊申報資料需明確算法的名稱(chēng)、類(lèi)型、輸入輸出、流程圖、運行環(huán)境等基本信息以及算法選用依據,并根據遷移學(xué)習的類(lèi)型及其算法特性提供預訓練模型的數據集構建、驗證與確認等資料。

(十)強化學(xué)習

強化學(xué)習是指基于行動(dòng)與環(huán)境的交互,實(shí)現行動(dòng)從環(huán)境所獲累積獎勵最大化的人工智能算法,采用“試錯”的學(xué)習策略。強化學(xué)習從不同角度具有不同類(lèi)型劃分維度,如有模型與無(wú)模型的算法、基于策略和基于價(jià)值的算法等,并可與深度學(xué)習等人工智能算法組合使用。

人工智能醫療器械若使用強化學(xué)習算法,注冊申報資料需明確算法的名稱(chēng)、類(lèi)型、輸入輸出、流程圖、運行環(huán)境等基本信息以及算法選用依據,并根據強化學(xué)習類(lèi)型及其算法特性提供算法驗證與確認資料。

(十一)聯(lián)邦學(xué)習

聯(lián)邦學(xué)習是基于多個(gè)數據源協(xié)同建立學(xué)習模型的人工智能算法,即每個(gè)數據源獨立進(jìn)行本地數據學(xué)習,通過(guò)交換數據模型共同建立學(xué)習模型,實(shí)為分布式算法訓練技術(shù),亦屬于隱私計算技術(shù)。聯(lián)邦學(xué)習主要包括橫向聯(lián)邦(基于樣本)和縱向聯(lián)邦(基于特征)等算法,并可與遷移學(xué)習等人工智能算法組合使用。

人工智能醫療器械若使用聯(lián)邦學(xué)習算法等隱私計算技術(shù)進(jìn)行算法訓練,注冊申報資料需明確算法的名稱(chēng)、類(lèi)型、輸入輸出、流程圖、運行環(huán)境等基本信息以及算法選用依據,并根據聯(lián)邦學(xué)習等隱私計算技術(shù)的算法類(lèi)型及其算法特性提供算法驗證與確認資料。

(十二)生成對抗網(wǎng)絡(luò )

生成對抗網(wǎng)絡(luò )是通過(guò)生成器和判別器的互相博弈學(xué)習而產(chǎn)生與臨床真實(shí)數據類(lèi)似樣本的人工智能算法,主要用于數據擴增或者對抗測試的樣本生成,并可與深度學(xué)習等人工智能算法組合使用。

人工智能醫療器械若使用生成對抗網(wǎng)絡(luò )進(jìn)行數據擴增,注冊申報資料需明確算法的名稱(chēng)、類(lèi)型、輸入輸出、流程圖、運行環(huán)境等基本信息以及算法選用依據,并根據生成對抗網(wǎng)絡(luò )類(lèi)型及其算法特性提供算法驗證與確認資料。

(十三)基于數據的無(wú)監督學(xué)習

基于數據的無(wú)監督學(xué)習具備自學(xué)習的能力,在臨床機構部署后可通過(guò)持續學(xué)習該臨床機構的數據而進(jìn)行產(chǎn)品快速更新。此時(shí),臨床機構亦成為產(chǎn)品開(kāi)發(fā)者,與注冊人共同承擔產(chǎn)品質(zhì)量責任和法律責任;同時(shí),此種更新對于產(chǎn)品安全有效性的影響具有高度不確定性,特別是人工智能黑盒算法。

因此,在當前法律法規體系和技術(shù)水平條件下,基于數據的無(wú)監督學(xué)習應關(guān)閉自學(xué)習功能,或者雖開(kāi)放自學(xué)習功能但不得投入臨床使用,即臨床始終使用產(chǎn)品原有功能,自學(xué)習功能僅用于算法訓練或臨床科研。

注冊人應按照質(zhì)量管理體系要求,對自學(xué)習功能所產(chǎn)生的產(chǎn)品更新的安全有效性進(jìn)行驗證與確認,若適用還應根據法律法規要求申請許可事項變更,待批準后方能將自學(xué)習功能所產(chǎn)生的產(chǎn)品更新投入臨床使用。

(十四)人工智能算法框架

人工智能算法框架從開(kāi)發(fā)者角度可分為自研算法框架和現成算法框架,其中自研算法框架即注冊人自行研發(fā)的算法框架,屬于自研軟件范疇;現成算法框架是指注冊人所使用的由第三方開(kāi)發(fā)的算法框架(如Tensorflow、PyTorch等),視為現成軟件,現成算法框架開(kāi)發(fā)者視為醫療器械供應商。

人工智能算法框架更新包括產(chǎn)品更新(即更換算法框架)、版本更新、補丁更新,其中產(chǎn)品更新、非效率型版本更新對于人工智能醫療器械而言屬于重大軟件更新,效率型版本更新(即運算效率單純提高)、補丁更新對于人工智能醫療器械而言一般屬于輕微軟件更新,除非影響到人工智能醫療器械的安全性或有效性。人工智能算法框架同時(shí)發(fā)生多種類(lèi)型的更新,同樣遵循風(fēng)險從高原則。

人工智能算法框架可參照自研軟件、現成軟件相關(guān)要求提交相應注冊申報資料,均需明確算法框架的名稱(chēng)、類(lèi)型(自研框架、現成框架)、型號規格、完整版本、制造商等信息。

(十五)人工智能芯片

人工智能芯片作為計算資源的組成部分,本身不屬于監管對象,需要根據其所屬的計算平臺類(lèi)型考慮監管要求。對于人工智能獨立軟件,人工智能芯片屬于通用計算平臺的組成部分,不屬于產(chǎn)品結構組成,作為軟件運行環(huán)境予以考慮。對于人工智能軟件組件,人工智能芯片屬于醫用計算平臺的組成部分,屬于產(chǎn)品結構組成,需與產(chǎn)品進(jìn)行整體評價(jià)。

無(wú)論何種情況,使用人工智能芯片均應在注冊申報資料中明確其名稱(chēng)、型號規格、制造商、性能指標等信息。

六、算法研究資料

(一)算法研究報告

算法研究報告適用于人工智能算法或算法組合的初次發(fā)布和再次發(fā)布,包括算法基本信息、算法風(fēng)險管理、算法需求規范、數據質(zhì)控、算法訓練、算法驗證與確認、算法可追溯性分析、結論等內容,不適用內容詳述理由。

1.算法基本信息

明確算法的名稱(chēng)、類(lèi)型、結構、輸入輸出、流程圖、算法框架、運行環(huán)境等基本信息以及算法選用依據。

其中,算法類(lèi)型從學(xué)習策略、學(xué)習方法、可解釋性等角度明確算法特性。算法結構明確算法的層數、參數規模等超參數信息。算法框架明確所用人工智能算法框架的基本信息,包括名稱(chēng)、類(lèi)型(自研框架、現成框架)、型號規格、完整版本、制造商等信息。運行環(huán)境明確算法正常運行所需的典型運行環(huán)境,包括硬件配置、外部軟件環(huán)境、網(wǎng)絡(luò )條件;若使用人工智能芯片需明確其名稱(chēng)、型號規格、制造商、性能指標等信息。算法選用依據詳述人工智能算法或算法組合選用的理由和基本原則。

2.算法風(fēng)險管理

明確算法的軟件安全性級別(輕微、中等、嚴重)并詳述判定理由。提供算法風(fēng)險管理資料,明確過(guò)擬合與欠擬合、假陰性與假陽(yáng)性、數據擴增與數據偏倚等風(fēng)險的控制措施。若無(wú)單獨文檔可提供軟件風(fēng)險管理資料,并注明算法風(fēng)險管理所在位置。

3.算法需求規范

提供算法需求規范,若無(wú)單獨文檔可提供軟件需求規范,并注明算法需求所在位置。

4.數據質(zhì)控

提供數據來(lái)源合規性聲明,列明數據來(lái)源機構的名稱(chēng)、所在地域、數據收集量、倫理批件編號等信息。

提供數據采集操作規范,根據數據采集方式明確采集設備、采集過(guò)程、數據脫敏等質(zhì)控要求。

提供數據標注操作規范,明確數據整理、標注資源管理、標注過(guò)程質(zhì)控、標注質(zhì)量評估、數據安全保證等要求。

若適用,提供數據擴增情況說(shuō)明,明確擴增的對象、方式、方法、倍數等信息。

依據疾病構成、適用人群、數據來(lái)源機構、采集設備、樣本類(lèi)型等因素提供原始數據庫、基礎數據庫、標注數據庫、擴增數據庫的數據分布情況。

若數據來(lái)自公開(kāi)數據庫,提供公開(kāi)數據庫的基本信息(如名稱(chēng)、創(chuàng )建者、數據總量等)和使用情況(如數據使用量、數據質(zhì)量評估、數據分布等)。

5.算法訓練

依據疾病構成、適用人群、數據來(lái)源機構、采集設備、樣本類(lèi)型等因素提供訓練集、調優(yōu)集的數據分布情況。

明確算法訓練所用的評估指標、訓練方法、訓練目標、調優(yōu)方法,提供ROC曲線(xiàn)證明訓練目標滿(mǎn)足臨床要求,提供訓練數據量-評估指標曲線(xiàn)以證實(shí)算法訓練的充分性和有效性。

6.算法驗證與確認

依據疾病構成、適用人群、數據來(lái)源機構、采集設備、樣本類(lèi)型等因素提供測試集的數據分布情況。

提供假陰性與假陽(yáng)性、重復性與再現性、魯棒性/健壯性等算法性能指標評估結果,以證明算法性能滿(mǎn)足算法設計目標。

若使用第三方數據庫開(kāi)展算法性能評估,提供第三方數據庫的基本信息(如名稱(chēng)、創(chuàng )建者、數據總量等)和使用情況(如測試數據樣本量、評估指標、評估結果等)。

若適用,提供算法性能影響因素分析報告,明確影響算法性能的主要因素及其影響程度,以及產(chǎn)品使用限制和必要警示提示信息。

若適用,提供壓力測試、對抗測試等測試報告。若未開(kāi)展相應測試或測試結果不佳,均需明確產(chǎn)品使用限制和必要警示提示信息。

若基于測評數據庫進(jìn)行算法確認,提供測評數據庫的基本信息(如名稱(chēng)、創(chuàng )建者、數據總量等)和使用情況(如評估指標、評估結果等)。若基于臨床評價(jià)方式進(jìn)行算法確認,指向臨床評價(jià)資料即可。

提供上述各類(lèi)測試場(chǎng)景(含臨床評價(jià))下的算法性能評估結果比較分析報告,明確產(chǎn)品使用限制和必要警示提示信息。

7.算法可追溯性分析

提供算法可追溯性分析報告,即追溯算法需求、算法設計、源代碼(明確軟件單元名稱(chēng)即可)、算法測試、算法風(fēng)險管理的關(guān)系表。

若無(wú)單獨文檔可提供軟件可追溯性分析報告,并注明算法可追溯性分析所在位置。

8.結論

簡(jiǎn)述算法性能綜合評價(jià)結果,明確對產(chǎn)品的適用范圍、使用場(chǎng)景、核心功能所做的必要限制,并判定人工智能算法或算法組合的安全有效性是否滿(mǎn)足要求。

(二)算法更新研究報告

算法更新研究報告僅適用于人工智能算法或算法組合的再次發(fā)布,在算法研究報告相應內容中明確算法更新情況。

其中,算法基本信息描述申報算法情況,若適用詳述與前次注冊相比的變化情況;算法風(fēng)險管理、算法需求規范、數據質(zhì)控、算法訓練、算法驗證與確認、算法可追溯性分析描述算法更新的具體情況;結論簡(jiǎn)述算法性能綜合評價(jià)結果,并判定人工智能算法或算法組合更新的安全有效性是否滿(mǎn)足要求。

七、注冊申報資料補充說(shuō)明

注冊申報資料應在符合醫療器械注冊申報資料要求等文件要求基礎上,滿(mǎn)足醫療器械軟件、醫療器械網(wǎng)絡(luò )安全、移動(dòng)醫療器械等相關(guān)指導原則要求,同時(shí)需要重點(diǎn)關(guān)注以下要求。

(一)產(chǎn)品注冊

1. 申請表信息

1)人工智能獨立軟件

產(chǎn)品名稱(chēng)應符合通用名稱(chēng)命名規范要求,通常體現輸入數據(如CT圖像、眼底照片)、目標疾?。ê∽?、疾病的屬性)、預期用途(如輔助分診、輔助檢測、輔助診斷)等特征詞。

適用范圍基于預期用途、使用場(chǎng)景、核心功能予以規范,包括但不限于處理對象、目標疾病、臨床用途、適用人群、目標用戶(hù)、使用場(chǎng)所、采集設備要求、使用限制等內容。

2)人工智能軟件組件

人工智能軟件組件通常無(wú)需在注冊證載明信息中體現。其軟件功能名稱(chēng)可參照人工智能獨立軟件要求。若有,適用范圍體現輔助決策類(lèi)軟件功能的情況。

2. 算法研究資料

在軟件研究資料中以算法為單位,提交每個(gè)人工智能算法的算法研究報告,具體要求詳見(jiàn)第六章。

3. 產(chǎn)品技術(shù)要求

產(chǎn)品技術(shù)要求若含有基于測評數據庫測試的性能指標,應明確測評數據庫的基本信息(如名稱(chēng)、型號規格、完整版本、責任方等)。

基于其他類(lèi)型第三方數據庫測試的性能指標,原則上無(wú)需在產(chǎn)品技術(shù)要求中體現。

4. 說(shuō)明書(shū)

根據算法性能綜合評價(jià)結果,對產(chǎn)品的適用范圍、使用場(chǎng)景、核心功能進(jìn)行必要限制,并在說(shuō)明書(shū)中明確產(chǎn)品使用限制和必要警示提示信息。若適用,明確數據采集設備和數據采集過(guò)程相關(guān)要求。

對于輔助決策類(lèi)產(chǎn)品,說(shuō)明書(shū)應明確人工智能算法的算法性能評估總結(測試集基本信息、評估指標與結果)、臨床評價(jià)總結(臨床數據基本信息、評價(jià)指標與結果)、決策指標定義(或提供決策指標定義所依據的臨床指南、專(zhuān)家共識等參考文獻)等信息。此時(shí)若采用基于數據的人工智能算法,說(shuō)明書(shū)還應補充算法訓練總結信息(訓練集基本信息、訓練指標與結果)。

若產(chǎn)品采用人工智能黑盒算法,根據算法影響因素分析報告,在說(shuō)明書(shū)中明確產(chǎn)品使用限制和必要警示提示信息。

對于軟件安全性級別為嚴重級別的產(chǎn)品,原則上需提供用戶(hù)培訓材料。

(二)許可事項變更

1. 算法研究資料

根據人工智能算法的更新情況,在軟件研究資料中以算法為單位,提交每個(gè)人工智能算法的算法更新研究報告(或算法研究報告),具體要求詳見(jiàn)第六章。

2. 產(chǎn)品技術(shù)要求

若適用,產(chǎn)品技術(shù)要求變更對比表需體現測評數據庫的變化情況。

3. 說(shuō)明書(shū)

若適用,提交用戶(hù)培訓材料。

(三)延續注冊

延續注冊通常無(wú)需提交算法相關(guān)研究資料。若適用,根據注冊證“備注”所載明的要求提交相應算法研究資料。

八、編寫(xiě)單位

本指導原則編寫(xiě)單位為國家藥品監督管理局醫療器械技術(shù)審評中心。

九、參考文獻

[1] 國家藥品監督管理局. 醫療器械注冊管理辦法(修訂草案征求意見(jiàn)稿),2021.3

[2] 國家食品藥品監督管理總局. 醫療器械說(shuō)明書(shū)和標簽管理規定(總局令第6號),2014.7

[3] 國家藥品監督管理局. 醫療器械注冊申報資料要求和批準證明文件格式(修訂草案征求意見(jiàn)稿),2021.5

[4] 國家藥品監督管理局. 醫療器械主文檔登記事項(2021年第36公告),2021.3

[5] 國家藥品監督管理局. 醫療器械通用名稱(chēng)命名指導原則(2019年第99號通告),2019.12

[6] 國家藥品監督管理局. 醫療器械安全和性能的基本原則(2020年第18號通告),2020.3

[7] 國家藥品監督管理局. 醫療器械臨床評價(jià)技術(shù)指導原則(征求意見(jiàn)稿),2021.5

[8] 國家藥品監督管理局醫療器械技術(shù)審評中心. 醫療器械軟件技術(shù)審查指導原則(第二版)(征求意見(jiàn)稿),2020.6

[9] 國家藥品監督管理局醫療器械技術(shù)審評中心. 醫療器械網(wǎng)絡(luò )安全技術(shù)審查指導原則(第二版)(征求意見(jiàn)稿),2020.9

[10] 國家食品藥品監督管理總局. 移動(dòng)醫療器械注冊技術(shù)審查指導原則2017年第222號通告),2017.12

[11] 國家藥品監督管理局醫療器械技術(shù)審評中心. 醫療器械人因設計技術(shù)審查指導原則(報批稿),2020.10

[12] 國家藥品監督管理局醫療器械技術(shù)審評中心. 人工智能醫療器械臨床評價(jià)技術(shù)審查指導原則(草稿),2021.

[13] 國家藥品監督管理局醫療器械技術(shù)審評中心. 肺結節CT影像輔助決策軟件注冊技術(shù)審查指導原則(草稿),2021.

[14] 國家藥品監督管理局醫療器械技術(shù)審評中心. 肺結節CT影像輔助決策軟件臨床評價(jià)技術(shù)審查指導原則(草稿),2021.

[15] 國家藥品監督管理局醫療器械技術(shù)審評中心. 眼底照片輔助決策軟件注冊技術(shù)審查指導原則(草稿),2021.

[16] 國家藥品監督管理局醫療器械技術(shù)審評中心. 眼底照片輔助決策軟件臨床評價(jià)技術(shù)審查指導原則(草稿),2021.

[17] 國家藥品監督管理局醫療器械技術(shù)審評中心. 深度學(xué)習輔助決策醫療器械軟件審評要點(diǎn)(2019年第7號通告),2019.7

[18] 國家藥品監督管理局醫療器械技術(shù)審評中心. 肺炎CT影像輔助分診與評估軟件審評要點(diǎn)(試行)(2020年第8號通告),2020.3

[19] 國家食品藥品監督管理總局. 醫療器械生產(chǎn)質(zhì)量管理規范2014年第64號公告),2014.12

[20] 國家藥品監督管理局. 醫療器械生產(chǎn)質(zhì)量管理規范附錄獨立軟件2019年第43號通告),2019.7

[21] 國家藥品監督管理局. 醫療器械生產(chǎn)質(zhì)量管理規范獨立軟件現場(chǎng)檢查指導原則(藥監綜械管〔202057號),2020.5

[22] 國家藥品監督管理局標準管理中心. 人工智能類(lèi)醫用軟件產(chǎn)品分類(lèi)界定指導原則(征求意見(jiàn)稿),2021.4

[23] 國家藥品監督管理局標準管理中心. 輔助決策類(lèi)醫用軟件產(chǎn)品分類(lèi)界定指導原則(征求意見(jiàn)稿),2021.6

[24] 國家衛生健康委員會(huì ). 人工智能輔助診斷技術(shù)管理規范(國衛辦醫發(fā)〔20177號),2017.2

[25] 國家衛生健康委員會(huì ). 人工智能輔助診斷技術(shù)臨床應用質(zhì)量控制指標(國衛辦醫發(fā)20177),2017.2

[26] 國家衛生健康委員會(huì ). 人工智能輔助治療技術(shù)管理規范(國衛辦醫發(fā)20177),2017.2

[27] 國家衛生健康委員會(huì ). 人工智能輔助治療技術(shù)臨床應用質(zhì)量控制指標(國衛辦醫發(fā)20177),2017.2

[28] YY/T 0287-2017 醫療器械 質(zhì)量管理體系 用于法規的要求

[29] YY/T 0316-2016 醫療器械 風(fēng)險管理對醫療器械的應用

[30] YY/T 0664-2020 醫療器械軟件 軟件生存周期過(guò)程

[31] YY/T 1406.1-2016 醫療器械軟件 1部分:YY/T 0316應用于醫療器械軟件的指南

[32] YY/T 人工智能醫療器械質(zhì)量要求和評價(jià) 1部分:術(shù)語(yǔ)(報批稿),2020.

[33] YY/T 人工智能醫療器械質(zhì)量要求和評價(jià) 2部分:數據集通用要求(報批稿),2020.

[34] YY/T 人工智能醫療器械質(zhì)量要求和評價(jià) 3部分:數據標注通用要求(草稿),2021.

[35] YY/T 人工智能醫療器械 肺部影像輔助分析軟件 算法性能測試方法(草稿),2021.

[36] AIMDICP-WG6-2020-001 基于眼底彩照的糖尿病視網(wǎng)膜病變輔助決策產(chǎn)品性能指標和測試方法,2020.7

[37] AIMDICP-WG6-2020-002 基于胸部CT的肺結節影像輔助決策產(chǎn)品性能指標和測試方法,2020.7

[38] AIMDICP-WG12-2021-001 醫學(xué)人工智能技術(shù)學(xué)名詞(草稿),2021.

[39] FDA. Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data, 2012.7

[40] FDA. Considerations for Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data, 2012.7

[41] FDA. Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML) - Based Software as a Medical Device (SaMD) Draft, 2019.5

[42] FDA. Artificial Intelligence and Machine Learning(AI/ ML) Software as a Medical Device(SaMD) Action Plan, 2021.1

[43] 人工智能醫療器械創(chuàng )新合作平臺. www.aimd.org.cn

[44] IMDRF AIMD. www.imdrf.org/workitems/wi-aimd.asp

[45] ITU&WHO AI4H. www.itu.int/go/fgai4h



Copyright © 2018 醫療器械注冊技術(shù)咨詢(xún) 浙ICP備18025678號 技術(shù)支持:熙和網(wǎng)絡(luò )

新聞動(dòng)態(tài)
精品毛片无码波多野吉衣_H国产一级小视频在线看_久久国产精品-国产精品_欧洲亚洲中文一区