深圳大學MUSIC實驗室推出一款軟件神器,大大提升醫學影像AI標註的質量與一致性

醫生專家的手動標註是醫學影像AI研究的基石。標註軟件需要儘可能節省醫生手動標註的耗時,減少醫生標註的痛苦,並幫助醫生提高標註的質量與一致性。作為首款國產一站式醫學影像標註軟件,Pair軟件具備專業便捷、通用易用且智能化的特點。

據了解,Pair由深圳大學醫學超聲影像計算實驗室(Medical Ultrasound Image Computing Lab, MUSIC) 的倪東教授和楊鑫博士等帶隊研發。團隊成員10餘人,Pair軟件歷時近3年研發,仍在持續大幅優化中。Pair定位於解決醫學影像標註軟件長期存在的問題,致力於成為最優秀、最專業、最懂醫生的國產醫學影像標註軟件。Pair自2020年7月於MICS大會公開以來,得到了很多前輩老師的重要指導和批評意見,確立了更多值得解決的問題。Pair目前已基本完成第一階段基礎標註功能的開發,即將進入第二階段的全面智能化,同時進一步豐富基礎標註功能。

此次將對Pair在2021年的重要更新做系統整理與呈現。Pair軟件的核心功能亮點如下:

Pair標註功能展示

研究項目通用,兼容各種影像模態和文件格式

Pair可兼容CT、X-Ray、MRI、PET、超聲、病理切片、細胞塗片等10餘種影像模態,兼容2D、視頻、3D、病理、信號、放療勾畫文件等20餘種文件格式。所有醫學影像AI研究項目可通過Pair完成標註,無需在不同項目間頻繁、耗時費力地切換、培訓不同的標註軟件。

標註功能豐富,覆蓋諸多影像AI研究的標註需求

Pair提供測量線、角度、多邊形、曲線、曲面、矩形框、關鍵點、分類標籤、文本屬性、時間軸、切面等20多項標註功能,涵蓋測量、分割、分類、目標檢測、關鍵點定位、動作預測等常見影像AI分析所需的標註類型。更重要的,Pair支持標註功能與類型的混合使用,充分適應複雜的研究與標註需求。

智能輔助標註,讓醫生從繁重的手動標註中解脫

Pair提供多層次的智能化輔助標註功能,可大幅減輕醫生的手動標註工作量。Pair提供閾值分割、魔術棒、曲線擬合、矩形框跟蹤、標籤記憶/複製等自動化輔助標註功能。Pair尤其配備獨有的用戶自定義AI標註和通用智能分割標註AutoSeg。兩項功能均可搭載深度學習模型,僅需普通電腦CPU,即可實現對解剖結構的一鍵式智能標註。

標註流程規範化,支持大規模影像標註任務

Pair提供標註標籤的配置和管理功能,可有效避免標註者因誤操作或個人習慣而引發的標籤錯用和標註功能誤用,從而實現標註流程的規範化,有效降低標註結果的噪聲。Pair通過優化內存管理,可支持同時導入超1000例影像文件進行標註,支持2萬幀的超大視頻文件標註,支持2GB以上病理影像文件的標註。

病例隱私脫敏和影像加密,為研究項目提供安全保障

病例的隱私和影像是AI研究的寶貴資源,且面臨日益嚴重的泄露風險。通用易用的隱私脫敏工具和支持加密的標註軟件仍舊缺乏。Pair因此提供了完善的脫敏功能、多層權限的高階加解密標註功能,以實現病例隱私、醫學影像以及標註資源的多重安全。

簡潔易用的工作流,持續完善和豐富的教程用例資源

Pair擁有簡潔和直覺化的標註邏輯設計,以方便醫生快速入手並減少標註交互的耗時。Pair提供詳細的文檔說明及視頻演示,便於用戶快速熟悉軟件的操作流程,節省標註的培訓耗時。截止目前,Pair已更新15期製作精良的視頻教程,並將陸續邀請多位醫生專家分享使用Pair做高效標註的案例。

Pair與現有標註軟件的功能對比

截止目前,Pair已基本完成基礎功能框架的研發,正在朝全面智能化的方向快速前進,以進一步減輕醫生手動標註的痛苦。Pair保持高頻的更新優化進度,追求對標註功能設計的極致專業,致力於成為基礎重要軟件。Pair在2021年內已進行如下多項重要功能的更新與優化:

  • 通用智能分割標註AutoSeg

  • 用戶自定義AI模型的輔助標註

  • 視頻時間軸事件標註

  • 多模態影像互補標註

  • 全面支持放療勾畫的DICOM RT Struct

  • 病例隱私脫敏和影像信息安全化軟件PairCode

  • 實現Windows / Ubuntu / CentOS版本

下面我們將詳細介紹各大重要功能更新(備註:本文所示所有醫學影像均已做隱私信息脫敏處理):

AutoSeg --- 通用的一鍵式智能分割精細標註

精細的分割標註是醫學影像標註中最為耗時的任務。不同的影像模態、解剖結構和病灶需要不同專業與資質的醫生進行繁重的逐點分割標註。為解決上述關鍵問題,Pair團隊研發了重磅的智能功能AutoSeg,旨在實現通用的解剖結構精細分割標註,大幅節省手動標註的耗時,進而推動AI影像研究的快速實現與普及。AutoSeg的優勢特性如下:

  • 無需任何配置,簡單直接、方便易用

  • 無需區分影像模態、解剖結構、病灶類型

  • 1秒完成,普通筆記本電腦即可使用

  • 一鍵框定操作,實現精細分割標註

據統計,使用Pair的AutoSeg自動分割標註功能,可節省約70%的分割標註耗時。Pair基於華為開源的深度學習平台MindSpore實現該功能,以MindSpore Lite完成最終部署。MindSpore Lite中高效的內核算子實現可以充分發揮普通CPU的硬件算力,有效平衡了模型算力需求和模型精度要求,使得推理耗時縮短至1秒內,極大地提升了AutoSeg的用戶體驗。

AutoSeg已在CT,MRI,超聲,X-ray,PET,掃描電鏡,病理,塗片,內窺鏡等影像模態的多種解剖結構和病灶上驗證和使用。AutoSeg的標註結果可便捷編輯修改,以方便用戶微調和快速確認。如下是AutoSeg在多樣化的影像和解剖結構上的應用展示:

AutoSeg功能對腹部、胸部CT影像的標註示例一

AutoSeg功能對肝臟CT影像的標註示例二

AutoSeg功能對脊柱CT影像的標註展示

AutoSeg功能對超聲影像的標註展示

AutoSeg功能對腦部MRI影像的標註展示

AutoSeg功能對肺部X光影像的標註展示

AutoSeg功能對細胞塗片、切片的標註展示

AutoSeg功能對細胞切片的標註展示

AutoSeg功能對腸鏡影像的標註展示

AIA --- 用戶自定義AI模型的輔助標註

AIA是Pair獨有的一鍵AI推理功能,無論是分類、分割、點定位、目標檢測以及多任務等,用戶僅需提供自定義AI模型,點擊AI按鈕即可快速自動生成輔助標註,微調標註結果便完成標註工作,節省標註時間,加快工作流程。目前,Pair的AIA輔助標註功能可支持谷歌的Tensorflow和臉書的Pytorch深度學習平台,支持超過50種深度學習網絡模型架構。Pair近期也添加了對國產的華為MindSpore深度學習框架模型的支持。

豐富的AI功能,包括分割、點定位、實例分割和檢測

視頻時間軸屬性標註

醫學視頻影像通常由不同事件的影像片段沿時間軸構成,不同片段會具有不同屬性的標註需求,如心臟在心動周期的不同動作、手術器械在手術不同階段的動作類型等。目前鮮有標註軟件提供對醫學視頻影像的時間軸標註功能。Pair提供的時間軸標註功能,通過便捷的交互設計,可快速對視頻的任意片段進行多種屬性的標註,高效推動視頻標註工作的進展。具體說來,在時間軸標註功能下,鼠標右鍵拖動選中的標籤到時間軸上對應的幀,即可完成對改視頻片段的屬性標註。Pair還提供時間軸跟隨功能,方便用戶觀察片段所屬的幀。若要修改標註,左鍵點擊對應時間軸的端點進行拖動即可,操作方便。

視頻時間軸標註

多模態影像互補標註

單一的影像模態使醫生對病灶的定位和標註存在明顯局限性。通過多模態信息的同步觀察與互補使用,有利於醫生準確標註病灶,如結合MRI中的T1與T2影像、多模態的超聲影像、PET和CT影像、不同熒光染色的細胞塗片影像等。Pair提供的多模態影像互補標註功能可在標註過程同步顯示不同模態的影像,降低醫生對目標區域的定位和輪廓勾畫的不確定度,有效幫助醫生進行識別和標註。Pair提供的多模態標註功能可兼容二維、視頻、三維和病理圖像。

多模態影像互補標註過程

支持放療勾畫的DICOM RT Struct

鑒於放射科對AI研究的重大需求,Pair新增了對放射影像DICOM RT Structure文件格式的全面支持。放射科醫生將TPS (Treatment Planning System)放療規劃系統中勾畫的放療靶區輪廓線以RT Struct格式導出后,可直接在Pair中打開,進行可視化和進一步的標註優化。Pair可支持超1000條RT輪廓線的標註交互。Pair更可以將RT Struct內的輪廓線填充並導出成分割標註結果文件,如nii, nii.gz等格式,極大地方便放射科醫生使用專業的影像組學軟件,如TexRAD、MaZda等,進行後續的高階分析與研究。

PairCode --- 病例隱私脫敏和影像信息安全化軟件

在醫學影像標註過程中,有效地保護患者隱私和確保標註資源的安全至關重要。現有的標註軟件在標註流程上往往存在較高安全風險:

  • 影像未脫敏,病人隱私信息無保護;

  • 影像資源和標註結果資源存在高泄露風險;

為滿足保護病患隱私信息和影像資源安全的需求,Pair提供了安全化輔助軟件PairCode,為影像標註任務提供全流程的加密防護,實現標註資源的雙重安全保護。PairCode提供如下兩方面的功能:

DICOM影像脫敏

醫學影像中,DICOM數據的頭文件往往存有患者的隱私敏感信息。當原始數據在作為標註對象流動時,易發生患者隱私泄露。通過使用PairCode的數據脫敏功能,項目管理者可批量、自定義地擦除或修改敏感條目,如DICOM頭文件信息中的患者信息、檢查信息等,以保護患者隱私。

具體地,在PairCode的脫敏功能中,DICOM頭文件中與隱私相關的信息被細分為五部分,用戶可根據項目對頭文件信息進行自定義的修改或刪除操作。同時,PairCode會提供脫敏信息的查找密碼本,記錄頭文件信息的原始內容和修改後的內容,以便於後續的回溯工作。PairCode可支持超10GB批量影像文件的處理。

標註資源加解密

為實現標註資源安全私有化、降低資源泄露風險,PairCode提供影像和標註的加解密功能,保障數據的安全流通:

  • 項目管理者可對資源進行自定義加解密;

  • 支持超過20種專業醫學影像格式的便捷加解密;

  • 非對稱高階加密,用戶標註體驗零負擔。

PairCode提供公有加密和私有加密兩種加密方式,加密后的影像和標註結果的查詢和修改只能通過Pair軟件進行,以此來保障數據安全。使用PairCode對數據進行加密后,標註人員僅需加載配置文件即可對加密影像進行標註工作,軟件也將自動對標註結果進行加密,無需額外的手動加密操作。

實現Windows / Ubuntu / CentOS版本

目前,Pair已實現了Windows 、Ubuntu和CentOS三種不同操作系統的版本,以滿足醫生、工程師和集群服務器的標註需求。用戶可自主選擇版本進行安裝與使用。通過Pair不同操作系統版本進行標註的結果,可使用其他系統進行查看和修改,便於標註結果在項目小組成員間的流通。此外,Pair還設置了中英文兩種語言版本,便於不同語種的用戶進行使用。

專家用戶評語

蔡躍新教授,中山大學孫逸仙紀念醫院耳鼻喉科

「Pair軟件真正實現了科研項目間的通用化標註支持,是我們嘗試的其他標註軟件所不能比的。我們團隊的多個三維影像相關的AI研究項目,均採用Pair進行標註。項目開展期間,得到了Pair團隊的及時響應與積極支持。希望Pair軟件能發展得越來越好,更方便AI相關的研究,成為更多醫生喜歡的軟件。」

楊毅博士,四川大學華西醫院骨科

「我們的CT三維影像的標註在遇到Pair軟件后,得到了明顯的提速和提質,課題也得以很快開展。它的功能簡單直接,幾乎沒有學習難度,很多智能化標註功能令我印象深刻。PairCode軟件也非常好地滿足了我們對大批量影像脫敏的專業需求。Pair團隊總是能很快處理我們提出的個性化需求,是很好的合作團隊。希望Pair可以幫助降低AI研究的門檻,幫助更多醫生更快更好地完成AI課題。」

張子健,醫學物理師,中南大學湘雅醫院腫瘤科

「在使用Pair軟件之前,我們的數據標註工作隨着不同的數據類型可能需要在不同的軟件之間切換,但一次偶然的相遇,讓我們團隊接觸到了Pair,它為我們團隊的多模態數據標註,尤其是CT-PET的放療勾畫,提供了一個一體化的平台。Pair的使用簡單易上手,大家標註的效率得到了極大的提高。在開展項目的部分場景,由於需要一些個性化的功能,也能得到Pair團隊的充分支持。衷心希望Pair團隊能越做越好,越做越強。」

更多關於Pair

截止目前,Pair已在超過2000位用戶和300多個海內外的知名研究機構、醫院和企業間使用,且收到了非常多有價值的反饋和功能建議。Pair會以穩定活躍的研發團隊進行持續的優化與升級,致力於把Pair打造成國產的基礎、專業化軟件,推動AI新基建。

即刻體驗與試用

下載鏈接內提供Pair不同操作系統、不同版本的安裝包,還有Pair的AIA模型文件和示例測試圖像等資源,方便體驗者即刻體驗AI輔助標註帶來的便捷性。若要體驗上述新增功能,請下載Pair2.5版本。

https://www.jianguoyun.com/p/DUQd8gcQh-n1CBiLvcgD

以下為Pair在Bilibili提供的相關功能的視頻教程,歡迎大家點贊、投幣、收藏一鍵三連。

https://space.bilibili.com/616429598

聯繫方式

更多詳細資料,可關注Pair微信賬號和B站官方賬號

由衷致謝

感謝各領域的醫生們對Pair的肯定和批評反饋,感謝醫學影像分析領域內的專家們對Pair的關注和指導。感謝華為開源生態和MindSpore團隊對AutoSeg功能開發與優化的迅速響應和大力支持。感謝團隊成員的齊心付出和不懈堅持,包括但不限於:陳超宇、劉文星、胡歆迪、史文龍、林銘容、羅依然、何雙池、劉思菁、劉戀、周涵、王鍵、呂芬、高睿、王凱妮等。

雷峰網雷峰網


想在手機閱讀更多Windows資訊?下載【香港矽谷】Android應用
分享到Facebook
技術平台: Nasthon Systems