震撼！華大LUSH基因序列比對加速工具集再次突破計算極限！

2017年5月，19歲的世界圍棋第一人柯潔九段在和AlphaGo的圍棋終極人機大戰(zhàn)以0:3完敗，這也是人類頂尖高手與這臺機器之間的最后一次較量，同年10月 《Nature》雜志發(fā)表了超過它所有之前版本的AlphaGo Zero。這一成就向世界展示了建立系統(tǒng)來自學(xué)完成復(fù)雜任務(wù)的可能性，而其背后所代表的是運算能力，是計算機科學(xué)的分支領(lǐng)域--高性能計算（High Performance Computing），其實際應(yīng)用不僅成為了國家綜合實力的體現(xiàn)，更給人們的日常生活帶來了改變，目前該技術(shù)已在航空航天、核試驗?zāi)M、天氣預(yù)報、生命科學(xué)、高新制造（汽車、微電子）等領(lǐng)域取得了廣泛應(yīng)用。

以生命科學(xué)領(lǐng)域舉例，隨著生命遺傳密碼（基因組）的不斷破解，人的生老病死這一復(fù)雜事情可以用數(shù)字化的方式具體呈現(xiàn)，以期實現(xiàn)疾病的精準(zhǔn)預(yù)測、診斷和治療，讓人們遠(yuǎn)離傳感染疾病、防控出生缺陷、腫瘤和心腦血管疾病，提升人均預(yù)期壽命，并大幅度降低社會衛(wèi)生總負(fù)擔(dān)。

近二十年來，個人全基因組測序的成本以“超摩爾定律”的速度下降，而高性能計算在測序數(shù)據(jù)分析方向的應(yīng)用也發(fā)生了翻天覆地的變化。目前全球主流的基因組測序數(shù)據(jù)分析工具是Broad Institute開發(fā)的免費開源工具集GATK（Genome Analysis Toolkit），該項生命科學(xué)領(lǐng)域公認(rèn)的最佳工作流程完成一個人的全基因組（Whole Genome Sequencing，WGS）30X數(shù)據(jù)分析需要1800分鐘。深耕于基因組學(xué)20多年的華大基因在基因組高性能計算領(lǐng)域再獲突破性進(jìn)展，于近日成功實現(xiàn)6分鐘完成30X WGS全流程的分析任務(wù)，相較于GATK標(biāo)準(zhǔn)計算時長提速300倍。

根據(jù)NIH公布的最新資料，隨著測序技術(shù)的發(fā)展，測序成本以超摩爾定律下

https://www.genome.gov/about-genomics/fact-sheets/DNA-Sequencing-Costs-Data

6分鐘完成30X WGS任務(wù)是由華大基因自主研發(fā)的LUSH工具集實現(xiàn)的，打破了該軟件在2020年1月創(chuàng)造的15分鐘極限速度。其中的黑科技正是采用了全新的底層架構(gòu)設(shè)計，提供了基于中央處理器和圖形處理器相結(jié)合進(jìn)行基因數(shù)據(jù)分析的高性能加速方案，在降低集群計算資源消耗、提高檢出速度的同時，實現(xiàn)了全程自動化、信息化，有記錄可回溯，可以更好地用于精準(zhǔn)醫(yī)學(xué)的應(yīng)用場景。

LUSH工具集加速的全新底層架構(gòu)邏輯

LUSH工具集提供了一種“CPU+GPU”的高并行軟硬件解決方案，基于經(jīng)典流程中的軟件模塊BWA、SAMTOOLS和GATK，利用GPU的通用運算技術(shù)，通過計算引擎和加速引擎的全新架構(gòu)設(shè)計，實現(xiàn)算法優(yōu)化和并行化處理，并結(jié)合華大自主研發(fā)的超高通量測序儀，完成堿基數(shù)據(jù)流的超高速分析，最終獲得準(zhǔn)確的分析結(jié)果。

LUSH工具集加速流程示意圖

正是因為生命數(shù)字化進(jìn)程需要嚴(yán)謹(jǐn)?shù)目茖W(xué)精神，而其應(yīng)用場景主要體現(xiàn)在精準(zhǔn)醫(yī)療、健康管理等與人類健康有著息息相關(guān)的領(lǐng)域，因此不同于其他高性能計算領(lǐng)域，基因組數(shù)據(jù)分析對精度有極高的要求。而實際上高性能和準(zhǔn)確性并不能完全兼得，數(shù)據(jù)范圍、分布和浮點精度、峰值性能和內(nèi)存都會影響算法的選擇，尤其涉及到唯一最優(yōu)解和近似解的算法可能大相徑庭。LUSH工具集正是通過在經(jīng)典流程算法的基礎(chǔ)上利用了其全新設(shè)計的底層架構(gòu)進(jìn)一步減少了中間結(jié)果的讀寫，并利用CPU實現(xiàn)基因分析任務(wù)的智能分發(fā)，利用GPU數(shù)千計算核心實現(xiàn)百萬任務(wù)的極速并行處理，同時解決了經(jīng)典流程計算密度較高、頻繁地存儲器訪問等問題，經(jīng)過測試其標(biāo)準(zhǔn)品的準(zhǔn)確性結(jié)果與經(jīng)典流程一致，高達(dá)99.86%，使得其可以在計算結(jié)果的準(zhǔn)確性與極速性上得以平衡。

更優(yōu)越的性能、更低的成本和更高效的檢出是所有高性能計算應(yīng)用領(lǐng)域的研發(fā)追求目標(biāo)。對加速組件的持續(xù)研發(fā)源自對速度無止境的追求，正如手機芯片行業(yè)的發(fā)展是隨著移動端需求的旺盛，技術(shù)才得以不斷地迭代和進(jìn)步。從基因組學(xué)基礎(chǔ)研究到臨床研究及應(yīng)用，實現(xiàn)測序工具的自主可控的同時也需要實現(xiàn)數(shù)學(xué)方法上的自主研發(fā)，而不只是追求芯片的底層下潛開發(fā)。對后者是無止境的追求，而只有前者的完全可控才能實現(xiàn)從跟隨模仿到真正超越的可能，從核心算法的研發(fā)上助力我國精準(zhǔn)醫(yī)療自主可控的發(fā)展進(jìn)程。