震撼！華大LUSH基因序列比對(duì)加速工具集再次突破計(jì)算極限！

2017年5月，19歲的世界圍棋第一人柯潔九段在和AlphaGo的圍棋終極人機(jī)大戰(zhàn)以0:3完敗，這也是人類頂尖高手與這臺(tái)機(jī)器之間的最后一次較量，同年10月 《Nature》雜志發(fā)表了超過它所有之前版本的AlphaGo Zero。這一成就向世界展示了建立系統(tǒng)來(lái)自學(xué)完成復(fù)雜任務(wù)的可能性，而其背后所代表的是運(yùn)算能力，是計(jì)算機(jī)科學(xué)的分支領(lǐng)域--高性能計(jì)算（High Performance Computing），其實(shí)際應(yīng)用不僅成為了國(guó)家綜合實(shí)力的體現(xiàn)，更給人們的日常生活帶來(lái)了改變，目前該技術(shù)已在航空航天、核試驗(yàn)?zāi)M、天氣預(yù)報(bào)、生命科學(xué)、高新制造（汽車、微電子）等領(lǐng)域取得了廣泛應(yīng)用。

以生命科學(xué)領(lǐng)域舉例，隨著生命遺傳密碼（基因組）的不斷破解，人的生老病死這一復(fù)雜事情可以用數(shù)字化的方式具體呈現(xiàn)，以期實(shí)現(xiàn)疾病的精準(zhǔn)預(yù)測(cè)、診斷和治療，讓人們遠(yuǎn)離傳感染疾病、防控出生缺陷、腫瘤和心腦血管疾病，提升人均預(yù)期壽命，并大幅度降低社會(huì)衛(wèi)生總負(fù)擔(dān)。

近二十年來(lái)，個(gè)人全基因組測(cè)序的成本以“超摩爾定律”的速度下降，而高性能計(jì)算在測(cè)序數(shù)據(jù)分析方向的應(yīng)用也發(fā)生了翻天覆地的變化。目前全球主流的基因組測(cè)序數(shù)據(jù)分析工具是Broad Institute開發(fā)的免費(fèi)開源工具集GATK（Genome Analysis Toolkit），該項(xiàng)生命科學(xué)領(lǐng)域公認(rèn)的最佳工作流程完成一個(gè)人的全基因組（Whole Genome Sequencing，WGS）30X數(shù)據(jù)分析需要1800分鐘。深耕于基因組學(xué)20多年的華大基因在基因組高性能計(jì)算領(lǐng)域再獲突破性進(jìn)展，于近日成功實(shí)現(xiàn)6分鐘完成30X WGS全流程的分析任務(wù)，相較于GATK標(biāo)準(zhǔn)計(jì)算時(shí)長(zhǎng)提速300倍。

根據(jù)NIH公布的最新資料，隨著測(cè)序技術(shù)的發(fā)展，測(cè)序成本以超摩爾定律下

https://www.genome.gov/about-genomics/fact-sheets/DNA-Sequencing-Costs-Data

6分鐘完成30X WGS任務(wù)是由華大基因自主研發(fā)的LUSH工具集實(shí)現(xiàn)的，打破了該軟件在2020年1月創(chuàng)造的15分鐘極限速度。其中的黑科技正是采用了全新的底層架構(gòu)設(shè)計(jì)，提供了基于中央處理器和圖形處理器相結(jié)合進(jìn)行基因數(shù)據(jù)分析的高性能加速方案，在降低集群計(jì)算資源消耗、提高檢出速度的同時(shí)，實(shí)現(xiàn)了全程自動(dòng)化、信息化，有記錄可回溯，可以更好地用于精準(zhǔn)醫(yī)學(xué)的應(yīng)用場(chǎng)景。

LUSH工具集加速的全新底層架構(gòu)邏輯

LUSH工具集提供了一種“CPU+GPU”的高并行軟硬件解決方案，基于經(jīng)典流程中的軟件模塊BWA、SAMTOOLS和GATK，利用GPU的通用運(yùn)算技術(shù)，通過計(jì)算引擎和加速引擎的全新架構(gòu)設(shè)計(jì)，實(shí)現(xiàn)算法優(yōu)化和并行化處理，并結(jié)合華大自主研發(fā)的超高通量測(cè)序儀，完成堿基數(shù)據(jù)流的超高速分析，最終獲得準(zhǔn)確的分析結(jié)果。

LUSH工具集加速流程示意圖

正是因?yàn)樯鼣?shù)字化進(jìn)程需要嚴(yán)謹(jǐn)?shù)目茖W(xué)精神，而其應(yīng)用場(chǎng)景主要體現(xiàn)在精準(zhǔn)醫(yī)療、健康管理等與人類健康有著息息相關(guān)的領(lǐng)域，因此不同于其他高性能計(jì)算領(lǐng)域，基因組數(shù)據(jù)分析對(duì)精度有極高的要求。而實(shí)際上高性能和準(zhǔn)確性并不能完全兼得，數(shù)據(jù)范圍、分布和浮點(diǎn)精度、峰值性能和內(nèi)存都會(huì)影響算法的選擇，尤其涉及到唯一最優(yōu)解和近似解的算法可能大相徑庭。LUSH工具集正是通過在經(jīng)典流程算法的基礎(chǔ)上利用了其全新設(shè)計(jì)的底層架構(gòu)進(jìn)一步減少了中間結(jié)果的讀寫，并利用CPU實(shí)現(xiàn)基因分析任務(wù)的智能分發(fā)，利用GPU數(shù)千計(jì)算核心實(shí)現(xiàn)百萬(wàn)任務(wù)的極速并行處理，同時(shí)解決了經(jīng)典流程計(jì)算密度較高、頻繁地存儲(chǔ)器訪問等問題，經(jīng)過測(cè)試其標(biāo)準(zhǔn)品的準(zhǔn)確性結(jié)果與經(jīng)典流程一致，高達(dá)99.86%，使得其可以在計(jì)算結(jié)果的準(zhǔn)確性與極速性上得以平衡。

更優(yōu)越的性能、更低的成本和更高效的檢出是所有高性能計(jì)算應(yīng)用領(lǐng)域的研發(fā)追求目標(biāo)。對(duì)加速組件的持續(xù)研發(fā)源自對(duì)速度無(wú)止境的追求，正如手機(jī)芯片行業(yè)的發(fā)展是隨著移動(dòng)端需求的旺盛，技術(shù)才得以不斷地迭代和進(jìn)步。從基因組學(xué)基礎(chǔ)研究到臨床研究及應(yīng)用，實(shí)現(xiàn)測(cè)序工具的自主可控的同時(shí)也需要實(shí)現(xiàn)數(shù)學(xué)方法上的自主研發(fā)，而不只是追求芯片的底層下潛開發(fā)。對(duì)后者是無(wú)止境的追求，而只有前者的完全可控才能實(shí)現(xiàn)從跟隨模仿到真正超越的可能，從核心算法的研發(fā)上助力我國(guó)精準(zhǔn)醫(yī)療自主可控的發(fā)展進(jìn)程。