大數(shù)據(jù)+AI能與碳中和扯上關系？看這家新能源企業(yè)如何操作

當 AI 進入落地期，認真思考如何打通大數(shù)據(jù)與 AI 應用的關聯(lián)，才是企業(yè)眼前既現(xiàn)實、又關鍵的一大挑戰(zhàn)。

2020 年 9 月，中國政府提出了 2060 年前實現(xiàn)碳中和的目標，此后，這一概念的熱度節(jié)節(jié)攀升?！柑歼_峰」和「碳中和」也正式寫進了 2021 年的《政府工作報告》，成為兩會期間最熱門的議題。

從目前的排放總量來看，中國已是全球碳排放第一大國。處于經(jīng)濟上升期、排放達峰期的現(xiàn)況讓我們必須兼顧能源低碳轉(zhuǎn)型和經(jīng)濟轉(zhuǎn)型，統(tǒng)籌考慮約束碳排放和保持社會經(jīng)濟發(fā)展增速需求之間的矛盾。為了實現(xiàn)碳中和目標，各行各業(yè)，尤其是能源行業(yè)，都要付出更多的努力。

原本這些努力，與 IT 行業(yè)主導的 AI、大數(shù)據(jù)等技術或應用似乎是八桿子都打不著的關系。然而，就在能源革命悄悄開啟的當下，數(shù)字化和智能化的技術驅(qū)動力還是悄然浮出了水面。

這兩者會產(chǎn)生關聯(lián)的原因其實很簡單——在低碳經(jīng)濟的發(fā)展趨勢下，以風電、光伏為代表的可再生新能源正在能源格局中扮演越來越重要的角色。來自國家能源局的數(shù)據(jù)顯示，僅 2019 年上半年，全國風電發(fā)電量同比增長 11.5%、光伏發(fā)電裝機量同比增長 20%。

然而，風電、光伏等新能源卻很容易受到環(huán)境因素的限制：在其生產(chǎn)過程中，風速、風向、日照、氣溫、氣壓等環(huán)境因素，都會給電力系統(tǒng)帶來巨大影響，使發(fā)電設備、 并入電網(wǎng)都面臨運行效率、設備安全等方面的問題。

在這一特定背景下，功率預測系統(tǒng)的作用顯得尤為重要。除能幫助電網(wǎng)調(diào)度系統(tǒng)合理調(diào)整和優(yōu)化發(fā)電計劃，改善電網(wǎng)調(diào)峰能力，還能減少棄風和棄光率，是產(chǎn)業(yè)真正實現(xiàn)降本增效的基礎。

以往，通過歷史資料以及人工經(jīng)驗來實施功率預測，往往存在準確率低、波動性大等弊端。因此在這場史無前例的大變革中，人工智能、物聯(lián)網(wǎng)、云計算等新興技術注定會成為幕后英雄。以智能化手段來應對以上挑戰(zhàn)，也正在成為新能源企業(yè)面向未來，領跑綠色能源發(fā)展之路的首選。

金風慧能就是其中的領跑者之一。這家新能源數(shù)字化、智能化領域的專業(yè)服務提供商，結(jié)合風機級氣象預報、風軌跡模擬等氣象預報數(shù)據(jù)， 以多模型組合的方式構建了用于功率預測的全新智能方案，將預測的準確率提升了 20% 以上。

它的秘訣是什么？

窮則變、變則通、通則久

在大數(shù)據(jù)和 AI 技術發(fā)展的助力下，基于 AI 的智能功率預測其實早就具備了充分的落地條件。但問題是：只單純依靠海量歷史數(shù)據(jù)樣本，并且只采用單一的人工智能算法模型的方法，也早已面臨「技窮」的局面，其預測準確率會隨著預測時段變長而隨之降低。

圖片

對于電力生產(chǎn)而言，最常見的超短期預測也要求系統(tǒng)預測 4 小時內(nèi)的功率輸出，這意味著預測系統(tǒng)需要在未來 16 個時間點 (每 15 分鐘計為一個時間點) 上都保持出色的預測準確率和穩(wěn)定性。 

窮則思變，金風慧能通過研究和實踐發(fā)現(xiàn)，在既有智能預測系統(tǒng)中，導入兩項技術即可帶來改觀：

一是導入更多維度、更具價值的數(shù)據(jù)。傳統(tǒng)預測方法是一種「從已有功率數(shù)據(jù)去預測未來功率」的方案，因此其在時間維度上缺乏必要的數(shù)據(jù)支撐，而氣象預報數(shù)據(jù)則能有效地彌補這一短板，其時序性數(shù)據(jù)能令未來各個時間點的預測準確率都保持一致性；

二是為更多維的數(shù)據(jù)匹配多模型組合的方案，便于根據(jù)實際需求選取不同的深度學習或機器學習模型，分別與氣象預報數(shù)據(jù)進行組合，揚長補短。

「牽手」Analytics Zoo, 打通大數(shù)據(jù)與 AI 應用

有了解決問題的法子，接下來就是思考如何實施。

第一步，要先「打通」大數(shù)據(jù)平臺與 AI 應用，這是打造一個結(jié)合海量歷史數(shù)據(jù)與氣象預報數(shù)據(jù)，并以多模型組合方式運行的全新智能功率預測方式所必需的，但要在大量分布式數(shù)據(jù)節(jié)點上打通大數(shù)據(jù)平臺與 AI 模型、框架和優(yōu)化方法，也不是件容易事兒。為此，金風慧能與英特爾展開了緊密合作。

Analytics Zoo 是英特爾專門針對打通大數(shù)據(jù)平臺與 AI 任務這一挑戰(zhàn)開發(fā)并開源的解決方案，也是英特爾至強平臺在軟件和系統(tǒng)級優(yōu)化上的重要組成部分。它能幫助多數(shù)企業(yè)用戶現(xiàn)在普遍使用的、基于至強處理器的大數(shù)據(jù)平臺上，直接背靠其積累的海量數(shù)據(jù)無縫部署 AI 應用。這一過程既不需要分別構建大數(shù)據(jù)平臺和 AI 平臺，免去將「大噸位」數(shù)據(jù)在不同平臺間騰挪所消耗的高昂成本，也無需更換大數(shù)據(jù)平臺的基礎設施。

當然，Analytics Zoo 有很多自己的獨特優(yōu)勢：先天就可對基于英特爾 ? 架構的硬件基礎設施提供全面周到的性能調(diào)優(yōu)，同時支持 TensorFlow、PyTorch、Keras、BigDL 等多種主流 AI 框架。

基于 Analytics Zoo，構建統(tǒng)一端到端全優(yōu)化方案

正是基于 Analytics Zoo，金風慧能輕松地將 Spark、TensorFlow、Keras 及其它軟件和框架無縫集成到了同一管道中，實現(xiàn)將數(shù)據(jù)存儲、數(shù)據(jù)處理以及訓練推理的流水線整合到統(tǒng)一的基礎設施上。如此一來，既可大幅提升新方案的部署效率、資源利用率和可擴展性，還能減少用于硬件管理及系統(tǒng)運維的成本。

下面這張圖展示了基于 Analytics Zoo 的分布式功率預測架構：

同時，Analytics Zoo 還能卓有成效地將英特爾提供的眾多底層軟件加速庫，如英特爾 ? 數(shù)學核心函數(shù)庫 (Intel? Math Kernel Library，現(xiàn)名為 oneAPI Math Kernel Library)、面向深度神經(jīng)網(wǎng)絡的英特爾 ? 數(shù)學核心函數(shù)庫 (Intel? Math Kernel Library for Deep Neural Network, 現(xiàn)名為 oneAPI Deep Neural Network Library) 等，應用到上層功率預測方案的優(yōu)化中去。

「壓榨」Analytics Zoo, 強化時序數(shù)據(jù)分析

除了提供統(tǒng)一的端到端平臺架構，Analytics Zoo 對于不同時序分析應用，如時序預測、異常檢測、時序表征學習、時序聚類等，也提供了完整的解決方案，便于金風慧能在新方案中構建更多的預測方法組合。

Analytics Zoo 針對時序數(shù)據(jù)預置了豐富的功能組件，包括功率預測常見的深度學習和機器學習模型（LSTM、Encoder-Decoder、MTNet、ARIMA 等），功率預測中常用的數(shù)據(jù)預處理和特征工程（Datetime features、 Time diff、Log-transform、Rolling window 等），功率預測中普遍的異常探測方法（Percentile、Distribution- based、Uncertainty based、Autoencoder 等）。 

Analytics Zoo 還提供了 AutoML 方法，使新方案實現(xiàn)了自動化特征選擇、模型選擇和超參調(diào)優(yōu)等，令預測模型得以更好地擬合發(fā)電設備輸出功率的變化周期。 

經(jīng)過全國多個光伏測試場站的實地測試，在驗證方案以月為周期的條件下，每一個測試的光伏場中，在單小時內(nèi)使用 30000 條記錄對 LSTNet 模型進行 5000 次迭代優(yōu)化，并在 50 毫秒內(nèi)獲得未來 2 小時的功率預測數(shù)據(jù)。結(jié)果顯示，新方案在預測準確率上超越了原有方案的 59%，達到了 79.41%。

金風慧能功率預測新舊方案對比。

AI 要實現(xiàn)「軟著陸」 大數(shù)據(jù)支持不能少

金風慧能的一系列操作，從實戰(zhàn)角度再次印證了算法、算力、數(shù)據(jù)三者良性互動的重要性。大數(shù)據(jù)作為基礎資源，為 AI 技術的快速進步和實踐落地起到了奠基作用。不難想象，如果沒有足夠量級、獲取和使用足夠便捷的數(shù)據(jù)為算力和算法托底，AI 的落地很可能會演變成鼻青臉腫式的「硬著陸」。

在這種認知的推動下，有越來越多的行業(yè)在 AI 應用過程中導入 Analytics Zoo，以無縫對接他們的大數(shù)據(jù)平臺與 AI 應用。例如在智能制造領域，由 Analytics Zoo 提供的端到端 AI 開發(fā)與部署能力，就幫助美的構建了高效的工業(yè)視覺檢測云平臺，用以實施產(chǎn)品缺陷檢測。

Analytics Zoo 讓美的能夠在統(tǒng)一的、基于至強處理器的云平臺上進行海量數(shù)據(jù)管理、分布式模型訓練、模型重定義及模型推理等一系列 AI 處理流程。在數(shù)據(jù)采集及預處理優(yōu)化階段，Analytics Zoo 能幫助云平臺執(zhí)行高效分布式數(shù)據(jù)預處理和代碼優(yōu)化，在 50 毫秒內(nèi)就完成對圖片的讀取和處理；在海量數(shù)據(jù)管理階段，它能助云平臺快速進行數(shù)據(jù)存儲、分類以及更新；在分布式模型訓練階段，它一方面可協(xié)助云平臺構建檢測模型，另一方面通過自帶的 TF 優(yōu)化器迅速啟動分布式訓練過程；在模型重定義階段，Analytics Zoo 不僅可執(zhí)行參數(shù)調(diào)整，并可加速模型推理速度。

這一通連貫的組合拳下來，結(jié)果就是美的工業(yè)視覺檢測云平臺的模型推理時間從 2 秒縮短到了 124 毫秒。

MasterCard 和韻達則是金融和物流行業(yè)中打通大數(shù)據(jù)和 AI 應用的先行者，前者利用 Analytics Zoo，在基于至強可擴展處理器的大數(shù)據(jù)集群上直接開發(fā)和運行用于營銷推薦場景的深度學習應用，不但避開了采用異構 AI 系統(tǒng)可能會面對的復雜工具集成、昂貴的數(shù)據(jù)復制和移動，以及更長的項目時間和資源消耗等問題，還實現(xiàn)了更優(yōu)的精準度和召回率；后者則利用 Analytics Zoo 和英特爾至強平臺，以端到端的方式快速敏捷地構建了「大小件測量」、「數(shù)據(jù)中心異常檢測」以及「件量預測」等關鍵環(huán)節(jié)的 AI 應用，有效提升了快遞物流系統(tǒng)的運作效率，大大降低了人工勞動的強度和人力成本。

在這些行業(yè)用戶積極嘗試 Analytics Zoo 的同時，也有致力于提供成熟商品化解決方案的合作伙伴盯上了它與至強可擴展平臺的組合優(yōu)勢——在中國 AI 服務器領域占據(jù)了市場及技術優(yōu)勢的浪潮，就于近期推出了融合 Analytics Zoo, 基于浪潮云海大數(shù)據(jù)平臺 insight 的端到端智慧計算解決方案，可以讓更多用戶快捷、高效、低成本地將大數(shù)據(jù)預處理、模型的訓練和推理與他們現(xiàn)有的大數(shù)據(jù)工作流整合在一起。

值得一提的是，英特爾也在同期發(fā)布了代號為 Ice Lake、面向單路和雙路服務器、基于 10 納米制程工藝生產(chǎn)、擁有更優(yōu)性能和能效的全新第三代至強可擴展處理器。該處理器可搭配傲騰持久內(nèi)存 200 系列、傲騰固態(tài)盤 P5800X 系列及通信帶寬最高達 100Gbps 的以太網(wǎng) 800 系列網(wǎng)絡適配器等存儲和網(wǎng)絡優(yōu)化型產(chǎn)品，還有包括 Analytics Zoo 在內(nèi)的多種英特爾軟件及系統(tǒng)級優(yōu)化工具，進而組合成數(shù)據(jù)計算、存儲和傳輸表現(xiàn)更優(yōu)、也更為均衡的新一代至強可擴展平臺，相信很多用戶和合作伙伴基于 Analytics Zoo 的 AI 實踐或解決方案，很快就會借此平臺實現(xiàn)更優(yōu)的性能、成本和靈活性收益。