大數(shù)據(jù)+AI能與碳中和扯上關(guān)系？看這家新能源企業(yè)如何操作

當(dāng) AI 進(jìn)入落地期，認(rèn)真思考如何打通大數(shù)據(jù)與 AI 應(yīng)用的關(guān)聯(lián)，才是企業(yè)眼前既現(xiàn)實(shí)、又關(guān)鍵的一大挑戰(zhàn)。

2020 年 9 月，中國(guó)政府提出了 2060 年前實(shí)現(xiàn)碳中和的目標(biāo)，此后，這一概念的熱度節(jié)節(jié)攀升?！柑歼_(dá)峰」和「碳中和」也正式寫進(jìn)了 2021 年的《政府工作報(bào)告》，成為兩會(huì)期間最熱門的議題。

從目前的排放總量來(lái)看，中國(guó)已是全球碳排放第一大國(guó)。處于經(jīng)濟(jì)上升期、排放達(dá)峰期的現(xiàn)況讓我們必須兼顧能源低碳轉(zhuǎn)型和經(jīng)濟(jì)轉(zhuǎn)型，統(tǒng)籌考慮約束碳排放和保持社會(huì)經(jīng)濟(jì)發(fā)展增速需求之間的矛盾。為了實(shí)現(xiàn)碳中和目標(biāo)，各行各業(yè)，尤其是能源行業(yè)，都要付出更多的努力。

原本這些努力，與 IT 行業(yè)主導(dǎo)的 AI、大數(shù)據(jù)等技術(shù)或應(yīng)用似乎是八桿子都打不著的關(guān)系。然而，就在能源革命悄悄開(kāi)啟的當(dāng)下，數(shù)字化和智能化的技術(shù)驅(qū)動(dòng)力還是悄然浮出了水面。

這兩者會(huì)產(chǎn)生關(guān)聯(lián)的原因其實(shí)很簡(jiǎn)單——在低碳經(jīng)濟(jì)的發(fā)展趨勢(shì)下，以風(fēng)電、光伏為代表的可再生新能源正在能源格局中扮演越來(lái)越重要的角色。來(lái)自國(guó)家能源局的數(shù)據(jù)顯示，僅 2019 年上半年，全國(guó)風(fēng)電發(fā)電量同比增長(zhǎng) 11.5%、光伏發(fā)電裝機(jī)量同比增長(zhǎng) 20%。

然而，風(fēng)電、光伏等新能源卻很容易受到環(huán)境因素的限制：在其生產(chǎn)過(guò)程中，風(fēng)速、風(fēng)向、日照、氣溫、氣壓等環(huán)境因素，都會(huì)給電力系統(tǒng)帶來(lái)巨大影響，使發(fā)電設(shè)備、 并入電網(wǎng)都面臨運(yùn)行效率、設(shè)備安全等方面的問(wèn)題。

在這一特定背景下，功率預(yù)測(cè)系統(tǒng)的作用顯得尤為重要。除能幫助電網(wǎng)調(diào)度系統(tǒng)合理調(diào)整和優(yōu)化發(fā)電計(jì)劃，改善電網(wǎng)調(diào)峰能力，還能減少棄風(fēng)和棄光率，是產(chǎn)業(yè)真正實(shí)現(xiàn)降本增效的基礎(chǔ)。

以往，通過(guò)歷史資料以及人工經(jīng)驗(yàn)來(lái)實(shí)施功率預(yù)測(cè)，往往存在準(zhǔn)確率低、波動(dòng)性大等弊端。因此在這場(chǎng)史無(wú)前例的大變革中，人工智能、物聯(lián)網(wǎng)、云計(jì)算等新興技術(shù)注定會(huì)成為幕后英雄。以智能化手段來(lái)應(yīng)對(duì)以上挑戰(zhàn)，也正在成為新能源企業(yè)面向未來(lái)，領(lǐng)跑綠色能源發(fā)展之路的首選。

金風(fēng)慧能就是其中的領(lǐng)跑者之一。這家新能源數(shù)字化、智能化領(lǐng)域的專業(yè)服務(wù)提供商，結(jié)合風(fēng)機(jī)級(jí)氣象預(yù)報(bào)、風(fēng)軌跡模擬等氣象預(yù)報(bào)數(shù)據(jù)， 以多模型組合的方式構(gòu)建了用于功率預(yù)測(cè)的全新智能方案，將預(yù)測(cè)的準(zhǔn)確率提升了 20% 以上。

它的秘訣是什么？

窮則變、變則通、通則久

在大數(shù)據(jù)和 AI 技術(shù)發(fā)展的助力下，基于 AI 的智能功率預(yù)測(cè)其實(shí)早就具備了充分的落地條件。但問(wèn)題是：只單純依靠海量歷史數(shù)據(jù)樣本，并且只采用單一的人工智能算法模型的方法，也早已面臨「技窮」的局面，其預(yù)測(cè)準(zhǔn)確率會(huì)隨著預(yù)測(cè)時(shí)段變長(zhǎng)而隨之降低。

圖片

對(duì)于電力生產(chǎn)而言，最常見(jiàn)的超短期預(yù)測(cè)也要求系統(tǒng)預(yù)測(cè) 4 小時(shí)內(nèi)的功率輸出，這意味著預(yù)測(cè)系統(tǒng)需要在未來(lái) 16 個(gè)時(shí)間點(diǎn) (每 15 分鐘計(jì)為一個(gè)時(shí)間點(diǎn)) 上都保持出色的預(yù)測(cè)準(zhǔn)確率和穩(wěn)定性。 

窮則思變，金風(fēng)慧能通過(guò)研究和實(shí)踐發(fā)現(xiàn)，在既有智能預(yù)測(cè)系統(tǒng)中，導(dǎo)入兩項(xiàng)技術(shù)即可帶來(lái)改觀：

一是導(dǎo)入更多維度、更具價(jià)值的數(shù)據(jù)。傳統(tǒng)預(yù)測(cè)方法是一種「從已有功率數(shù)據(jù)去預(yù)測(cè)未來(lái)功率」的方案，因此其在時(shí)間維度上缺乏必要的數(shù)據(jù)支撐，而氣象預(yù)報(bào)數(shù)據(jù)則能有效地彌補(bǔ)這一短板，其時(shí)序性數(shù)據(jù)能令未來(lái)各個(gè)時(shí)間點(diǎn)的預(yù)測(cè)準(zhǔn)確率都保持一致性；

二是為更多維的數(shù)據(jù)匹配多模型組合的方案，便于根據(jù)實(shí)際需求選取不同的深度學(xué)習(xí)或機(jī)器學(xué)習(xí)模型，分別與氣象預(yù)報(bào)數(shù)據(jù)進(jìn)行組合，揚(yáng)長(zhǎng)補(bǔ)短。

「牽手」Analytics Zoo, 打通大數(shù)據(jù)與 AI 應(yīng)用

有了解決問(wèn)題的法子，接下來(lái)就是思考如何實(shí)施。

第一步，要先「打通」大數(shù)據(jù)平臺(tái)與 AI 應(yīng)用，這是打造一個(gè)結(jié)合海量歷史數(shù)據(jù)與氣象預(yù)報(bào)數(shù)據(jù)，并以多模型組合方式運(yùn)行的全新智能功率預(yù)測(cè)方式所必需的，但要在大量分布式數(shù)據(jù)節(jié)點(diǎn)上打通大數(shù)據(jù)平臺(tái)與 AI 模型、框架和優(yōu)化方法，也不是件容易事兒。為此，金風(fēng)慧能與英特爾展開(kāi)了緊密合作。

Analytics Zoo 是英特爾專門針對(duì)打通大數(shù)據(jù)平臺(tái)與 AI 任務(wù)這一挑戰(zhàn)開(kāi)發(fā)并開(kāi)源的解決方案，也是英特爾至強(qiáng)平臺(tái)在軟件和系統(tǒng)級(jí)優(yōu)化上的重要組成部分。它能幫助多數(shù)企業(yè)用戶現(xiàn)在普遍使用的、基于至強(qiáng)處理器的大數(shù)據(jù)平臺(tái)上，直接背靠其積累的海量數(shù)據(jù)無(wú)縫部署 AI 應(yīng)用。這一過(guò)程既不需要分別構(gòu)建大數(shù)據(jù)平臺(tái)和 AI 平臺(tái)，免去將「大噸位」數(shù)據(jù)在不同平臺(tái)間騰挪所消耗的高昂成本，也無(wú)需更換大數(shù)據(jù)平臺(tái)的基礎(chǔ)設(shè)施。

當(dāng)然，Analytics Zoo 有很多自己的獨(dú)特優(yōu)勢(shì)：先天就可對(duì)基于英特爾 ? 架構(gòu)的硬件基礎(chǔ)設(shè)施提供全面周到的性能調(diào)優(yōu)，同時(shí)支持 TensorFlow、PyTorch、Keras、BigDL 等多種主流 AI 框架。

基于 Analytics Zoo，構(gòu)建統(tǒng)一端到端全優(yōu)化方案

正是基于 Analytics Zoo，金風(fēng)慧能輕松地將 Spark、TensorFlow、Keras 及其它軟件和框架無(wú)縫集成到了同一管道中，實(shí)現(xiàn)將數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理以及訓(xùn)練推理的流水線整合到統(tǒng)一的基礎(chǔ)設(shè)施上。如此一來(lái)，既可大幅提升新方案的部署效率、資源利用率和可擴(kuò)展性，還能減少用于硬件管理及系統(tǒng)運(yùn)維的成本。

下面這張圖展示了基于 Analytics Zoo 的分布式功率預(yù)測(cè)架構(gòu)：

同時(shí)，Analytics Zoo 還能卓有成效地將英特爾提供的眾多底層軟件加速庫(kù)，如英特爾 ? 數(shù)學(xué)核心函數(shù)庫(kù) (Intel? Math Kernel Library，現(xiàn)名為 oneAPI Math Kernel Library)、面向深度神經(jīng)網(wǎng)絡(luò)的英特爾 ? 數(shù)學(xué)核心函數(shù)庫(kù) (Intel? Math Kernel Library for Deep Neural Network, 現(xiàn)名為 oneAPI Deep Neural Network Library) 等，應(yīng)用到上層功率預(yù)測(cè)方案的優(yōu)化中去。

「壓榨」Analytics Zoo, 強(qiáng)化時(shí)序數(shù)據(jù)分析

除了提供統(tǒng)一的端到端平臺(tái)架構(gòu)，Analytics Zoo 對(duì)于不同時(shí)序分析應(yīng)用，如時(shí)序預(yù)測(cè)、異常檢測(cè)、時(shí)序表征學(xué)習(xí)、時(shí)序聚類等，也提供了完整的解決方案，便于金風(fēng)慧能在新方案中構(gòu)建更多的預(yù)測(cè)方法組合。

Analytics Zoo 針對(duì)時(shí)序數(shù)據(jù)預(yù)置了豐富的功能組件，包括功率預(yù)測(cè)常見(jiàn)的深度學(xué)習(xí)和機(jī)器學(xué)習(xí)模型（LSTM、Encoder-Decoder、MTNet、ARIMA 等），功率預(yù)測(cè)中常用的數(shù)據(jù)預(yù)處理和特征工程（Datetime features、 Time diff、Log-transform、Rolling window 等），功率預(yù)測(cè)中普遍的異常探測(cè)方法（Percentile、Distribution- based、Uncertainty based、Autoencoder 等）。 

Analytics Zoo 還提供了 AutoML 方法，使新方案實(shí)現(xiàn)了自動(dòng)化特征選擇、模型選擇和超參調(diào)優(yōu)等，令預(yù)測(cè)模型得以更好地?cái)M合發(fā)電設(shè)備輸出功率的變化周期。 

經(jīng)過(guò)全國(guó)多個(gè)光伏測(cè)試場(chǎng)站的實(shí)地測(cè)試，在驗(yàn)證方案以月為周期的條件下，每一個(gè)測(cè)試的光伏場(chǎng)中，在單小時(shí)內(nèi)使用 30000 條記錄對(duì) LSTNet 模型進(jìn)行 5000 次迭代優(yōu)化，并在 50 毫秒內(nèi)獲得未來(lái) 2 小時(shí)的功率預(yù)測(cè)數(shù)據(jù)。結(jié)果顯示，新方案在預(yù)測(cè)準(zhǔn)確率上超越了原有方案的 59%，達(dá)到了 79.41%。

金風(fēng)慧能功率預(yù)測(cè)新舊方案對(duì)比。

AI 要實(shí)現(xiàn)「軟著陸」 大數(shù)據(jù)支持不能少

金風(fēng)慧能的一系列操作，從實(shí)戰(zhàn)角度再次印證了算法、算力、數(shù)據(jù)三者良性互動(dòng)的重要性。大數(shù)據(jù)作為基礎(chǔ)資源，為 AI 技術(shù)的快速進(jìn)步和實(shí)踐落地起到了奠基作用。不難想象，如果沒(méi)有足夠量級(jí)、獲取和使用足夠便捷的數(shù)據(jù)為算力和算法托底，AI 的落地很可能會(huì)演變成鼻青臉腫式的「硬著陸」。

在這種認(rèn)知的推動(dòng)下，有越來(lái)越多的行業(yè)在 AI 應(yīng)用過(guò)程中導(dǎo)入 Analytics Zoo，以無(wú)縫對(duì)接他們的大數(shù)據(jù)平臺(tái)與 AI 應(yīng)用。例如在智能制造領(lǐng)域，由 Analytics Zoo 提供的端到端 AI 開(kāi)發(fā)與部署能力，就幫助美的構(gòu)建了高效的工業(yè)視覺(jué)檢測(cè)云平臺(tái)，用以實(shí)施產(chǎn)品缺陷檢測(cè)。

Analytics Zoo 讓美的能夠在統(tǒng)一的、基于至強(qiáng)處理器的云平臺(tái)上進(jìn)行海量數(shù)據(jù)管理、分布式模型訓(xùn)練、模型重定義及模型推理等一系列 AI 處理流程。在數(shù)據(jù)采集及預(yù)處理優(yōu)化階段，Analytics Zoo 能幫助云平臺(tái)執(zhí)行高效分布式數(shù)據(jù)預(yù)處理和代碼優(yōu)化，在 50 毫秒內(nèi)就完成對(duì)圖片的讀取和處理；在海量數(shù)據(jù)管理階段，它能助云平臺(tái)快速進(jìn)行數(shù)據(jù)存儲(chǔ)、分類以及更新；在分布式模型訓(xùn)練階段，它一方面可協(xié)助云平臺(tái)構(gòu)建檢測(cè)模型，另一方面通過(guò)自帶的 TF 優(yōu)化器迅速啟動(dòng)分布式訓(xùn)練過(guò)程；在模型重定義階段，Analytics Zoo 不僅可執(zhí)行參數(shù)調(diào)整，并可加速模型推理速度。

這一通連貫的組合拳下來(lái)，結(jié)果就是美的工業(yè)視覺(jué)檢測(cè)云平臺(tái)的模型推理時(shí)間從 2 秒縮短到了 124 毫秒。

MasterCard 和韻達(dá)則是金融和物流行業(yè)中打通大數(shù)據(jù)和 AI 應(yīng)用的先行者，前者利用 Analytics Zoo，在基于至強(qiáng)可擴(kuò)展處理器的大數(shù)據(jù)集群上直接開(kāi)發(fā)和運(yùn)行用于營(yíng)銷推薦場(chǎng)景的深度學(xué)習(xí)應(yīng)用，不但避開(kāi)了采用異構(gòu) AI 系統(tǒng)可能會(huì)面對(duì)的復(fù)雜工具集成、昂貴的數(shù)據(jù)復(fù)制和移動(dòng)，以及更長(zhǎng)的項(xiàng)目時(shí)間和資源消耗等問(wèn)題，還實(shí)現(xiàn)了更優(yōu)的精準(zhǔn)度和召回率；后者則利用 Analytics Zoo 和英特爾至強(qiáng)平臺(tái)，以端到端的方式快速敏捷地構(gòu)建了「大小件測(cè)量」、「數(shù)據(jù)中心異常檢測(cè)」以及「件量預(yù)測(cè)」等關(guān)鍵環(huán)節(jié)的 AI 應(yīng)用，有效提升了快遞物流系統(tǒng)的運(yùn)作效率，大大降低了人工勞動(dòng)的強(qiáng)度和人力成本。

在這些行業(yè)用戶積極嘗試 Analytics Zoo 的同時(shí)，也有致力于提供成熟商品化解決方案的合作伙伴盯上了它與至強(qiáng)可擴(kuò)展平臺(tái)的組合優(yōu)勢(shì)——在中國(guó) AI 服務(wù)器領(lǐng)域占據(jù)了市場(chǎng)及技術(shù)優(yōu)勢(shì)的浪潮，就于近期推出了融合 Analytics Zoo, 基于浪潮云海大數(shù)據(jù)平臺(tái) insight 的端到端智慧計(jì)算解決方案，可以讓更多用戶快捷、高效、低成本地將大數(shù)據(jù)預(yù)處理、模型的訓(xùn)練和推理與他們現(xiàn)有的大數(shù)據(jù)工作流整合在一起。

值得一提的是，英特爾也在同期發(fā)布了代號(hào)為 Ice Lake、面向單路和雙路服務(wù)器、基于 10 納米制程工藝生產(chǎn)、擁有更優(yōu)性能和能效的全新第三代至強(qiáng)可擴(kuò)展處理器。該處理器可搭配傲騰持久內(nèi)存 200 系列、傲騰固態(tài)盤 P5800X 系列及通信帶寬最高達(dá) 100Gbps 的以太網(wǎng) 800 系列網(wǎng)絡(luò)適配器等存儲(chǔ)和網(wǎng)絡(luò)優(yōu)化型產(chǎn)品，還有包括 Analytics Zoo 在內(nèi)的多種英特爾軟件及系統(tǒng)級(jí)優(yōu)化工具，進(jìn)而組合成數(shù)據(jù)計(jì)算、存儲(chǔ)和傳輸表現(xiàn)更優(yōu)、也更為均衡的新一代至強(qiáng)可擴(kuò)展平臺(tái)，相信很多用戶和合作伙伴基于 Analytics Zoo 的 AI 實(shí)踐或解決方案，很快就會(huì)借此平臺(tái)實(shí)現(xiàn)更優(yōu)的性能、成本和靈活性收益。