程序員轉(zhuǎn)型AI高手的8項(xiàng)杰出思維

1   前言

在AI大潮流中，程序員(又稱碼農(nóng))具有的優(yōu)勢(shì)是擅長(zhǎng)挖掘AI開源代碼(如免費(fèi)金礦)。由于互聯(lián)網(wǎng)上有豐富的開源AI大模型的代碼(Code)，而程序員熟悉免費(fèi)拿大模型的代碼，把其參數(shù)量調(diào)小，搭配企業(yè)自有IP練出企業(yè)自有IP的中小模型了。于是，免費(fèi)代碼既省成本、又自有IP，豈不美乎。

基于上述的優(yōu)勢(shì)技能,程序員可以將AI模型(代碼)視為-種軟件容器(Container),其能程序員擅長(zhǎng)于代碼，可以表達(dá)算法，也包容芯片算力。于是，程序員承接下且致力于組合創(chuàng)新AI容器，以便支持人們的多樣化商且致力于組合創(chuàng)新AI容器，以便支持人們的多樣化商業(yè)應(yīng)用需求。

程序員的珍貴價(jià)值在于—AI模型代碼的創(chuàng)新組合，其內(nèi)涵包括:

●   IT延伸人的手腳，AI 擴(kuò)大人思維空間。

●   LLM強(qiáng)龍與企業(yè)AI地頭蛇的相輔相成。

●   傳統(tǒng)IT、今日AI與人之間，三合協(xié)作。

●   LLM是神鷹，IT是獵狗，您是成吉思汗。

于是，本文就來(lái)說(shuō)明，程序員轉(zhuǎn)型AI高手的葵花寶典，它包含8項(xiàng)杰出思維和創(chuàng)新組合技能。如下：

1.精準(zhǔn)厘清泛化需求，調(diào)整模型參數(shù),追求最優(yōu)化。

2.家貓搭配野貓。貓丁興旺，企業(yè)興隆，財(cái)源廣闊。

3.優(yōu)化人機(jī)的協(xié)作模式。建立<人, AI,IT>的三合。

4.熟悉微調(diào)的訓(xùn)練機(jī)制，并搭配GPU性能優(yōu)化策略。

5.區(qū)分AI模型的可觀察空間與隱空間(Latent space)。

6.避免掉入把AI模型應(yīng)用于<果-果>推論的陷阱里。

7.活用LLM來(lái)優(yōu)化人機(jī)接口，拉近科技與人的距離。

8.AIGC不僅能生成作品，也能生成樣本(Samples)。

2   詳細(xì)解說(shuō)

2.1   杰出思維(1)：精準(zhǔn)厘清泛化需求，調(diào)整模型參數(shù)，追求最優(yōu)化

●   泛化(Generalization)是大模型的必要特性和能力，因而模型的參數(shù)量大增，運(yùn)算效率下降且更加耗能。[泛化」之意是:當(dāng)我們的AI模型可以應(yīng)對(duì)未來(lái)的數(shù)據(jù)，也就是可以被廣泛使用卻仍在我們模型的識(shí)別的范圍內(nèi)，也就是它的適應(yīng)性很好，這就是泛化。

●   從上所述可知，泛化是導(dǎo)致模型變大、效率下降的原因。所以，縮小泛化的幅度，能有效減小模型、加細(xì)觀察企業(yè)AI應(yīng)用情境中的泛化需求，然后刪除不必細(xì)觀察企業(yè)AI應(yīng)用情境中的泛化需求，然后刪除不必要的模型泛化功能、結(jié)構(gòu)，以及數(shù)據(jù)收集和訓(xùn)練。

●   例如，在商店<柜臺(tái)CLIP招財(cái)貓>模型的使用情境里，客人拿來(lái)結(jié)賬的商品是自己店家的商品，由柜臺(tái)的Camera拍攝照片，才輸入給CLIP 模型。于是，泛化的幅度不需要超出本家產(chǎn)品圖像，只需要涵蓋產(chǎn)品放置的角度不同而拍攝到不同視角的圖像即可。這樣即可大幅縮小參數(shù)量、訓(xùn)練數(shù)據(jù)量、加速訓(xùn)練和推理效能，省時(shí)又省能源。

2.2   杰出思維(2):家貓搭配野貓。貓丁興旺，企業(yè)興隆,財(cái)源廣闊

●   亦即，訓(xùn)練自己的家貓(小模型),搭配外來(lái)的野貓(大模型)。貓丁興旺，企業(yè)興隆。

●   精心思考如何來(lái)建立企業(yè)家貓模型，復(fù)制企業(yè)專家直覺，擴(kuò)大企業(yè)生產(chǎn)力，提升競(jìng)爭(zhēng)力。亦即，引導(dǎo)企業(yè)內(nèi)的領(lǐng)域?qū)＜?、AI工程師，一起攜手為企業(yè)(建立AI模型、訓(xùn)練模型、應(yīng)用模型〉。大力延伸企業(yè)專家有效的〈去蕪存菁>剪枝之后，才是企業(yè)最值得信賴的有效的〈去蕪存菁>剪枝之后，知識(shí)力,最能提供客戶〈比你更懂你)的服務(wù)效能。亦即，才是企業(yè)最值得信賴的訓(xùn)練自己的家貓(小模型),搭配外來(lái)的野貓(大模型)。

●   生成式AI大模型是發(fā)散性(加法設(shè)計(jì))，如同風(fēng)箏一樣隨風(fēng)飄揚(yáng)。它需要有一根繩索， 即縮斂性(減法設(shè)計(jì))模型，來(lái)精準(zhǔn)微調(diào)，力求整體和諧。例如，Stable Difusion是發(fā)散性模型，富有創(chuàng)新力。各企業(yè)可以訓(xùn)練自用Difusion來(lái)生成足夠樣本，來(lái)訓(xùn)練自用GAN模型，來(lái)?yè)?dān)任縮斂的任務(wù)。

●   再如ChatGPT等是發(fā)散性模型,富有幻想創(chuàng)新力。各企業(yè)可基于企業(yè)知識(shí)圖(Knowledge Graph)，訓(xùn)練自用Graph AI模型，來(lái)?yè)?dān)任縮斂的任務(wù)。

2.3   杰出思維(3):優(yōu)化人機(jī)之間的協(xié)作模式

●   鑒于近年來(lái)AI的發(fā)展，AI(如ChatGPT)愈來(lái)愈善解人意，但是行為卻更加幻覺。于是，我們可以把機(jī)器(計(jì)算機(jī))的任務(wù)分為三項(xiàng): 1) 與人體貼互動(dòng)、2)正確工作行為、3)關(guān)鍵重要決策。

●   其中的第1項(xiàng)任務(wù)可由AI來(lái)打前鋒。而第2項(xiàng)任務(wù)則由傳統(tǒng)IT打前鋒搭配AI輔助。至于攸關(guān)法律責(zé)任(或人命關(guān)天)的重要決策，則交給人類來(lái)主導(dǎo)&裁決。AI可以比喻為<神鷹>、IT 可比喻為<鬣狗>、善用<神鷹、鬣狗、成吉思汗>的三合架構(gòu)，則您極善用<神鷹、鬣狗、成吉思汗>的三合架構(gòu)，則您極可能如成吉思汗，締造史上最大帝國(guó)。

●   就如同Uber汽車，人類司機(jī)是決策者(需負(fù)法律責(zé)任，并且人命關(guān)天)。而AI扮演<相>的角色——如幫忙看地圖、比人類看得更廣，尋找更佳路線，并實(shí)時(shí)重新探索新路徑。此時(shí)，不是拿人類所看到的地圖數(shù)據(jù)去訓(xùn)練AI,而是收集更多人類視野中看不見的、無(wú)法實(shí)時(shí)看完的巨大數(shù)據(jù)來(lái)訓(xùn)練AI。

●   此外，AI還要時(shí)時(shí)刻刻觀察人類的決策，瞬間評(píng)估人類的決策，實(shí)時(shí)反饋給決策者，避免人類將錯(cuò)誤決策付之<執(zhí)行>，于是大大降低了決策風(fēng)險(xiǎn)。

2.4   杰出思維(4):微調(diào)(Fine- tuning)訓(xùn)練，并搭配GPU性能優(yōu)化策略

●   例如，熟悉LoRA微調(diào)三步驟：

●   Step-1:觀察&測(cè)試原模型(如MT5- -Small)的input和output格式

●   Step-2:準(zhǔn)備Training data，建立自己的Dataset類別，并拿原模型測(cè)試訓(xùn)練。

●   Step-3:將LoRA外掛到原模型(如MT5-Small)，并進(jìn)行協(xié)同訓(xùn)練及測(cè)試。

●   再如，程序代碼指定使用BF16精度、NTWC內(nèi)存數(shù)據(jù)格式等，發(fā)揮Intel GPU的高效率潛能，大幅加快訓(xùn)練效率。以及指定量化(Quantization)模式，提高推論效率、降低功耗。

2.5   杰出思維(5):區(qū)分模型里的可觀察空間與隱空間(Latent space)

●   力求發(fā)揮隱空間的三項(xiàng)特質(zhì)是:架構(gòu)通用性、內(nèi)涵復(fù)用性、模塊組裝性。這個(gè)架構(gòu)如同一棵大樹的主干，向上支持枝葉(即可觀察空間)的新陳代謝，又能支持根部(如底層GPU芯片)的成長(zhǎng)，因而創(chuàng)造了整體生生不息的有機(jī)次序(Organic Order)。

●   當(dāng)?shù)讓有酒瑢痈臅r(shí)，它不會(huì)影響可觀察層，能大幅降低AI芯片開發(fā)的風(fēng)險(xiǎn)。因此，基于隱空間架構(gòu)可以確保芯片底層設(shè)計(jì)變動(dòng)的自由度，可以實(shí)現(xiàn)<沒錢就改版，改版就有錢>的美好商模。

2.6   杰出思維(6):避免掉入<把AI模型應(yīng)用于<果果>推論>的陷阱

●   許多人們掉入把AI模型應(yīng)用于<果果>推論的陷阱里。例如，ECG心電圖數(shù)據(jù)、血糖檢測(cè)數(shù)據(jù)，其實(shí)都是<果>，不是<因>。而眼睛、腳踝腫大癥狀，也是<果>。 心臟休克，也是<果>。AI模型應(yīng)用于<果果>預(yù)測(cè)都不會(huì)準(zhǔn)確，都會(huì)失敗!

●   例如在醫(yī)學(xué)AI領(lǐng)域，病毒檢測(cè)和預(yù)測(cè)，不能掉入這項(xiàng)迷思里。而要請(qǐng)教醫(yī)學(xué)專家:這些果的幕后的<因>是甚么?然后建立兩個(gè)AI模型，第1個(gè)模型：第2個(gè)模型是：從預(yù)測(cè)出的真正<因>，推論出所需要第2個(gè)模型是:從預(yù)測(cè)出的真正<因>，推論出所需要的果(如胰臟癌并發(fā)癥)。

●   除了醫(yī)學(xué)AI模型之外，其實(shí)各行業(yè)都要留意：所有呈現(xiàn)的數(shù)據(jù)幾乎都是現(xiàn)象的<果>。而這些現(xiàn)象的真實(shí)的<因>并沒有呈現(xiàn)于大數(shù)據(jù)里。

●   因而一般人常常只關(guān)心數(shù)據(jù)的<真>與<假>。而沒有深入探索出關(guān)于<因>的潛藏?cái)?shù)據(jù)。例如，Apple Watch是-項(xiàng)成功的AI商業(yè)案例，人們需要建立<果因推論>的AI模型，而不是僅僅建立<果果>AI模型。

2.7   杰出思維(7):活用LLM優(yōu)化人機(jī)交互，拉近科技與人的距離

●   綜觀計(jì)算機(jī)科技的發(fā)展史，凡是有科學(xué)技術(shù)或美學(xué)設(shè)計(jì)來(lái)顯著拉近人機(jī)之間的距離時(shí)，都會(huì)帶來(lái)巨大的商業(yè)效益。例如，40 年前從DOS+鍵盤輸入，改進(jìn)到Windows+鼠標(biāo)輸入，帶給主導(dǎo)企業(yè)可觀的收益。

●   到了15年前，從平板+觸控筆操作，改進(jìn)到手從輸入關(guān)鍵詞查詢，又推進(jìn)到LLM的文字(語(yǔ)音)從輸入關(guān)鍵詞查詢，又推進(jìn)到LLM的文字(語(yǔ)音)輸輸入和交互，也將帶給有關(guān)企業(yè)巨大的商業(yè)利益。

2.8   杰出思維(8): AIGC不僅能生成作品，還能生成樣本(Samples)

來(lái)訓(xùn)練決策式(或辨別式)AI模型。

●   生成樣本來(lái)訓(xùn)練AI模型。例如，擅用基因醫(yī)學(xué)的GWAS分析，以及IC芯片設(shè)計(jì)的龐大特征(Features)數(shù)來(lái)生成樣本(樣本)，做為決策式AI模型的訓(xùn)練數(shù)據(jù)，IC芯片設(shè)計(jì)、無(wú)人機(jī)作戰(zhàn)、企業(yè)投資等決策都有巨大IC芯片設(shè)計(jì)、無(wú)人機(jī)作戰(zhàn)、企業(yè)投資等決策都有巨大商業(yè)意義。

●   與上述的基因檢測(cè)分析、腸道菌相檢測(cè)分析一樣，因?yàn)镮C的組成要素(如晶體管)的數(shù)量都是高達(dá)10億(Billion)級(jí)別的。使得這些元素之間的鏈接(Connection)的數(shù)據(jù)有一項(xiàng)重要特性特征(Feature)的個(gè)數(shù)非常大(如幾千~幾十萬(wàn))。因之，AI科技可以給予<半導(dǎo)體IC產(chǎn)業(yè)>一項(xiàng)禮物，即是：高維度大數(shù)據(jù)運(yùn)算能力。

4   結(jié)束語(yǔ)

AIGC潮流就如同一個(gè)巨大的海流，程序員(碼農(nóng))就能水漲船高，積極轉(zhuǎn)型成為AI模型的組合創(chuàng)新高手。并且促進(jìn)AI與IC芯片兩個(gè)行業(yè)之間的協(xié)同設(shè)計(jì)(co-design)，融合交流，逐漸成為<豐富美學(xué)&擅用算力>的AI產(chǎn)業(yè)新人才，并主導(dǎo)未來(lái)AI生態(tài)發(fā)展。

（本文來(lái)源于《EEPW》202407）