堅(jiān)持做行業(yè)大模型，竹間智能給大模型造了一座「模型工廠」（2）

總之，Model factory、Benchmark System 加上 Chat Search，一個大模型驅(qū)動的語義搜索引擎，三大要素緊密聯(lián)動，使 EmotiBrain 可敏捷應(yīng)用于復(fù)雜及多變的場景中，并給予強(qiáng)大靈活的支持。 

「EmotiBrain 可以在幾天甚至幾個小時內(nèi)幫你選出最適合的大模型，通常需要一個模型工程師花好幾個月才能做到，甚至因缺少人才或 know-how 都無法完成可用的模型，白白浪費(fèi)的資源?！购喨寿t說。 

另外，EmotiBrain 還有一個非常好用的 GPU 資源調(diào)度功能，自動幫你調(diào)度云資源或本地 GPU 資源。這樣，一般不懂IT業(yè)務(wù)的人員也可以用這個微調(diào)平臺來訓(xùn)練自己的模型，「他只要需要知道數(shù)據(jù)從哪來的?！?nbsp;

三、如何可控？四步應(yīng)對模型幻覺 

可定制化實(shí)現(xiàn)后，還有一個問題。許多創(chuàng)始人對在他們的產(chǎn)品和工作流程中實(shí)施大模型持謹(jǐn)慎態(tài)度，因?yàn)檫@些模型有時就像小孩子——會編造事情，對幻想與現(xiàn)實(shí)沒有牢固的把握。有媒體報(bào)道，美國律師使用 ChatGPT 提交法庭簡報(bào)，結(jié)果引用的6個案例都是 ChatGPT 編造的虛假案例。 

「產(chǎn)生幻覺，其實(shí)是生成式 AI 的一個特點(diǎn)?！购喨寿t認(rèn)為，創(chuàng)造力是知識生成的一個主要來源，如果百分百避免幻覺，模型也會失去創(chuàng)造力。不過，EmotiBrain 也有辦法幫助企業(yè)更好控制模型的輸出。 

例如，在模型推理階段，用戶可以根據(jù)不同業(yè)務(wù)需求，調(diào)整「temperature」的數(shù)值，低溫度可以生成更加專注、保守和一致的回答。這種方式在營銷人員需要準(zhǔn)確、精確的答案或者遵循特定格式或品牌指南的信息時非常有用。

中溫度的話，能夠在創(chuàng)造力和一致性之間取得平衡。這種設(shè)置非常適用于一般內(nèi)容生成，因?yàn)樾枰獪?zhǔn)確性和創(chuàng)新的結(jié)合。高溫度可以生成更具創(chuàng)意、多樣化和出人意料的輸出。營銷人員可能會在頭腦風(fēng)暴創(chuàng)新的活動想法、制作引人入勝的社交媒體內(nèi)容或?qū)で髮δ硞€主題的新鮮視角時更喜歡使用這種設(shè)置。 

除此之外，模型可控能不能做到100%還取決于微調(diào)過程。 

就企業(yè)私域問答部分來說，完全可以做到可控。企業(yè)可以花大量精力做好知識準(zhǔn)備、知識清洗和審核。訓(xùn)練后，還可以用人類對齊（alignment ）的方式控制輸出質(zhì)量。 

比如，你可以給輸出的答案做標(biāo)注，告訴模型哪個是對的、哪個是錯的，用基于人類反饋的強(qiáng)化學(xué)習(xí)的方法（RLHF）進(jìn)行再訓(xùn)練，模型就知道對與錯，自動減少胡言亂語的回答，但是RLHF要做得好，對使用數(shù)據(jù)與標(biāo)準(zhǔn)數(shù)量和質(zhì)量就有要求。 

值得一提的是， EmotiBrain 還提供審核機(jī)制——「用大模型去做 reflection ，把 reflection 放到大模型里」，讓大模型擁有自我檢視的能力。 

「這個咖啡很難喝」，在講出這句話之前，人們會先問自己這句話對嗎？是不是符合商業(yè)規(guī)范或道德標(biāo)準(zhǔn)？有沒有人身攻擊？有沒有牽扯到政治？ 

「所有這些環(huán)節(jié)，一個前面的大模型反思模型、加上基于人類反饋的強(qiáng)化學(xué)習(xí)、私域數(shù)據(jù)的掌控，還有 temperature 也可以調(diào)。我們都會提供工具和評測去幫助他們做好這些控制?！购喨寿t總結(jié)道。 

四、KKBot 的想象力 

除了 EmotiBrain，安裝了這臺發(fā)動機(jī)四款「車型」中，最值得關(guān)注、也最具想象力的是 KKBot ，你可以將它視為國內(nèi)版本的 Office Copilot，可以存在任何地方。

它可以是一個瀏覽器插件，根據(jù)你瀏覽網(wǎng)頁的內(nèi)容，答問題、做總結(jié)，任何 web application，KKBot 都是 Copilot?！窩hrome 能用，我們現(xiàn)在準(zhǔn)備適配 IE 瀏覽器?！购喨寿t告訴我們。 

它還會出現(xiàn)在常用企業(yè)軟件里（例如網(wǎng)頁版的辦公軟件、竹間智能的產(chǎn)品），根據(jù)你的 query 自動生成想要的總結(jié)、圖片、統(tǒng)計(jì)表格、數(shù)據(jù)分析等。在他看來，「傳統(tǒng)的 BI 可能會被大模型顛覆掉?！?nbsp;

它甚至可以在企業(yè) DIY 大模型過程中，充當(dāng)助手。如果企業(yè)將自己的私域數(shù)據(jù)放到 Knowledge Factory ，那么，KK bot 可以在 Knowledge Factory 的文檔與知識庫里，找出大模型生成的一些令人生疑的回答的來源。如果找不到某句回答出處，大概率是模型在亂講。 

最有意思的是在 KKBot 加持下，公司最暢銷的Bot Factory 脫胎換骨，升級到 Plus。 

竹間智能早在 2017 年就推出了 Bot Factory，企業(yè)客戶可以在這個工廠里做各種機(jī)器人——智能客服、對話機(jī)器人、問診機(jī)器人、故障排除機(jī)器人、專家機(jī)器人等。有些企業(yè)甚至用 Bot Factory 在企業(yè)內(nèi)部做了 1000 多個機(jī)器人。 

現(xiàn)在，這些經(jīng)過行業(yè)驗(yàn)證和打磨的產(chǎn)品又成為竹間智能部署在客戶側(cè)的「尖兵」，也是接入底層大模型能力的關(guān)鍵入口。如果可以幫助企業(yè)輕松定制自己的模型并嵌入到這些入口，無需帶著新品教育市場，竹間智能就能將新的底層能力出售出去。 

以前我們用小模型去訓(xùn)練可能需要花兩天的時間?，F(xiàn)在，機(jī)器人的問答跟知識全部由大模型生成，只要兩個小時，運(yùn)營成本降低了90%以上。簡仁賢解釋道。 

KKBot 可以幫你生成知識，幫你對齊知識。比如，你給它輸入《保險法》，輸入完以后，它自動從《保險法》里抽出來所有的知識跟所有的問答，抽出來之后，自動訓(xùn)練 Bot Factory+ 的對話機(jī)器人，兩個小時可以回答上千個問題，95% 以上準(zhǔn)確率。 

整個過程都是自動的，無需人為干預(yù)。跑完以后，再由人工測試。如果對輸出結(jié)果滿意，就能發(fā)布上線。 

KKBot 作為 Copilot，還有一個很大的優(yōu)點(diǎn)。簡仁賢強(qiáng)調(diào)說，「它不是一個模型的Copilot，而是多個不同模型的 Copilot，可以跟所有模型去兼容，當(dāng)企業(yè)不同部門或項(xiàng)目組有多個模型在運(yùn)行時，KKBot 可以選擇不同模型來回答，完全不受單一模型限制?！?nbsp;

比如，可以接竹間大模型魔力寫作與 ChatLLM，華為盤古大模型的 API，海外用戶可以去接 GPT-4 或 GPT3.5 Turbo的 API，甚至包括企業(yè)自己訓(xùn)練出來放到 EmotiBrain 里的大模型。 

「切換不同的大模型，展現(xiàn)出來的能力也不一樣。」 

五、「租」得起：99萬包年 

竹間智能的目標(biāo)是將人工智能平民化，讓所有的企業(yè)都有自己的大模型，都能負(fù)擔(dān)得起的大模型。「工廠（factory）」就是實(shí)現(xiàn)這一目標(biāo)的技術(shù)手段。 

現(xiàn)在，從「工廠（factory）租金」來看，根據(jù)所需GPU的數(shù)量不同，「1+4」PaaS 年訂閱服務(wù)的費(fèi)用也有兩個檔次。 

如果僅需 1-8 個GPU，一年訂閱價格 99 萬。超過 8 個 GPU，一年的套餐價格 149  萬。具體情況，依據(jù)不同行業(yè)、不同企業(yè)部門要求不同。 

例如，訓(xùn)練一個比較復(fù)雜的模型，假設(shè) 330 億參數(shù)，用一塊 GPU 可能需要 1-5 天。很多時候，在預(yù)算有限的情況下，99 萬的套餐也就夠用了。當(dāng)然，如果預(yù)算比較富裕，企業(yè)也希望數(shù)小時就能訓(xùn)練好，8 個 GPU 可能不夠用，可以升級到 149 萬元的套餐。 

「相比花 2000 萬買個行業(yè)大模型，還冒著走彎路的風(fēng)險，我們的產(chǎn)品用起來比較安心」，簡仁賢認(rèn)為，「你只用花 99 萬，就可以定制出適合你的模型，而且沒有限制模型數(shù)量，并可以立刻在現(xiàn)實(shí)應(yīng)用中看到它的價值，也不受云計(jì)算廠商的限制，不用綁定任何云計(jì)算資源?！?nbsp;

這些工具都是免費(fèi)升級，而且做出來的模型都屬于客戶，「我們不 own 這個模型，我們也不賣模型，我們只是把這個 PaaS 租給你用，讓人去定制模型。」他補(bǔ)充說，「也就是說，我租給你的是一個模型工廠。」 

其實(shí)，OpenAI 這樣的公司只是給我們指明了一個方向。開源社區(qū)會根據(jù)這個方向做出更創(chuàng)新的東西，進(jìn)而成為企業(yè)落地大模型的主流。 

簡仁賢預(yù)測，未來 6-12 個月，開源社區(qū)也會出現(xiàn)更多新的前沿訓(xùn)練和微調(diào)技術(shù)，不斷降低大模型對內(nèi)存、GPU 依賴，降低微調(diào)和訓(xùn)練成本，不斷提升訓(xùn)練速度。更新的模型框架也會出現(xiàn)，更多的具備通用能力的指令集也會問世，更多的不同語言的訓(xùn)練集也會在各國地區(qū)的努力下開源出來，全球范圍內(nèi)的大模型應(yīng)用會更加廣泛，進(jìn)而加速 Generative AI 與 LLM 技術(shù)的快速迭代。 

這個大模型就是每個企業(yè)應(yīng)用的「腦」。未來，每隔一段時間，與「腦」有關(guān)的技術(shù)都會取得重要進(jìn)展，比如更好的模型、訓(xùn)練方式、更高質(zhì)量的數(shù)據(jù)。 

這個時候，大模型的管理和迭代就顯得更加重要。他說，有了工廠流水線，換「腦」就變得很容易。