21世紀經(jīng)濟報道記者李覽青 上海報道

每當談及某項新興技術(shù)在金融場景的落地應用時，CIO們都會告訴記者，投入是其面對的最首要問題。

(資料圖片)

所謂“投入”，并不僅僅是采購系統(tǒng)、服務(wù)的金額，還包括運維成本、人力成本、對已有資源的占用成本、業(yè)務(wù)系統(tǒng)升級改造帶來的隱形成本，以及現(xiàn)有業(yè)務(wù)人員為學習適應新技術(shù)付出的成本等等。

在AIGC時代，提升資源利用效率更是成為金融行業(yè)大模型技術(shù)落地應用的必答題。有行業(yè)專家曾給記者算過一筆賬，如果在金融垂直領(lǐng)域把所有公開數(shù)據(jù)都訓練完，一次達標的預訓練，以彭博旗下BloombergGPT的500億參數(shù)計算，需要花費200張以上的英偉達A100顯卡，僅一次訓練支出在200萬以上，低于這一體量的訓練可能效果會不及預期。

顯然不是所有金融機構(gòu)都有財力和人力來支持這樣大規(guī)模的訓練，但即使是基于廠商已有大模型，金融機構(gòu)在自有環(huán)境下進行精調(diào)，依然需要一定的資源支持。此前記者曾報道金融機構(gòu)通過建立AI中臺，將大模型作為所有應用的入口，有采訪對象向記者直言精調(diào)時依然存在算力不夠的問題。

在高昂的投入下，如何優(yōu)化系統(tǒng)架構(gòu)，降低業(yè)務(wù)人員使用門檻、提升資源利用率，實現(xiàn)降本增效？

算力瓶頸待解

在支撐大模型技術(shù)落地的“三駕馬車”中，算力是不得不突破的基礎(chǔ)設(shè)施，然而算力緊縮已是全球AI市場必須面對的現(xiàn)實。

與以往的AI訓練模型方式不同，大模型的訓練任務(wù)是“多機多卡”式的，在分布式任務(wù)訓練下需要消耗大量的資源。微軟在近期的財報中首次將GPU的可用性確定為風險因素，微軟表示將繼續(xù)尋找和評估擴大數(shù)據(jù)中心位置和增加服務(wù)器容量的機會，以滿足客戶不斷變化的需求，特別是考慮到對人工智能服務(wù)不斷增長的需求。

通用大模型訓練對算力的要求驚人。據(jù)GPU Utils在今年8月公布的一組數(shù)據(jù)顯示，OpenAI的GPT-4可能需要1萬-2.5萬張英偉達A100顯卡。

而金融機構(gòu)訓練自己的大模型一般以二次訓練精調(diào)（普遍指Fine-tune）為主，在已有預訓練模型的基礎(chǔ)上，在整個神經(jīng)網(wǎng)絡(luò)的最后一層進行修改，其他參數(shù)不變，盡管所需的算力要求相較預訓練小很多，但一次訓練也依然需要數(shù)十張A100顯卡。

“巧婦難為無米之炊，底層算力是客戶要解決的第一個問題?！彬v訊云智能金融行業(yè)負責人汪凱峰告訴記者，特別是算力資源流通不暢的情況下，金融客戶一般有兩種選擇，一是頭部金融機構(gòu)基于過去囤積的GPU進行探索，二是嘗試將少量訓練和精調(diào)挪到公有云上，解決一部分算力問題。

梳理AI資產(chǎn)迫在眉睫

有限的算力迫使金融機構(gòu)降本增效，其中梳理AI資產(chǎn)就成為必經(jīng)之路。

去年12月，財政部提出企業(yè)數(shù)據(jù)資源可作為資產(chǎn)列入財務(wù)報表，數(shù)據(jù)資產(chǎn)化探索進程已加速。在AIGC浪潮下的AI資產(chǎn)不僅包括可用數(shù)據(jù)集，還有AI模型、AI能力等等。

“在大模型出現(xiàn)之前，我們探索AI應用研發(fā)是煙囪式的，很多業(yè)務(wù)部門來找我要卡，一個系統(tǒng)兩張卡，每次都買一堆卡，非常被動，使用效率也不高?！蹦郴鸸究萍疾块T負責人坦言。

在封閉的金融業(yè)務(wù)系統(tǒng)中，破解數(shù)據(jù)孤島已經(jīng)是行業(yè)老生常談的話題，在不同的部門間，數(shù)據(jù)、算法、業(yè)務(wù)系統(tǒng)的隔離都將導致資源的重復利用與浪費。一方面，金融機構(gòu)需要整合歷史遺留的重復AI能力，另一方面，AI資產(chǎn)的管理與治理迫在眉睫。

“金融行業(yè)是數(shù)字化轉(zhuǎn)型走得最快的行業(yè)，AI產(chǎn)品形態(tài)五花八門，從算法、業(yè)務(wù)系統(tǒng)到平臺型產(chǎn)品，累積了大量煙囪式的AI資產(chǎn)?！蓖魟P峰提到，在幫助金融客戶進行系統(tǒng)架構(gòu)部署時發(fā)現(xiàn)，底層算力使用也較為混亂，對數(shù)據(jù)的可用程度、機器的利用率、業(yè)務(wù)側(cè)調(diào)動算法的次數(shù)等等都沒有充分了解。

對這一問題，汪凱峰表示，騰訊云TI平臺在基礎(chǔ)設(shè)施架構(gòu)方面提供的解法是“上下統(tǒng)一、中間異構(gòu)”，在上層做AI資產(chǎn)門戶展示，在中間層沉淀AI通用能力整合進入中臺。

由于大模型的分布式訓練任務(wù)，以“多機多卡”形式推進，更需要對算力資源進行充分的感知與適配。記者了解到，用于大模型訓練的機群下的算力節(jié)點在同一時間分配了不同程度的運行任務(wù)，提升AI中臺的感知能力以靈活選擇資源調(diào)度器更為重要。

“金融機構(gòu)需要在厘清AI資產(chǎn)的基礎(chǔ)上，沉淀通用數(shù)據(jù)能力與AI能力，對算法調(diào)用量等信息進行監(jiān)控維護?！蓖魟P峰認為，AI資產(chǎn)梳理不僅僅是中臺的建設(shè)，而是從數(shù)據(jù)、算力、算法、應用自下而上的治理。

譬如在助力中國金融期貨交易所的數(shù)字化轉(zhuǎn)型中，中金所技術(shù)公司通過騰訊云TI平臺的能力，每天處理超過2000萬條輿情數(shù)據(jù)、數(shù)億次的調(diào)用次數(shù)，平臺成功率超過99%。如果使用傳統(tǒng)的方式處理這些數(shù)據(jù)量，需要構(gòu)建統(tǒng)一的代碼框架，通用的代碼運行環(huán)境，部署維護反向代理工具等工作，將花費大量的人力和時間成本。

另外，模型開發(fā)速度提升方面，TI平臺里面有150多種通用算法和算子能力，用戶可以在工作流中直接訓練模型，并將其放入模型倉庫，形成從模型訓練到發(fā)布再到服務(wù)的閉環(huán)，能夠有效降低搭建成本和人力投入。之前需要花費一個月的工作，如今只需要2-3天就能完成。

降低模型開發(fā)門檻

“代碼普惠”成為AIGC時代的另一個關(guān)鍵詞。

據(jù)恒生研究院院長、首席科學家白碩介紹，基于Transformer架構(gòu)，大模型目前分為兩條技術(shù)路線，其中GPT的單向預測模型可以理解為“接龍”，而另一條路線類似于“填空”，前者通過一條示意可以容納包括知識、推理、引導、詳細說明，甚至代碼的預測，后者需要兩邊文本的信息指示。

“GPT對AI行業(yè)的沖擊非常大?！卑状T告訴記者，在此之前機構(gòu)部署的AI系統(tǒng)都是“煙囪式”的單個系統(tǒng)，“諸多小模型的訓練使堂堂分析師淪為數(shù)據(jù)標注員，而模型的可用性也難以得到保障?！?/p>

事實上，在算力采購、算法優(yōu)化、模型建立的背后，是大量的人力成本消耗。

在各金融機構(gòu)的人員構(gòu)成中，科技研發(fā)人員占比已在逐年增加。在2022年財報中公布相關(guān)數(shù)據(jù)的上市銀行中，工商銀行、農(nóng)業(yè)銀行、建設(shè)銀行、招商銀行科技人員數(shù)量都已破萬，興業(yè)銀行與浦發(fā)銀行兩家銀行科技人員占總員工的比重都超過10%。

對于金融機構(gòu)而言，既期待大模型引領(lǐng)“低代碼”時代的到來降低人力成本，又對大模型訓練需要的人力成本保持謹慎觀望。

獵聘數(shù)據(jù)顯示，今年一季度AI大模型相關(guān)新發(fā)職位同比增長10.16%，算法工程師、機器學習相關(guān)職位的招聘年薪中位數(shù)均達到40萬以上。

“我們曾經(jīng)統(tǒng)計過建模過程中的時間消耗分布，”騰訊云智能-中金所項目技術(shù)負責人梁晨向記者提到，機器學習結(jié)構(gòu)化數(shù)據(jù)的建模過程中，有50%的時間消耗在結(jié)構(gòu)化數(shù)據(jù)的特征提取，即數(shù)據(jù)分析師根據(jù)建模目標對數(shù)據(jù)進行分析，再對特征進行提取，而這樣的數(shù)據(jù)分析師必須熟悉原始數(shù)據(jù)表，對龐大的數(shù)據(jù)體量進行分析，并在金融機構(gòu)跨部門協(xié)調(diào)獲取數(shù)據(jù)，在提取特征后再使用這一特征進行建模?！斑@對數(shù)據(jù)分析師的要求非常高，既要熟悉原有的數(shù)據(jù)報表，又要理解業(yè)務(wù)模型構(gòu)建。”梁晨告訴記者，通過平臺沉淀相關(guān)能力后，可以將特征提取人員與建模人員分開，降低模型開發(fā)門檻，提升建模效率。

關(guān)鍵詞：