欧美老妇性午夜小视频_国产97最新在线视频_亚洲精品免费Ww久久_日韩三级在线成人网站

中國西藏網(wǎng) > 即時新聞 > 國內(nèi)

鵬城實驗室等開展合作 突破國產(chǎn)算力大模型長窗口技術(shù)

發(fā)布時間:2023-11-20 13:57:00來源: 中國新聞網(wǎng)

  中新網(wǎng)北京11月19日電 (記者 張素)上下文窗口長度,對于模型理解和生成與特定上下文相關(guān)文本極為重要,是大模型核心技術(shù)之一。記者近日采訪獲悉,鵬城實驗室等相關(guān)機(jī)構(gòu)開展合作,在國產(chǎn)算力大模型長窗口技術(shù)方面有所突破。

  通常來說,更長的上下文窗口可以提供更豐富的語義信息,并且能夠讓模型生成的內(nèi)容更準(zhǔn)確流暢。“鵬城—百川·腦海33B”的128K長上下文窗口基于“鵬城云腦”國產(chǎn)算力平臺訓(xùn)練,未來可升級至192K。

  據(jù)知,為提升上下文窗口長度和模型整體性能,百川智能和鵬城實驗室對模型進(jìn)行了全流程優(yōu)化。在數(shù)據(jù)集構(gòu)建方面,研發(fā)人員采用精細(xì)的數(shù)據(jù)構(gòu)造,實現(xiàn)段落、句子粒度的自動化數(shù)據(jù)過濾、選擇、配比,進(jìn)一步提升了數(shù)據(jù)質(zhì)量。

  在全生命周期的模型工具集中方面,包括來自北京大學(xué)的王亦洲、楊耀東團(tuán)隊在內(nèi),多方開展合作,創(chuàng)新提出帶安全約束的RLHF對齊技術(shù),有效提升了模型內(nèi)容生成質(zhì)量和安全性。

  鵬城實驗室相關(guān)負(fù)責(zé)人表示,接下來還將廣泛聯(lián)合企業(yè)、高校和科研院所,通過開源群智的合作模式共享資源,為千行百業(yè)插上人工智能的“翅膀”。百川智能相關(guān)負(fù)責(zé)人也表示,希望通過開源、與合作伙伴共創(chuàng)等方式,助力中國大模型創(chuàng)新,促進(jìn)本土大模型生態(tài)日益繁榮。

  有評論認(rèn)為,上述在大模型訓(xùn)練和應(yīng)用領(lǐng)域的合作研發(fā)實踐,對于國產(chǎn)算力大模型發(fā)展具有積極示范作用,希望更多科研機(jī)構(gòu)、企業(yè)廠商基于各自優(yōu)勢形成合力,更好地滿足國內(nèi)不斷增長的智能化轉(zhuǎn)型需求,助力中國人工智能產(chǎn)業(yè)持續(xù)發(fā)展。(完)

(責(zé)編:陳濛濛)

版權(quán)聲明:凡注明“來源:中國西藏網(wǎng)”或“中國西藏網(wǎng)文”的所有作品,版權(quán)歸高原(北京)文化傳播有限公司。任何媒體轉(zhuǎn)載、摘編、引用,須注明來源中國西藏網(wǎng)和署著作者名,否則將追究相關(guān)法律責(zé)任。