久久精品性爱,国产香蕉在线观看,黄色网站在线观看高清无码,我和子发生了性关系视频

 
當前位置: 首頁 » 人物專訪 » 資深專家 » 精英人物 » 正文

訪談清華大學高濱教授:大模型時代的存算一體芯片


  來源: EETOP 時間:2024-08-07 編輯:清風
分享到:

?

以下文章來源于EETOP ,作者Nancy Zhou


近日,馬斯克透露,他的人工智能初創(chuàng)公司xAI正計劃建造一臺超級計算機,并希望在 2025年秋季之前讓擬議的超級計算機運行,為其下一版本的人工智能聊天機器人Grok提供算力。


其實,早在今年3月,xAI就發(fā)布了其最新版的Grok 1.5。不過,4月,馬斯克宣布,由于沒有足夠多的先進芯片,故推遲了Grok 2模型的訓練和發(fā)布。他表示,訓練Grok2模型需要大約2萬塊英偉達H100,而Grok3模型及更高版本將需要10萬塊英偉達H100。完成后,其連接的芯片組將至少是當今最大GPU集群的4倍。


確實,生成式AI從云端走向終端,芯片已經成為推進大模型發(fā)展的關鍵。大模型企業(yè)也已經開始將目光聚焦到芯片公司,期待從底層展開合作,以解決算力成本在端側的覆蓋問題?;谒懔π枨?,芯片廠商與大模型廠商走得更近了。


在泰克最新對清華大學教授高濱的采訪中,他表示:“自2023年開始,大模型就非?;?。國際上、以及幾個大公司都在研究怎么去支持大模型。從新的器件到新的工藝,這幾個公司的技術路線都不太一樣。有的相對傳統(tǒng)一些,有的嘗試用新工藝新器件去做。在去年的IEDM大會中,還專門設置了一個探討大模型的section?!?



高濱老師特別強調說:“大模型不僅僅是算法和應用上,其實底層的算力支撐也是非常重要?!?


大模型與存算一體技術


當前,各行各業(yè)都在數(shù)字化轉型,數(shù)據(jù)處理和存儲的需求與日俱增。傳統(tǒng)的計算與存儲的模式已經很難滿足當下高性能、低能耗、強安全的需求。存算一體技術被認為是可以有效解決傳統(tǒng)馮·諾依曼架構下的“存儲墻”和“功耗墻”問題的有效途徑。


存算一體的優(yōu)勢是打破存儲墻,消除不必要的數(shù)據(jù)搬移延遲和功耗,并使用存儲單元提升算力,成百上千倍的提高計算效率,降低成本。除了用于AI計算外,存算技術也可用于存算一體芯片和類腦芯片,代表了未來主流的大數(shù)據(jù)計算芯片架構。


高濱老師表示,大模型對功耗及成本的要求很高。如果憶阻器真的能應用到大模型里面的話,能效比預計將會有數(shù)量級的提升?,F(xiàn)在大模型基本都是在云端,未來在端側,功耗將會是一個非常大的挑戰(zhàn)。憶阻器這種高能效的優(yōu)勢在端側就會有很多的優(yōu)勢。


高濱老師分享了近兩三年的研究重點,主要是希望把存算一體的技術往應用上去牽引,具體在開展的工作包括以下三大方面:


與企業(yè)合作。嘗試在實際邊緣智能的場景中做芯片設計,以及實際場景下的可靠性。高濱老師特別指出:“我們發(fā)現(xiàn),在很多實際場景下,芯片電阻狀態(tài)的保持其實是存在隨機偏移的relaxation效應的,如何抑制隨機偏移,以滿足未來的應用需求,這是當前非常重要的課題?!?


大模型的應用研究,主要是致力于提高密度。傳統(tǒng)的小的卷積網絡加速是不需要高密度的,但大模型需要。希望把密度盡可能的做高。以前做小的卷積網絡的加速,其實不需要這么高的密度。但是大模型需要。這其實主要是工藝方面的研究。


類腦學習。這是更前沿更創(chuàng)新的領域,除了去年十月在Science上發(fā)表的新近研究成果之外,其實清華大學還在布局新型類腦計算,它更看重整體算法效果,而非器件個體,最后是落實到器件上去做優(yōu)化,調節(jié)器件中的電子離子的輸運。


后摩爾時代,從系統(tǒng)層面進行頂層規(guī)劃,根據(jù)系統(tǒng)需求優(yōu)化器件,并做好器件與系統(tǒng)的協(xié)同設計,這點這尤為重要。就此,高濱老師特別分享了后摩爾時代,系統(tǒng)和器件的全新范式的研究模式。


系統(tǒng)和器件的全新范式的研究模式


摩爾定律的黃金時代,主要是將晶體管、電阻、電容和電感等元器件集成在一起,并形成具有預期功能的電路。這個時期,不太需要在意系統(tǒng)和器件的協(xié)同,只要器件做的足夠小,芯片的性能大體就能得到保證。


但是,后摩爾時代,應用場景的需求正向著高密度、小型化、強功能、低功耗、低成本、高可靠、易設計等方向發(fā)展,已經不僅僅是簡單的電路設計,而是要做系統(tǒng)化的集成。很多時候,需要把系統(tǒng)和器件做一個協(xié)同的設計,根據(jù)系統(tǒng)的需求去優(yōu)化器件,很典型的就是存算一體,最終目的是要做人工智能的加速。


關鍵詞:高濱 存算一體芯片    瀏覽量:3486

聲明:凡本網注明"來源:儀商網"的所有作品,版權均屬于儀商網,未經本網授權不得轉載、摘編使用。
經本網授權使用,并注明"來源:儀商網"。違反上述聲明者,本網將追究其相關法律責任。
本網轉載并注明自其它來源的作品,歸原版權所有人所有。目的在于傳遞更多信息,并不代表本網贊同其觀點或證實其內容的真實性,不承擔此類作品侵權行為的直接責任及連帶責任。如有作品的內容、版權以及其它問題的,請在作品發(fā)表之日起一周內與本網聯(lián)系,否則視為放棄相關權利。
本網轉載自其它媒體或授權刊載,如有作品內容、版權以及其它問題的,請聯(lián)系我們。相關合作、投稿、轉載授權等事宜,請聯(lián)系本網。
QQ:2268148259、3050252122。


讓制造業(yè)不缺測試測量工程師

最新發(fā)布
行業(yè)動態(tài)
人物專訪
國際資訊
儀商專題
按分類瀏覽
Copyright ? 2023- 861718.com All rights reserved 版權所有 ?廣州德祿訊信息科技有限公司
本站轉載或引用文章涉及版權問題請與我們聯(lián)系。電話:020-34224268 傳真: 020-34113782

粵公網安備 44010502000033號

粵ICP備16022018號-4
狼友视频入口| 中文字幕精品久久一区二区三区| 亚洲视频一二三区| 少妇无码专区| 精品97人妻无码中文永久在线| 日韩乱码人妻无码中文字幕视频| AV蜜桃| 久久久久中文字幕| 热re99久久精品国产99热黄| 九九九九九九伊人| 亚洲成人欧美| 久久国产午夜精品理论片最新版本| 又粗又大精品久久久久国产片| 无码久久久久久久| www久| 国产精品自拍视频| 亚洲精品成人AV在线网站| 亚洲熟妇一区二区三区在线观看| 伊人色综合久久| 日韩性爱一区| 亚洲精品少妇| 久热亚洲| 牛牛一区| 日韩中文字幕免费| 色爱av| 精品国产一区二区三区香蕉| 国产av色先锋影音| 丰满少妇人妻无码| 中文字幕亚洲h一二三| 亚洲国产精品无码久久青草| 99精品国产综合久久久久| 久久综合一区二区| 亚洲美女又黄又爽在线观看| 久久久久久无码精品人妻一区二区| 沈阳熟女高潮| 久久久国产精品毛片| 国产免费A级成人片在线观看| 大香蕉视频一区| 五月激情网站| 国产激情一区| 日韩欧美精品区|