揭榜任務(wù):開(kāi)展面向空間計(jì)算的輕量化Linux內(nèi)核XR系統(tǒng)技術(shù)研究,突破基于動(dòng)態(tài)時(shí)間幀補(bǔ)償?shù)牡脱訒r(shí)全鏈路渲染、針對(duì)光學(xué)畸變及色散的預(yù)校正渲染、基于注視點(diǎn)的動(dòng)態(tài)渲染、三維化顯示等關(guān)鍵技術(shù),設(shè)計(jì)通用一體化的空間感知和智能人機(jī)交互接口,提升使用者的沉浸感、交互的自然度。兼容適配不同主芯片平臺(tái);支持主流三維引擎工具和標(biāo)準(zhǔn)。
預(yù)期目標(biāo):到2025年,完成基于Linux內(nèi)核的XR操作系統(tǒng)開(kāi)發(fā)工作,系統(tǒng)延遲時(shí)間等核心指標(biāo)達(dá)到行業(yè)領(lǐng)先;兼容多種硬件主芯片平臺(tái);支持多種三維引擎工具;支持OpenXR、GSXR、WebXR等XR標(biāo)準(zhǔn);適配超過(guò)100款主流應(yīng)用的三維顯示。
(二)實(shí)時(shí)三維引擎
揭榜任務(wù):研究多機(jī)集群渲染、動(dòng)態(tài)全局光照、高性能圖形圖像處理等技術(shù),研發(fā)具備跨平臺(tái)能力的實(shí)時(shí)三維引擎,實(shí)現(xiàn)超大規(guī)模場(chǎng)景的高性能高質(zhì)量實(shí)時(shí)渲染;研究基于機(jī)器學(xué)習(xí)與程序化的內(nèi)容生成、多人協(xié)同交互等基于實(shí)時(shí)三維引擎的數(shù)字化內(nèi)容創(chuàng)作技術(shù),研發(fā)具備程序化內(nèi)容生成能力的開(kāi)放引擎創(chuàng)作交互開(kāi)發(fā)工具及創(chuàng)作平臺(tái);基于實(shí)時(shí)三維引擎,在電視演播、教育、文博、工業(yè)等多個(gè)領(lǐng)域開(kāi)發(fā)數(shù)字化示范應(yīng)用。
預(yù)期目標(biāo):到2025年,研發(fā)實(shí)時(shí)三維引擎,支持在主流國(guó)內(nèi)外操作系統(tǒng)上運(yùn)行,支持單眼和雙眼,最低支持8k分辨率、12bit 位寬的渲染輸出,支持億級(jí)三角形在8K 60FPS下的渲染。輸入反饋延遲等性能指標(biāo)達(dá)到國(guó)際先進(jìn)水平。
(三)三維序列數(shù)據(jù)編碼傳輸方案
揭榜任務(wù):研究三維序列數(shù)據(jù)編解碼及傳輸框架,結(jié)合三維序列數(shù)據(jù)特點(diǎn),研究針對(duì)三維空間不規(guī)則動(dòng)態(tài)網(wǎng)格、稠密點(diǎn)云序列和隱式表示三維模型等6自由度數(shù)據(jù)編碼系統(tǒng),實(shí)現(xiàn)三維序列數(shù)據(jù)的高效智能壓縮。研究三維序列數(shù)據(jù)傳輸技術(shù),圍繞三維序列數(shù)據(jù)傳輸方式、傳輸協(xié)議開(kāi)展關(guān)鍵核心能力和標(biāo)準(zhǔn)構(gòu)建。在沉浸式通話(huà)、元宇宙會(huì)議、沉浸視頻點(diǎn)播等場(chǎng)景實(shí)現(xiàn)大規(guī)模應(yīng)用。
預(yù)期目標(biāo):到2025年,在保證高質(zhì)量的視覺(jué)效果條件下,三維空間不規(guī)則動(dòng)態(tài)網(wǎng)格、稠密點(diǎn)云序列和隱式表示三維模型等6自由度數(shù)據(jù)編碼壓縮率達(dá)到行業(yè)領(lǐng)先水平。實(shí)現(xiàn)點(diǎn)云序列傳輸方案設(shè)計(jì),實(shí)現(xiàn)至少1種點(diǎn)云傳輸協(xié)議驗(yàn)證。
(四)面向元宇宙沉浸多感交互的5G-A網(wǎng)絡(luò)
揭榜任務(wù):研究元宇宙業(yè)務(wù)QoS、網(wǎng)絡(luò)資源、計(jì)算資源等多要素聯(lián)合受限下的5G-A網(wǎng)絡(luò)容量理論模型,指導(dǎo)系統(tǒng)性能評(píng)估及容量?jī)?yōu)化。研究支持元宇宙終端計(jì)算任務(wù)卸載到邊緣、云的5G-A網(wǎng)絡(luò)端邊云協(xié)同優(yōu)化,有效降低終端的計(jì)算開(kāi)銷(xiāo)及功耗。研究基于網(wǎng)絡(luò)狀態(tài)、用戶(hù)行為和媒體特征等多維感知信息的沉浸式媒體自適應(yīng)傳輸,有效提升網(wǎng)絡(luò)資源利用率及系統(tǒng)容量。研究基于視頻、音頻、動(dòng)作及觸覺(jué)等多模態(tài)數(shù)據(jù)的5G-A網(wǎng)絡(luò)多模態(tài)協(xié)同傳輸,支持多模態(tài)多感官實(shí)時(shí)交互。
預(yù)期目標(biāo):到2025年,完成云VR、云AR、分離渲染等元宇宙典型應(yīng)用場(chǎng)景的系統(tǒng)容量理論模型;支持5G-A網(wǎng)絡(luò)下的終端計(jì)算任務(wù)卸載,實(shí)現(xiàn)終端計(jì)算開(kāi)銷(xiāo)及功耗的有效降低;支持沉浸式媒體自適應(yīng)傳輸,實(shí)現(xiàn)網(wǎng)絡(luò)資源利用率提升,相比現(xiàn)有5G網(wǎng)絡(luò),單小區(qū)系統(tǒng)容量(并發(fā)XR用戶(hù)數(shù))提升3倍以上;支持多模態(tài)協(xié)同傳輸,多模態(tài)交互場(chǎng)景下端到端時(shí)延不超過(guò)50毫秒。相關(guān)技術(shù)指標(biāo)應(yīng)通過(guò)實(shí)驗(yàn)室仿真驗(yàn)證或系統(tǒng)原型樣機(jī)驗(yàn)證,達(dá)到行業(yè)領(lǐng)先水平。
(五)基于物體特征點(diǎn)的三維模型快速匹配系統(tǒng)
揭榜任務(wù):針對(duì)基于圖像的三維建模,開(kāi)展三維模型特征點(diǎn)匹配和對(duì)比的研究。主要利用優(yōu)化后的基于特征(形狀)的技術(shù)方法進(jìn)行粗配準(zhǔn),利用優(yōu)化后的基于幾何(icp)的技術(shù)方法進(jìn)行精配準(zhǔn),通過(guò)降維以及限制自由度的方式實(shí)現(xiàn)快速、穩(wěn)定的配準(zhǔn)。突破對(duì)點(diǎn)云數(shù)據(jù)的無(wú)序性、非結(jié)構(gòu)化、不均勻和噪聲等干擾,有效地利用已有的信息實(shí)現(xiàn)精確、魯棒的點(diǎn)云配準(zhǔn)算法,實(shí)現(xiàn)在室內(nèi)正常光照條件下,在市場(chǎng)主流移動(dòng)設(shè)備上快速、精確地完成點(diǎn)云的配準(zhǔn)。實(shí)現(xiàn)在工業(yè)設(shè)備維修維護(hù)等場(chǎng)景的應(yīng)用,解決技術(shù)專(zhuān)家無(wú)法到場(chǎng)指導(dǎo)設(shè)備維修維護(hù)的問(wèn)題。需要兼容不同的主芯片平臺(tái)。
預(yù)期目標(biāo):到2025年,完成基于物體特征點(diǎn)的三維模型快速匹配算法;根據(jù)不同設(shè)備尺寸,建模階段,采集不多于4000個(gè)特征點(diǎn)即滿(mǎn)足物體的建模要求,配準(zhǔn)階段,不多于10秒完成配準(zhǔn),物體特征點(diǎn)的精確度偏差毫米級(jí)。實(shí)現(xiàn)在200-2000勒克斯光照強(qiáng)度范圍內(nèi),即使建模和配準(zhǔn)的環(huán)境光照不同,算法都能穩(wěn)定、準(zhǔn)確地配準(zhǔn)。系統(tǒng)在重點(diǎn)領(lǐng)域?qū)崿F(xiàn)規(guī)?;逃谩?
二、重點(diǎn)產(chǎn)品
(六)高逼真數(shù)字人快速構(gòu)建與多模態(tài)交互系統(tǒng)