浪潮積極參與OCP開放計(jì)算生態(tài)建設(shè)聯(lián)手Intel共同創(chuàng)新

2022-10-05    分類: 網(wǎng)站建設(shè)

2019年6月25日,由浪潮與OCP開放計(jì)算社區(qū)聯(lián)合主辦的首屆OCP China Day(開放計(jì)算中國日)在北京正式開啟。本屆OCP China Day聚焦人工智能、邊緣計(jì)算、OpenRack、OpenRMC、SONiC、OAM等前沿技術(shù)話題,來自Facebook、LinkedIn、Intel、微軟、百度、騰訊、阿里、諾基亞、中國移動(dòng)、浪潮等資深技術(shù)專家分享了最新技術(shù)進(jìn)展。近千名工程師和數(shù)據(jù)中心從業(yè)者參加了此次大會(huì)。

OCP是全球大的開放硬件社區(qū),2011年由Facebook發(fā)起成立,其宗旨是以開源開放的方式,重構(gòu)當(dāng)前的數(shù)據(jù)中心硬件,發(fā)展面向下一代數(shù)據(jù)中心的服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)、基礎(chǔ)設(shè)施等創(chuàng)新硬件。目前,OCP核心會(huì)員超過200家。

作為OCP鉑金會(huì)員單位、本屆OCP China Day的聯(lián)辦方,浪潮高級(jí)技術(shù)總監(jiān)郭洪昌發(fā)表了《Empower computing through Inspur Open Technology》主題演講,并邀請(qǐng)合作伙伴Intel Fellow Mohan kumar分享了Intel在OCP和云計(jì)算領(lǐng)域做的工作。

以下為大會(huì)演講實(shí)錄:

浪潮高級(jí)技術(shù)總監(jiān)郭洪昌:浪潮牽頭成立了OpenRMC技術(shù)小組,并且與Intel開發(fā)了crane mountain規(guī)范

浪潮積極參與OCP開放計(jì)算生態(tài)建設(shè) 聯(lián)手Intel共同創(chuàng)新

浪潮高級(jí)技術(shù)總監(jiān) 郭洪昌

主持人:謝謝Bill Carter和家軍,非常恭喜OCP社區(qū)的不斷壯大,下面我們邀請(qǐng)來自浪潮的郭洪昌先生和英特爾的Mohan Kumar先生,Mohan Kumar會(huì)跟郭洪昌一起跟我們談他們的話題,主要是浪潮和英特爾開源的環(huán)節(jié)。下面有請(qǐng)浪潮的郭洪昌跟大家講浪潮開源的策略和在OCP上的貢獻(xiàn)和發(fā)展,稍候有從英特爾專程飛過來的高級(jí)專家Mohan Kumar先生,和郭洪昌先生一起分享兩個(gè)公司的合作進(jìn)展。首先掌聲有請(qǐng)郭洪昌。

浪潮高級(jí)技術(shù)總監(jiān)郭洪昌:各位參會(huì)的嘉賓和參會(huì)人員上午好,非常高興代表浪潮跟大家分享我們?cè)贠CP和開源組織中的進(jìn)展和創(chuàng)新。我的演講題目分三部分,首先是浪潮在開源計(jì)算上的策略,接下來講我們跟OCP組織的合作、開放的標(biāo)準(zhǔn)、開放的產(chǎn)品,最后我們未來在開源計(jì)算和OCP組織的合作上的計(jì)劃。

首先,眾所周知,浪潮這幾年有了非常大的發(fā)展,我們可以看到截止到去年年底,浪潮在中國的市占率第一,全球范圍之內(nèi)浪潮也保持全球前三的市占率。我們可以從這張圖的右下角看到浪潮的增長速度還是比較快的,我們相信浪潮的發(fā)展離不開我們的生態(tài)系統(tǒng)和各位合作伙伴的幫助。從左邊這張圖可以看到,浪潮的增長非常大,其中大的貢獻(xiàn)就是關(guān)于AI服務(wù)器,人工智能是現(xiàn)在發(fā)展最快的一個(gè)應(yīng)用場(chǎng)景,浪潮在中國的占有率超過了一半,在AI服務(wù)器品牌的發(fā)貨量上浪潮也是世界第一的地位。浪潮取得的這些成績來自于什么?

我們歸納來說浪潮的戰(zhàn)略分四個(gè)點(diǎn),我下面一一介紹。第一是融合,剛才LinkedIn的嘉賓也講到了融合,融合是現(xiàn)在云計(jì)算發(fā)展的趨勢(shì),現(xiàn)在軟件定義SDI,對(duì)于計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)的界限越來越模糊,我們依靠于現(xiàn)在這些軟件和應(yīng)用場(chǎng)景能用一個(gè)功能模塊發(fā)揮它們的作用,這也就是浪潮要做的融合的理念。除此之外,我們目前在軟件和硬件的結(jié)合上,尤其是目前人工智能的發(fā)展,怎么把人工智能的這些算法、框架和傳統(tǒng)的行業(yè)結(jié)合起來,這是我們需要探索也是值得我們?nèi)グl(fā)揮我們的創(chuàng)新能力和解決方案能力的地方,這是第一個(gè)融合。

除了融合之外,我們要開源。開源包括兩部分,第一部分是我們和一些開源組織的合作,比如現(xiàn)在的Openstack、OCP、ODCC,除了這些開源組織之外,我們要避免形成一些信息的孤島,怎么做呢?我們盡可能使得浪潮的架構(gòu)更加開放,我們可以做一些模塊化的設(shè)計(jì),可以讓我們的硬件或平臺(tái)能夠很容易地實(shí)現(xiàn)ODCC、OCP這些產(chǎn)品和規(guī)范的融合和遷移,這是開源的部分。

我們做到了這些產(chǎn)品之后怎么樣實(shí)現(xiàn)盡可能快的交付給客戶,這就是剛才講的第三點(diǎn)敏捷。浪潮從2008年開始就和百度、騰訊、阿里這些中國的CSP客戶有了合作,在這基礎(chǔ)上十幾年我們有了很多經(jīng)驗(yàn)和技術(shù)的累積,我們能做到在很早的產(chǎn)品規(guī)格設(shè)計(jì)階段就跟這些客戶有一個(gè)緊密的溝通和討論,這樣讓我們的經(jīng)驗(yàn)回饋給這些客戶的設(shè)計(jì),能夠盡可能的讓產(chǎn)品的設(shè)計(jì)和生產(chǎn)研發(fā)有一個(gè)緊密的結(jié)合,這樣能縮短產(chǎn)品的設(shè)計(jì)周期,最后實(shí)現(xiàn)快速制造然后交付給客戶。最后強(qiáng)調(diào)生態(tài)系統(tǒng)的合作,我們不可能包打天下做成一件事,我們要和業(yè)界的合作伙伴,比如AI領(lǐng)域、生產(chǎn)制造領(lǐng)域的,我們和這些合作伙伴一起合作,讓我們的產(chǎn)品更加符合客戶的需求,這就是我們的戰(zhàn)略。

我們?cè)趺春烷_源的組織有一些合作呢?從這張圖可以清楚地看到,浪潮和OCP、Olympus項(xiàng)目組、ODCC都有非常多的合作,我舉幾個(gè)簡單的例子,我們?cè)?017年在OCP峰會(huì)上發(fā)布了ON5623 M5的產(chǎn)品,這個(gè)產(chǎn)品是第一款基于英特爾的Skylake CPU平臺(tái)的產(chǎn)品,這是我們快速把我們最新的技術(shù)貢獻(xiàn)給開源組織,供更多客戶使用的范例。還有一個(gè)例子是Open 19,我們加入Open 19之后第一個(gè)推出三個(gè)基于英特爾Xeon E5的CPU產(chǎn)品,能夠讓我們的設(shè)計(jì)更好的滿足Open 19這個(gè)機(jī)柜的解決方案,能夠滿足這些用戶在不同的運(yùn)用空間上的產(chǎn)品板卡的適配的要求。

最后是ODCC,ODCC是2011年天蝎就成立了,在ODCC里我們第一個(gè)用了整機(jī)柜的交付,整機(jī)柜的產(chǎn)品在百度、阿里、騰訊的數(shù)據(jù)中心都有使用,這是我們和所有的開源組織合作的情況。具體到OCP組織我們又有哪些合作呢?可以通過最左邊這個(gè)圖看到,我們和OCP的合作除了服務(wù)器存儲(chǔ)這些系統(tǒng)級(jí)的合作之外,我們?cè)诓考?jí)上也有很多合作,舉個(gè)例子,比如我們?cè)贠penRMC,基于OpenBMC基礎(chǔ)上對(duì)于整個(gè)機(jī)柜的不同節(jié)點(diǎn),散熱、電源、計(jì)算節(jié)點(diǎn)都實(shí)現(xiàn)監(jiān)控和控制的功能。除此之外,OAM是OCP最新的工作組,我們也在參與到他們其中板卡的設(shè)計(jì)和標(biāo)準(zhǔn)的制定。中間這個(gè)圖可以看到浪潮除了ON5263這一個(gè)計(jì)算節(jié)點(diǎn)之外,又衍生出了多個(gè)計(jì)算場(chǎng)景,包括IO平衡型、IO密集型、計(jì)算密集型,我們?cè)谶@個(gè)之外也貢獻(xiàn)了2U 4路產(chǎn)品和3OU 4路的產(chǎn)品,希望我們這些產(chǎn)品在開源組織里適用不同的應(yīng)用場(chǎng)景,適合不同的計(jì)算或IO的應(yīng)用需求。

我們都知道OCP除了標(biāo)準(zhǔn)化的產(chǎn)品之外還有標(biāo)準(zhǔn)化的組織或標(biāo)準(zhǔn)化的測(cè)試,浪潮積極參與其中,我們和英特爾一起合作做OpenRMC的規(guī)范,并貢獻(xiàn)到開源組織,讓其他的廠家參考。我們?cè)贠AI里跟業(yè)界的廠家一起合作,能夠制定一些跟AI有關(guān)的異構(gòu)加速器的標(biāo)準(zhǔn)。

這是浪潮和OCP合作的點(diǎn)點(diǎn)滴滴,2016年5月份浪潮加入了OCP組織,到2017年初浪潮成為了OCP的鉑金會(huì)員,我們每年都會(huì)貢獻(xiàn)我們的產(chǎn)品,包括組織一些市場(chǎng)的活動(dòng),比如今天的OCP China Day就是OCP與浪潮聯(lián)合主辦的會(huì)議,我們希望通過這樣的活動(dòng),能夠使我們的好朋友們匯聚在一起,大家一起暢談開放計(jì)算、融合、AI目前發(fā)展的技術(shù)熱點(diǎn),大家探討這些熱點(diǎn),然后找到一些合作的商機(jī)和機(jī)會(huì)。

2017年1月份之后我們陸續(xù)推出了基于英特爾的Skylake的計(jì)算節(jié)點(diǎn)和服務(wù)器產(chǎn)品,我們出了4路的節(jié)點(diǎn),未來計(jì)劃做AI的板卡,我們未來要參加Open Eage的新節(jié)點(diǎn)和新應(yīng)用場(chǎng)景的適配,這是我們要和開源組織合作一起貢獻(xiàn)給我們的廣大用戶的技術(shù)特點(diǎn)和技術(shù)創(chuàng)新。

我想隆重介紹和強(qiáng)調(diào)一下,今年浪潮推出了4款產(chǎn)品,這4款產(chǎn)品都要貢獻(xiàn)給OCP這個(gè)開源組織,不會(huì)收取費(fèi)用,各個(gè)用戶只要能在網(wǎng)站上找到這些設(shè)計(jì)文檔,根據(jù)這些設(shè)計(jì)文檔設(shè)計(jì)自己的產(chǎn)品。分為三大類,第一類是計(jì)算節(jié)點(diǎn),我們可以看到5263是一個(gè)雙路的skylake平臺(tái),我們推出了4類產(chǎn)品,左邊是2OU 4路產(chǎn)品,可以在2U的計(jì)算里提高大的計(jì)算密度,可以滿足用戶對(duì)于功耗的要求,同時(shí)又可以提供更大的計(jì)算密度。在計(jì)算節(jié)點(diǎn)里的右邊這個(gè)圖是3OU 4路的產(chǎn)品,基于微軟的Olympus的產(chǎn)品,我們覺得這是一個(gè)適當(dāng)?shù)臅r(shí)機(jī)把它開源出來。

中間是我們的存儲(chǔ)節(jié)點(diǎn),我們現(xiàn)在是2OU 34硬盤的設(shè)計(jì),這個(gè)設(shè)計(jì)針對(duì)于冷存儲(chǔ)和溫存儲(chǔ)有更好的存儲(chǔ)和性價(jià)比,我們把它開源出來以后用戶想使用的話可以通過網(wǎng)站下載參考設(shè)計(jì)。右邊是AI的計(jì)算節(jié)點(diǎn),3OU的空間里提供了基于NVLink 8GPU的模塊,這是非常高的計(jì)算密度,提供了6個(gè)PCIE的Slots,用戶可以插PCIE標(biāo)準(zhǔn)的板卡,我們可以對(duì)PCIE的switch通過IO拓?fù)涞亩x。這是今年推出的4個(gè)開源OCP產(chǎn)品。

未來浪潮會(huì)繼續(xù)在開源和技術(shù)創(chuàng)新里面深入下去,除了左邊的計(jì)算、服務(wù)器、數(shù)據(jù)中心的創(chuàng)新之外,未來我們也會(huì)在Open Edge領(lǐng)域做一些探索,目前5G時(shí)代到來,我們目前正在定義自己的產(chǎn)品,我們也在根據(jù)中國的應(yīng)用需求和中移動(dòng)、中國電信的廣大中國運(yùn)營商合作,探索符合中國應(yīng)用需求的計(jì)算模塊或計(jì)算節(jié)點(diǎn)。我們希望我們的產(chǎn)品能更好的回饋廣大用戶,包括中國也包括世界的客戶。

最后我想介紹我們的合作伙伴,同時(shí)要強(qiáng)調(diào)浪潮和英特爾一起合作,我們把基于Cascade處理器,2OU 4路產(chǎn)品開源到OCP組織,能夠更好的滿足客戶在計(jì)算密集型、性能功耗比的場(chǎng)景下的應(yīng)用需求。下面請(qǐng)Mohan Kumar上臺(tái)談一下英特爾的具體技術(shù)要求和他們對(duì)OCP的貢獻(xiàn)。

Intel Fellow Mohan Kumar:Intel聯(lián)合浪潮共同研發(fā)推出高密度、面向云優(yōu)化的計(jì)算平臺(tái),將于2019年上半年上市并貢獻(xiàn)到OCP社區(qū)

浪潮積極參與OCP開放計(jì)算生態(tài)建設(shè) 聯(lián)手Intel共同創(chuàng)新

Intel Fellow Mohan Kumar

Intel Fellow Mohan kumar:非常感謝浪潮能夠跟我們分享這些信息,我下面想給大家講的是關(guān)于云、OCP,以及OCP在云計(jì)算方面做的事情,以及英特爾在OCP中參與的項(xiàng)目,我也會(huì)談一下邊緣計(jì)算?,F(xiàn)在已經(jīng)有越來越多的數(shù)據(jù)要求,所以我們對(duì)于云的計(jì)算要求也會(huì)越來越多,所以今后的4年當(dāng)中,我們整個(gè)計(jì)算有將近兩倍的增長,我們需要更多算力的部署,它可以體現(xiàn)在數(shù)據(jù)的零售、廣告、媒體,還有是我們?cè)朴?jì)算,基本上能夠達(dá)到非常大的一個(gè)數(shù)字,大約可以達(dá)到一萬億左右的標(biāo)準(zhǔn),我們現(xiàn)在來看一下云,它不僅僅是一個(gè)硬件,而且是解決方案,這是為什么要建立OCP,我們需要有一個(gè)平臺(tái),對(duì)于這個(gè)平臺(tái)而言,他不光有服務(wù)器,而且有很好的關(guān)于平臺(tái)方面的安全,對(duì)于OCP,我們有非常好的項(xiàng)目做好安全方面的事情,還有是關(guān)于固件方面對(duì)于OCP的貢獻(xiàn),對(duì)于管理而言,它的基礎(chǔ)設(shè)施是非常重要的,包括邊緣的基礎(chǔ)設(shè)施也非常重要,在這個(gè)基礎(chǔ)之上,就是我們說的機(jī)架,它讓我們對(duì)于機(jī)架以及動(dòng)力做很好的監(jiān)測(cè)。在數(shù)據(jù)中心的基層中,我們也能夠使得數(shù)據(jù)中心的設(shè)備運(yùn)行更加有效,在我們的想法中,OCP能夠滿足在云的環(huán)境下計(jì)算所有的相關(guān)要求。

如同我談到的一樣,我們必須有一個(gè)高密度的與云優(yōu)化的平臺(tái),所以對(duì)英特爾而言,我們必須考慮到下一代云的基礎(chǔ)設(shè)施,應(yīng)該能夠做的更好,我們要有2U的平臺(tái),當(dāng)然要在2U平臺(tái)中,能夠把成本降到更低,也能夠使運(yùn)行的效率更高,所以對(duì)平臺(tái)的創(chuàng)新是包括我們的IaaS,基礎(chǔ)設(shè)施作為服務(wù),另外我們?yōu)榱四軌蛴懈玫睦鋮s功能,也能夠做更好的服務(wù)器的設(shè)置,英特爾不光是自己在工作,也和騰訊公司一起合作,他們也愿意有一個(gè)高密度的,以云為中心的架構(gòu)。

我們來看一下這個(gè)架構(gòu)究竟怎么樣,比如他能夠和英特爾的遠(yuǎn)景非常切合,他能夠看到2U的450mm×780mm的Xeon,我們可以做到48的DDRS內(nèi)存,可以在2019年就推出來上市,他是在OCP組織中和浪潮共同合作的一個(gè)項(xiàng)目,對(duì)于OCP現(xiàn)在已經(jīng)到了最終的一個(gè)認(rèn)證的階段,預(yù)計(jì)2019年上半年可以完成。

在2U優(yōu)化云的環(huán)境之下,你可以看到我們共同的合作伙伴,有的在設(shè)計(jì)上對(duì)我們進(jìn)行了貢獻(xiàn),比如像硬件,以及具體的計(jì)算標(biāo)準(zhǔn),這些合作伙伴都和我們密切合作。

下面我給大家說一下關(guān)于英特爾和OCP共同的創(chuàng)新。這個(gè)是我們做的一個(gè)案例研究,我們非常積極的參與到開放系統(tǒng)的研發(fā)當(dāng)中,我們當(dāng)時(shí)有一個(gè)比較大的問題,有很多云平臺(tái)的問題,性能的變量,性能不一樣,有很多云供應(yīng)商和企業(yè),他們都需要管理自己的平臺(tái)。我們不想再用SMI,我們要把他轉(zhuǎn)成平臺(tái)運(yùn)行時(shí)間機(jī)制,PRM,然后把SMI之前的功能放到操作系統(tǒng)的層面上,之前的核心是遮蔽的,你看不到,對(duì)操作系統(tǒng)是隱藏的,你也改變不了,也看不見后面的東西,現(xiàn)在我們把SMI的系統(tǒng)管理中斷功能放到了PRM的機(jī)制下面,這是一個(gè)案例研究。

另外一個(gè)項(xiàng)目是數(shù)據(jù)中心冷卻,功率的預(yù)測(cè),這個(gè)屏幕左邊是數(shù)據(jù)中心功耗的情況,如果我們保持2010年左右的能耗,我們是沒有辦法給所有的數(shù)據(jù)中心供電的,我們需要改善管理,我們還需要有一些其他的措施才能使我們的功耗下降,同樣的計(jì)算力,我們需要有更低的功耗。我們會(huì)有一個(gè)主動(dòng)的功率預(yù)測(cè)冷卻模式,之前大家是一個(gè)閉環(huán)的情況,閉環(huán)的問題就是他是被動(dòng)反應(yīng)的,在現(xiàn)象發(fā)生之后才能調(diào)整,所以他總是會(huì)滯后一點(diǎn),更好的機(jī)制,我們?cè)谘芯?,也是我們和中國的云客戶一起努力的,一個(gè)預(yù)測(cè)的機(jī)制,我們知道熱功率的模式,我們知道在云數(shù)據(jù)中心的模式,我們會(huì)預(yù)測(cè)冷卻需要的功耗,我們可以先系統(tǒng)一步進(jìn)行預(yù)測(cè),開啟一個(gè)預(yù)測(cè)窗口,這是我們想要為數(shù)據(jù)中心設(shè)施做出的貢獻(xiàn)。

再從云中轉(zhuǎn)到邊緣,邊緣現(xiàn)在也是新興的應(yīng)用比較集中的地方,因?yàn)閿?shù)據(jù)的增長,邊緣計(jì)算才應(yīng)運(yùn)而生,因?yàn)槲覀儧]有辦法把所有的數(shù)據(jù)都匯集到云上處理,會(huì)有很大的延遲,而且?guī)捯膊辉试S,所以我們的想法就是直接在邊緣進(jìn)行數(shù)據(jù)處理,為了使得邊緣計(jì)算可能實(shí)現(xiàn),我們也需要一些組成的部分和技術(shù)解決方案。

然后我們就可以有一個(gè)平臺(tái)在邊緣,同時(shí)如果需要把一部分?jǐn)?shù)據(jù)匯集到云上的時(shí)候也可以做到,像內(nèi)容分發(fā)平臺(tái)和移動(dòng)邊緣計(jì)算都屬于這個(gè)范疇之內(nèi),大多數(shù)互聯(lián)網(wǎng)企業(yè)都跟英特爾有合作。邊緣方面有哪些要求?如果是在零售行業(yè),我們不能說只給他一個(gè)平臺(tái),然后解決方案找另一家買,我們必須提供一個(gè)完整的解決方案,包括平臺(tái)在內(nèi),而且說到維護(hù)也一樣,一般在邊緣機(jī)房里維修服務(wù)器的人,他的技術(shù)水平不是很高,我們還需要進(jìn)行隔離,一個(gè)系統(tǒng)出現(xiàn)故障不會(huì)連累其他系統(tǒng),我們需要一些創(chuàng)新,而且我們也會(huì)繼續(xù)在硬件,比如加速器,GPU這些也進(jìn)行一些創(chuàng)新,OCP也有相關(guān)的項(xiàng)目,包括云、數(shù)據(jù)中心的,包括開放的固件,而且我們要減少固件的復(fù)雜性,使它在邊緣環(huán)境能夠運(yùn)行的更好。

再一個(gè)是固件要有彈性,這個(gè)跟安全有一定的關(guān)系,平臺(tái)和固件相對(duì)集中的云環(huán)境之下,它會(huì)更脆弱一些,還有電源管理,在邊緣機(jī)房可能沒有太多的電力功耗供你使用,所以我們需要有很好的電源管理解決方案,而且OCP在電源管理方面也是起到了非常積極貢獻(xiàn)的作用,不僅僅給云的客戶提供解決方案,而且也滿足了邊緣客戶的需求。

還有很多我們?cè)谧龅捻?xiàng)目,我們還有一個(gè)比較興奮的,對(duì)于OCP的貢獻(xiàn),英特爾和浪潮一起開發(fā)了叫做Cloud-OPtimized Platform 高密云優(yōu)化的計(jì)算平臺(tái),涉及到數(shù)據(jù)中心的冷卻,我們共同制訂出白皮書,除此以外,在OCP的固件方面,OCP我們也會(huì)做RPM,平臺(tái)運(yùn)行時(shí)間機(jī)制的案例研究,我們也會(huì)看到多路的FSP的項(xiàng)目,不僅依賴第三方解決方案,我們會(huì)自己研發(fā)。還有虛擬機(jī)的演變趨勢(shì),我們也會(huì)有相關(guān)的測(cè)試配置,對(duì)于NVME也有相關(guān)研究,還有我們跟OCP也有非常密切的合作,號(hào)召大家的行動(dòng)就是要利用我們對(duì)OCP所有的貢獻(xiàn)和我們的平臺(tái),如果大家有任何的新想法是關(guān)于云或者邊緣創(chuàng)新,我們都非常渴望和大家進(jìn)行討論和合作,最后代表OCP和像Bill這樣的專業(yè)人士,希望大家更多的參與到OCP的活動(dòng)中,如果大家是第一次參加北京的OCP活動(dòng),我們希望未來有更多這樣的機(jī)遇,感謝各位。

網(wǎng)站標(biāo)題:浪潮積極參與OCP開放計(jì)算生態(tài)建設(shè)聯(lián)手Intel共同創(chuàng)新
文章分享:http://www.muchs.cn/news20/202020.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站改版、網(wǎng)頁設(shè)計(jì)公司、網(wǎng)站排名網(wǎng)站收錄、網(wǎng)站內(nèi)鏈、面包屑導(dǎo)航

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

手機(jī)網(wǎng)站建設(shè)