1.1 引言/導(dǎo)讀

云端和邊緣端需互相補充，協(xié)同訓(xùn)練推理，構(gòu)建云端和邊緣端連續(xù)的學(xué)習(xí)循環(huán)，保證業(yè)務(wù)長期可靠穩(wěn)定地運行。云邊協(xié)同訓(xùn)練推理，解決工業(yè)邊端算力不足；數(shù)據(jù)無需上傳云端，解決工業(yè)客戶數(shù)據(jù)隱私問題；AI協(xié)同服務(wù)按需定制，解決工業(yè)智能化場景碎片化問題。

1.2 關(guān)鍵詞

邊云協(xié)同平臺、邊緣智能、協(xié)同推理、模型優(yōu)化

1.3 測試床項目承接主體

1.3.1 發(fā)起公司和主要聯(lián)系人聯(lián)系方式

中國電信：丁鵬，dingpeng6@chinatelecom.cn  

1.3.2 合作公司

瑞斯康達(dá)：提供智能工廠典型應(yīng)用場景環(huán)境，參與現(xiàn)場測試床驗證

1.4 測試床項目目標(biāo)

1.4.1 測試床項目目標(biāo)

基于柔性制造PCB焊點質(zhì)量檢測驗證：已有大量PCB焊點質(zhì)量檢測數(shù)據(jù)集，在此基礎(chǔ)上建立PCB焊點質(zhì)量檢測模型，通過測試床進(jìn)行模型的持續(xù)優(yōu)化，為柔性制造PCB焊點質(zhì)量檢測提供基于5G MEC+邊緣智能的AI跨邊云協(xié)同訓(xùn)練推理測試床。

定制化AI協(xié)同服務(wù)驗證：基于智能邊緣設(shè)備，實現(xiàn)基于5G MEC+邊緣智能的AI邊云協(xié)同訓(xùn)練和協(xié)同推理，就近為端側(cè)提供算力支持和模型持續(xù)優(yōu)化支持，保護數(shù)據(jù)隱私，為用戶持續(xù)提升智能化品質(zhì)。

1.4.2 測試床計劃解決哪些問題、價值點

保障企業(yè)保密數(shù)據(jù)本地化：保障企業(yè)數(shù)據(jù)不出邊緣節(jié)點即可參與模型訓(xùn)練。

讓服務(wù)可定制，降低資源消耗：提供適合業(yè)務(wù)需求的智能邊緣設(shè)備AI協(xié)同服務(wù)，即裝即用，降低資源消耗。

提升模型效果：云邊協(xié)同，循環(huán)促進(jìn)的訓(xùn)練推理模式，保證模型的長期可靠運行。 

1.5 測試床方案架構(gòu)

1.5.1 測試床應(yīng)用場景

測試床在企業(yè)本地部署通用服務(wù)器或MEC，也可使用運營商云主機或公用MEC平臺，作為測試床云端，使用定制化的智能邊緣設(shè)備作為邊緣端，兼容現(xiàn)有的AI框架，提供跨云邊協(xié)同訓(xùn)練推理框架，并使用增量學(xué)習(xí)、聯(lián)邦學(xué)習(xí)和遷移學(xué)習(xí)等能力提供可優(yōu)化的AI模型服務(wù)。使用模型壓縮等技術(shù)實現(xiàn)云邊協(xié)同推理，保證業(yè)務(wù)的穩(wěn)定可靠運行。

測試床適用于支撐智能工廠中的工業(yè)智能應(yīng)用場景，例如焊點檢測、產(chǎn)品質(zhì)量檢測、工人非法越界檢測、安全帽檢測、工服檢測、人臉識別等。

1.5.2 測試床架構(gòu)

1. 在體系架構(gòu)的位置

本測試床在工業(yè)互聯(lián)網(wǎng)功能視圖平臺體系框架中的位置如下圖所示，通過邊緣層的數(shù)據(jù)接入、數(shù)據(jù)預(yù)處理和智能分析實現(xiàn)邊緣側(cè)的數(shù)據(jù)處理和分析，通過PaaS層和應(yīng)用層的資源部署與管理、數(shù)據(jù)管理與服務(wù)、模型管理與服務(wù)和工業(yè)創(chuàng)新應(yīng)用實現(xiàn)模型優(yōu)化和更新、協(xié)同推理。過程實現(xiàn)數(shù)據(jù)的優(yōu)化閉環(huán)，形成云邊模型連續(xù)的學(xué)習(xí)循環(huán)。

2. 在實施框架的位置

工業(yè)互聯(lián)網(wǎng)平臺實施框架中，本測試床內(nèi)容包含邊緣層的數(shù)據(jù)預(yù)處理和邊緣智能應(yīng)用部分，企業(yè)層在企業(yè)MEC上部署平臺的云端包括數(shù)據(jù)模型、工業(yè)模型的管理等。在產(chǎn)業(yè)層提供多企業(yè)MEC協(xié)同接口，支撐開展資源配置優(yōu)化和產(chǎn)業(yè)生態(tài)的構(gòu)建。實施架構(gòu)如下圖所示：

3. 本測試床架構(gòu)

本測試床主要提供低成本、高性能、易使用、隱私保護的邊緣智能，滿足企業(yè)數(shù)據(jù)本地化（數(shù)據(jù)不出廠區(qū)）和即裝即用的定制化服務(wù)。測試床架構(gòu)如下圖所示：

1.5.3 測試床方案

基于5G MEC+邊緣智能的AI跨邊云協(xié)同訓(xùn)練推理測試床功能架構(gòu)如下圖所示：

1. 自動化異構(gòu)邊緣適配

定制化邊緣AI服務(wù)與邊緣智能設(shè)備、邊緣智能硬件廠商進(jìn)行適配，實現(xiàn)自動化的邊緣資源適配。

2. 實現(xiàn)邊緣AI基礎(chǔ)框架

實現(xiàn)邊緣AI 管理，數(shù)據(jù)集管理，數(shù)據(jù)預(yù)處理，跨云邊數(shù)據(jù)同步，配置管理等。

3. 云邊協(xié)同訓(xùn)練和協(xié)同推理

高效利用云邊各類資源。利用模型壓縮、困難樣本發(fā)現(xiàn)等技術(shù)實現(xiàn)協(xié)同推理；利用遷移學(xué)習(xí)、增量學(xué)習(xí)、聯(lián)邦學(xué)習(xí)技術(shù)實現(xiàn)邊緣AI可長期可靠穩(wěn)定的使用 。實現(xiàn)高性能、低成本、隱私安全的邊緣AI系統(tǒng)。基于5G MEC+邊緣智能的AI跨邊云協(xié)同訓(xùn)練推理測試床技術(shù)實施方案如下圖所示：

1.5.4 方案重點技術(shù)

? 模型優(yōu)化技術(shù)：解決邊緣AI模型的訓(xùn)練優(yōu)化問題，保證模型長期穩(wěn)定運行。

? 邊云協(xié)同訓(xùn)練、協(xié)同推理技術(shù)：基于現(xiàn)有的邊云協(xié)同平臺打造邊云協(xié)同訓(xùn)練和協(xié)同推理框架，保證業(yè)務(wù)對時間延時和精度的需求。

? 輕量化模型分割技術(shù)：通過DNN模型壓縮技術(shù)和模型拆分技術(shù)，實現(xiàn)輕量化的邊緣模型，適用邊緣算力較低的設(shè)備

4.5．  應(yīng)用場景

測試床應(yīng)用：

基于5G+AI的零部件質(zhì)量檢測，可在復(fù)雜紋理圖像及背景干擾下，對零部件外觀進(jìn)行精準(zhǔn)分類，大幅減少漏檢誤檢，同時對檢測結(jié)果數(shù)據(jù)實時回傳訓(xùn)練，形成模型高效迭代閉環(huán)，提升檢測準(zhǔn)確率，解決傳統(tǒng)管理痛點，助理提升企業(yè)效能。

本測試床將5G MEC、AI工業(yè)視覺能力與產(chǎn)線結(jié)合，構(gòu)建了一套基于5G MEC云邊協(xié)同+工業(yè)視覺檢測的柔性制造SMT產(chǎn)線。PCB板進(jìn)入產(chǎn)線后，分別通過錫膏印刷、SMT貼片焊接、波峰回流焊接等流程后，最終與其他零部件一起通過裝配、成品測試以及包裝行程成品。流程包括SPI視覺檢測、爐前/爐后AOI 視覺檢測、產(chǎn)品裝配工序視覺檢測、產(chǎn)品質(zhì)量視覺檢測和包裝貼標(biāo)視覺檢測。

1. 協(xié)同推理

在焊點質(zhì)量檢測場景中如何使用跨云邊協(xié)同推理服務(wù)。由于邊緣資源有限，焊點質(zhì)量檢測性能較低。但是，協(xié)同推理服務(wù)可以提高整體性能，將通過困難樣本挖掘識算法將困難樣板上傳到云并進(jìn)行推理。

協(xié)同推理對延時要求較高，5G網(wǎng)絡(luò)與MEC，實現(xiàn)推理結(jié)果的超高速率和超低時延。

2. 聯(lián)邦學(xué)習(xí)

充分利用5G海量機器連接特性滿足大量的5G工業(yè)網(wǎng)關(guān)和工業(yè)攝像頭的接入，為聯(lián)邦學(xué)習(xí)提供可靠的網(wǎng)絡(luò)基礎(chǔ)。

隱私保護、數(shù)據(jù)安全：不同工廠的焊接技術(shù)是屬于加密技術(shù)，焊點成像采集的圖像不能用于共享訓(xùn)練數(shù)據(jù)，通過聯(lián)邦學(xué)習(xí)技術(shù)，無需分享本廠的成像數(shù)據(jù)，保證數(shù)據(jù)的隱私性和安全性。

解決數(shù)據(jù)孤島問題：單一工廠的數(shù)據(jù)數(shù)量有限，焊點技術(shù)單一，不能包括多種質(zhì)量問題的類型，通過云上的參數(shù)服務(wù)模塊對全局模型進(jìn)行優(yōu)化合并，充分利用各節(jié)點資源，提高模型的精度。

云邊聯(lián)邦學(xué)習(xí)通信開銷問題：真邊緣端和云端之間經(jīng)由網(wǎng)絡(luò)連接和傳輸數(shù)據(jù)（模型、參數(shù)）所造成的。

上行通信成本：邊緣端將本地計算得到的模型更新傳遞到云端。

下行通信成本：云端到邊緣端傳遞全局模型。

客戶端和中央服務(wù)器之間要進(jìn)行多次通信。在工業(yè)的邊緣計算場景中，通過有大量設(shè)備與云端進(jìn)行通信。對帶寬有較高的要求，要求大量節(jié)點能同時將其消息上傳到云端。帶寬問題會導(dǎo)致訓(xùn)練速度大大減慢，模型的收斂速度較慢。

5G網(wǎng)絡(luò)中通信速率和帶寬得到了極大的提升。依托5G網(wǎng)絡(luò)，解決聯(lián)邦學(xué)習(xí)中的通信開銷問題，推動聯(lián)邦學(xué)習(xí)在工業(yè)領(lǐng)域的應(yīng)用，是本測試床需要解決的問題之一。

3. 遷移增量學(xué)習(xí)

條件允許的情況下，使用全部數(shù)據(jù)重新訓(xùn)練模型的效果是最佳的。真實的生產(chǎn)環(huán)境是開放并且復(fù)雜多變的，在訓(xùn)練模型之前無法獲得所有可能情形的有效信息作為訓(xùn)練數(shù)據(jù)。隨著終端運行不斷生產(chǎn)數(shù)據(jù)，新的類別不斷產(chǎn)生，已有類別的新實例不斷出現(xiàn)，智能邊緣能夠在獲得新數(shù)據(jù)時，重新訓(xùn)練數(shù)據(jù)，保證不斷優(yōu)化學(xué)習(xí)的能力。

利用5G MEC的計算、存儲能力，實現(xiàn)模型的自優(yōu)化、自更新。

1.5.5 方案自主研發(fā)性、創(chuàng)新性及先進(jìn)性

技術(shù)創(chuàng)新：平臺兼容現(xiàn)有的AI框架，通過遷移學(xué)習(xí)、聯(lián)邦學(xué)習(xí)、增量學(xué)習(xí)和模型壓縮等技術(shù)實現(xiàn)協(xié)同訓(xùn)練和協(xié)同推理，解決邊緣數(shù)據(jù)樣本少，冷啟動、邊緣數(shù)據(jù)隱私問題等，讓模型越用越精確。

模式創(chuàng)新：5G MEC下沉，降低業(yè)務(wù)時延；平臺在產(chǎn)業(yè)層實現(xiàn)多企業(yè)MEC協(xié)同接口，匯聚產(chǎn)業(yè)資源，優(yōu)化資源配置，有助于構(gòu)建產(chǎn)業(yè)生態(tài)。

應(yīng)用創(chuàng)新：結(jié)合不同層級不同環(huán)境的計算設(shè)備承擔(dān)不同算力需求的任務(wù)，結(jié)合企業(yè)需求，提供定制化的AI協(xié)同服務(wù)。

1.6 測試床實施部署

1.6.1 測試床實施規(guī)劃

本測試床實施分為三個階段：

? 第1階段：2021.02-2021.03

開展測試床場景梳理、可行性評估、測試床架構(gòu)設(shè)計等工作。

? 第2階段：2021.04-2021.07

開展測試床實施方案設(shè)計、設(shè)備選型與環(huán)境建設(shè)、測試床平臺功能測試等工作。

? 第3階段：2021.08-2022.01

開展測試床部署、典型應(yīng)用場景驗證、輸出針對焊點檢測常間的實施方案等工作。

1.6.2 測試床實施的技術(shù)支撐及保障措施

本測試床參與方分工協(xié)作，共同支撐與保障本測試床的實施工作：

中國電信股份有限公司研究院負(fù)責(zé)基于5G MEC+邊緣智能的AI跨邊云協(xié)同訓(xùn)練推理測試床部署與驗證。

瑞斯康達(dá)科技發(fā)展股份有限公司負(fù)責(zé)提供智能工廠典型應(yīng)用場景環(huán)境，參與現(xiàn)場測試床驗證等工作。

1.6.3 測試床實施的自主可控性

          本測試床實施各項關(guān)鍵技術(shù)均為自主研發(fā)，具有良好的自主可控性。

1.7 測試床預(yù)期成果

1.7.1 測試床的預(yù)期可量化實施結(jié)果

1. 適配異構(gòu)邊緣AI設(shè)備適配

實施前：目前的模型在某些硬件平臺上無法直接運行，與硬件環(huán)境有強依賴。

實施后：與硬件設(shè)備廠商開展合作，適配設(shè)備環(huán)境，實現(xiàn)自動化資源適配。

2. 邊緣AI協(xié)同基礎(chǔ)框架實現(xiàn)

實施前：目前平臺的云邊協(xié)同平臺未支持各種AI框架、未實現(xiàn)對數(shù)據(jù)集和模型的管理。

實施后：云邊支持TensorFlow、pytorch等AI端框架、數(shù)據(jù)集管理、模型管理、跨云邊數(shù)據(jù)同步等。

3. 跨邊云協(xié)同訓(xùn)練推理構(gòu)建

實施前：云端訓(xùn)練，邊緣推理，邊端不支持大模型的運行。

實施后：合理利用云邊資源，根據(jù)負(fù)載，對應(yīng)用類型實時調(diào)度，實現(xiàn)高性能、低成本、數(shù)據(jù)安全。

4. 增量學(xué)習(xí)、聯(lián)邦學(xué)習(xí)和遷移學(xué)習(xí)驗證

實施前：缺少跨邊云AI協(xié)同優(yōu)化框架實施情況

實施后：支持多種模型優(yōu)化方案，保證AI模型長期穩(wěn)定可靠運行。

1.7.2 測試床的商業(yè)價值、經(jīng)濟效益

首個具有增量學(xué)習(xí)、聯(lián)邦學(xué)習(xí)、遷移學(xué)習(xí)框架、協(xié)同訓(xùn)練推理的平臺：解決邊緣智能跨云邊協(xié)同訓(xùn)練推理落地推廣中遇到的AI模型訓(xùn)練等棘手問題。

讓工廠用得方便的邊緣智能：提供定制化的服務(wù)，實現(xiàn)企業(yè)的智能化生產(chǎn)與監(jiān)控，持續(xù)優(yōu)化提升工廠的智能化水平，節(jié)約資源，提升效率。

1.7.3 測試床可推廣性

1. 形成可推廣解決方案

可基于5G定制網(wǎng)，以邊緣智能為核心，形成面向智慧工廠的AI定制協(xié)同服務(wù)解決方案：

l 邊緣智能AI跨邊云協(xié)同服務(wù)框架

l AI跨邊云協(xié)同服務(wù)產(chǎn)品：工業(yè)智能邊緣設(shè)備+定制化AI跨邊云協(xié)同服務(wù)

l 面向智慧工廠集成產(chǎn)品：端+網(wǎng)+云+AI協(xié)同管理

2. 可推廣垂直行業(yè)

以瑞斯康達(dá)測試床為基礎(chǔ)，向柔性制造行業(yè)推廣，如網(wǎng)關(guān)設(shè)備制造、MEC設(shè)備制造等。

以焊點檢測場景實施為基礎(chǔ)，向其他工業(yè)智能場景推廣，如產(chǎn)品質(zhì)量檢測、防靜電服檢測、人臉識別、安全模識別檢測等。

3. 推廣路徑

? 技術(shù)推廣：牽頭制定行業(yè)標(biāo)準(zhǔn)、測試床推廣、典型案例推廣

? 產(chǎn)品推廣：不斷豐富邊云協(xié)同訓(xùn)練推理框架在智慧工廠場景的實施部署

? 服務(wù)推廣：打造面向智慧工廠邊云協(xié)同平臺培訓(xùn)/展示服務(wù)，帶動更多行業(yè)和企業(yè)部署

1.8 測試床成果驗證

1.8.1 測試床成果驗證計劃

本測試床部署在工廠車間內(nèi)，在此進(jìn)行測試床成果的測試與驗證。具體時間計劃見測試床實施規(guī)劃時間表。

1.8.2 測試床成果驗證方案

1. 邊緣智能服務(wù)部署驗證內(nèi)容

? 適合工廠特定場景的自研輕量級邊緣模型和云模型

? 實現(xiàn)模型管理和數(shù)據(jù)集管理

? 具有與邊緣模型相匹配算力的智能邊緣設(shè)備

2. 跨云邊協(xié)同訓(xùn)練推理平臺驗證內(nèi)容

? 兼容現(xiàn)有的AI框架

? 具備聯(lián)邦學(xué)習(xí)、遷移學(xué)習(xí)、增量學(xué)習(xí)模型的協(xié)同訓(xùn)練框架

? 具備云邊協(xié)同推理框架

1.9 測試床成果交付

1.9.1 測試床成果交付件

? 具備可定制的邊緣智能AI跨邊云協(xié)同服務(wù)，適用于企業(yè)/園區(qū)等特定場景的需求

? 自研跨邊云協(xié)同訓(xùn)練推理平臺，普遍適用于工廠智能生產(chǎn)，智能監(jiān)控等場景

? 典型工廠焊點檢測、安全帽識別和人臉識別等場景的跨云邊協(xié)同訓(xùn)練和協(xié)同推理的智能AI邊緣部署方案

1.9.2 測試床可復(fù)制性

本測試具有較好的復(fù)制推廣性。一方面以瑞斯康達(dá)測試床為基礎(chǔ)，向柔性制造行業(yè)復(fù)制推廣，如網(wǎng)關(guān)制造、MEC設(shè)備制造等；另一方面，以焊點檢測場景實施為基礎(chǔ)，向其他場景推廣，如產(chǎn)品質(zhì)量檢測、防靜電服檢測、人臉識別、安全帽識別等。

1.9.3 測試床開放性

本測試床可開放給更多通訊提供商、運營商和制造企業(yè)共同參與測試床驗證與推廣工作。

1.10 其他信息

1.10.1 測試床使用者

歡迎所有的AII成員企業(yè)參與和使用本測試床項目。然而，在初始階段，由于試驗站點的訪問權(quán)限有限，本測試床將僅限于現(xiàn)有的合作伙伴。之后，本測試床將逐步開放給更多AII成員企業(yè)使用。

1.10.2 測試床知識產(chǎn)權(quán)說明

         中國電信與瑞斯康達(dá)科技發(fā)展股份有限公司共同對測試床的建設(shè)、運營以及使用擁有產(chǎn)權(quán)。

1.10.3 測試床運營及訪問使用

         測試床的部署和運營將在瑞斯康達(dá)工廠進(jìn)行。現(xiàn)階段訪問控制和管理權(quán)限僅限于測試床參與企業(yè)。

1.10.4 測試床資金

測試床的資金將來自于測試床參與企業(yè)。

1.10.5 測試床時間軸

第1階段（2021.01-2021.03）：完成測試床場景梳理、可行性評估、測試床架構(gòu)設(shè)計等工作。

第2階段（2021.01-2021.07）：完成測試床實施方案設(shè)計、設(shè)備選型與環(huán)境建設(shè)、測試床平臺功能測試等工作。

第3階段（2021.08-2022.01）：完成測試床部署、測試床典型應(yīng)用場景驗證、輸出針對焊點檢測場景的實施方案等工作。

測試床當(dāng)前進(jìn)展：

1. 測試床輸出成果：

? 具備可定制的邊緣AI智能跨邊云協(xié)同服務(wù)，適用于企業(yè)/園區(qū)等特定場景的需求

? 自研跨邊云協(xié)同訓(xùn)練和協(xié)同推理平臺，普遍適用于工廠智能生產(chǎn)，智能監(jiān)控等場景

? 典型工廠焊點檢測、安全帽識別和人臉口罩識別等場景的跨云邊協(xié)同訓(xùn)練推理的智能邊緣AI部署方案

2. 測試床地點：瑞斯康達(dá)北京工廠

3. 參與者分工：

          中國電信：基于5G MEC+邊緣智能的AI跨邊云協(xié)同訓(xùn)練推理測試床部署與驗證

          瑞斯康達(dá)：提供智能工廠典型應(yīng)用場景環(huán)境，參與現(xiàn)場測試床驗證

4. 部署方案：

5. 輸出PCB焊點檢測數(shù)據(jù)集

? 輸出標(biāo)記不同產(chǎn)線的PCB焊點檢測數(shù)據(jù)集一套，并開源發(fā)布到華為雅努斯，鏈接為https://github.com/kubeedge/ianvs

? 該開源數(shù)據(jù)集用于5G環(huán)境下，協(xié)同訓(xùn)練和推理平臺的測試驗證。

? 本次pcb檢測共使用原始圖片集共有484張,其中80張作為測試集，訓(xùn)練集和測試集的比例為5比1，在使用水平翻轉(zhuǎn)，豎直翻轉(zhuǎn)，90度旋轉(zhuǎn)，180度旋轉(zhuǎn)，270度旋轉(zhuǎn)以及縮放后，圖片總集合為2904張。

6. PCB焊點檢測數(shù)據(jù)集下協(xié)同訓(xùn)練模型1套

? 輸出針對PCB焊點檢測數(shù)據(jù)集下， 增量學(xué)習(xí)模型代碼。

? 包括協(xié)同訓(xùn)練的難例檢測算法1套。

? 測試結(jié)果：

1）單機訓(xùn)練時間：

ü 硬件配置:CPU類型2路6230N（Intel Xeon Gold 6230N 20C 125W 2.3GHz處理器）4x10GEGPU：Tesla V100 32G

ü 2904張圖片訓(xùn)練時間：1609分

2）5G工廠生產(chǎn)環(huán)境4個邊緣節(jié)點云邊協(xié)同增量訓(xùn)練測試結(jié)果：

3）單機測試推理結(jié)果：

4）5G工廠生產(chǎn)環(huán)境測試結(jié)果：