• <sub id="uqko5"></sub>
    <tbody id="uqko5"><center id="uqko5"></center></tbody>
  • <option id="uqko5"></option><sub id="uqko5"><font id="uqko5"><nav id="uqko5"></nav></font></sub>
    <center id="uqko5"></center>
    <sub id="uqko5"><xmp id="uqko5">
  • <tbody id="uqko5"><center id="uqko5"></center></tbody>
  • <nav id="uqko5"></nav>
  • <track id="uqko5"></track>
  • <tbody id="uqko5"><center id="uqko5"><progress id="uqko5"></progress></center></tbody><track id="uqko5"></track>

    和800+貢獻者、60+組織一起吐槽邊緣AI方案落地問題

    1 邊緣AI技術趨勢顯現

    在云上執行機器學習是傳統而廣泛為人所知的方法,基于云側大規模算力,大部分大型云平臺提供商均已提供機器學習服務。然而,機器學習所需的數據卻往往并非直接從云平臺中產生,而是來自傳感器、手機、網關等邊緣設備。

    隨著邊緣設備的廣泛使用和性能提升,將機器學習相關的部分任務遷移到邊緣,也即邊緣AI技術,已成為必然趨勢,甚至能夠同時結合云側算力和邊側數據來完成機器學習任務。2018年,VMware發布了云環境擴展到邊緣的框架。微軟除Azure云外,也在物聯網上投資50億美元,因為“物聯網最終正在發展成為新的智能邊緣”。Garner預測,到2022年,50%的企業生成數據將在傳統集中式數據中心或云之外創建和處理,高于2018年的不到10%,比如工廠內、飛機或石油鉆井平臺上、零售店或醫療器械中。

    2 邊緣AI技術挑戰

    機器學習服務將邊緣產生的數據轉換為知識的過程中,無疑首先需要在邊緣快速響應并處理本地產生的數據。在對接大量邊緣設備的邊緣云時代,為運行機器學習服務,相關企業在傳統云上機器學習基礎上仍需面對更多權衡:

    1、數據從邊側產生,而云端需從邊側采集數據以訓練和不斷完善機器學習模型。

    2、大量延遲和成本等問題使得將大量邊側數據移動到云端數據中心變得不切實際。假設即使有100 Mbps的專網連接,將10TB的數據運送到云端也需要10天。面對大量邊緣連接設備每天生成數百兆字節甚至TB數據,帶來的延遲對客戶和服務提供方來說往往是難以承受的;

    3、大量設備的數據采樣和傳輸仍會延遲甚至劣化企業基于新數據的知識獲取。越來越多的計算機和傳感器產生數百TB或者甚至PB的數據量,并且數據量正在迅速上升。正因為遷移所有數據通常是不切實際的,需要對數據進行“采樣”(也稱難例識別或未知任務發現)并傳輸到云端。“采樣”過程存在時間和資源上的代價。“采樣”到傳輸上云的過程,都將延遲完整數據集(包括最新數據和歷史數據)的分析,企業最終被迫等待最新數據集傳輸到云才能進行處理。“采樣”后的數據集也不一定能完全代表完整數據集,這可能帶來精度損失。

    4、部分項目的數據隱私和實時性需求導致數據遷移到集中式數據中心的方案不可選。

    隨著邊緣設備的計算能力日益增強,將機器學習相關的計算任務嵌入到邊緣,而不是在云上執行,成為一種必然趨勢。當前主要有下述幾種方法:

    1、云端訓練,邊側推理

    云端訓練并將模型傳輸到邊側,推理等工作可在接近數據所在位置執行。這是最簡單的方法,因為它保留了云端機器學習開發的易用性和靈活性,但同時又能在靠近數據源的地方執行算法。因此,可以應對邊側的實時推理需求。僅當少量數據需要額外的處理資源時,需要傳輸到云,以彌補邊側設備資源的局限性,比如數據科學家需要訓練新的機器學習模型或使用新的算法時,也主要借助云來解決,如集中式聯邦學習。

    這種模式實現簡單、開發輕松,云平臺上開發算法的框架與其它環境可靈活選用;同時,云端可提供深度學習所需的大量資源,如CPU/GPU、內存和硬盤。

    但是缺點也很明顯,將數據從一個地理區域移動到另一個地理區域,由于數據中心到設備的距離容易導致服務高度延時;云側難以獲得邊側所有數據。為避免數據全部上云,機器學習模型對訓練數據需進行智能采樣(也稱難例識別或未知任務發現)。因此,云端機器學習模型的性能也取決于采樣算法的性能,另外這也導致大數據加載緩慢;算法優化對于每個設備都是唯一的,甚至不同設備存在相互沖突的規則,很難在云端產生能同時服務于所有邊緣設備的通用模型,尤其邊側設備往往還要求模型需要針對資源約束進行優化;設備由于容量限制,本地通常不保留歷史數據,也很難與其它設備分享。同時由于數據孤島問題,也無法輕松地從流經其他設備的數據中學習;

    2、邊側訓練,邊側推理

    指的是基于邊側設備的數據,在對應邊緣設備上進行訓練和推理。這種方法通常利用智能邊緣軟件,比如嵌入式系統或操作系統的友好GUI環境作為開發環境。要在邊緣完全實現這一目標,開發人員通常依靠低代碼平臺、數字孿生或虛擬模型,定期更新生成的數據。

    這種模式的優點是可以基于完整的本地邊側數據集開發高精度模型;可以解決隱私/合規性問題;由于邊緣的低延時,可以進行近乎實時的決策處理。

    但是,盡管當前智能邊緣軟件開發生態已開始發展,但數據科學家和工程師在邊側直接進行開發的邊側軟件支持和選型靈活性有限。而相關服務成熟需要邊緣計算的生態系統本身獲得更多的關注、投資和支持。另外,完全邊側進行的機器學習難以支持長期知識持久化和跨邊知識聯合分析。換句話說,這種方法難以將歷史和其它邊側設備的知識作為訓練和持續更新的一部分。這主要是受限于邊側資源和跨邊數據隱私合規等。這個缺點在新邊側節點剛剛建立,不具備大量樣本時尤為顯著,容易導致精度低下甚至模型無法收斂而訓練失敗。

    3、邊云協同的訓練或推理

    指的是訓練或推理的機器學習任務是云端與邊側協同完成的。對當前業界來說,邊云協同的訓練或推理方法仍是一種不顯然且較為令人陌生的方法,但能夠更細粒度地同時權衡時延和建模精度。這種方法本質上是將機器學習訓練或推理的過程分解為多個模塊,使得各個模塊的計算任務能夠分別被調度到邊側或者云端執行。以一種基于聯邦學習的邊云協同訓練方法為例,它將數據預處理、特征工程和小規模本地訓練部署在邊側,獲取的本地知識從邊側傳輸到云端,最終在云端部署并完成大規模的分布式訓練。

    這種模式的優點包括:無需直接將所有邊側的原始數據全部傳輸到云,也可避免將原始數據從其本地邊側存儲庫中傳輸到其它邊側系統中執行機器學習分析。這點尤其是因為數據隱私或合規等原因導致數據無法移動時特別關鍵;可基于所有邊側的完整數據集進行高精度建模,如聯邦學習和遷移學習;可基于歷史和更新數據,持續訓練和改進邊側的機器學習模型,做到越學越聰明,比如在邊側自主補充數據實現“閉環”,如在線或終身學習等增量方法。智能邊云協同平臺等相關生態已經建立,能夠作為分布式、聯合分析的底座。此平臺能力包含邊云系統的數據、模型等文件的傳輸、存儲和計算調度,逐步實現近乎實時的流處理以及邊云協同的機器學習算法訓練微調,乃至在跨邊地理分布式數據庫上直接處理而無需跨地域直接傳輸原始數據。

    但是邊云協同的訓練或推理方法涉及AI系統各個方面,技術路徑復雜,研發周期長。其機制與算法設計技術離完全成熟還有差距,仍有問題待學界探索。同時,邊云協同的訓練或推理方法的使用范圍和“殺手”應用等仍有待挖掘和明晰。

    在落地過程中,我們發現,在連接海量邊緣節點的邊緣云時代,隨著AI服務與邊緣用戶的距離縮短,通用AI原本部分技術挑戰在邊緣場景下變得更加尖銳。這里總結了四項挑戰:

    1、資源受限:相對于便宜、按需獲取的云端資源,邊側資源包括計算設備、供電設備、部署場地面積、AI開發環境等往往是有限或者異構的,邊側服務框架流程需要應對并兼容多種情況,建設與維護成本更高。

    2、數據孤島:邊緣存在天然的地理分布性。AI算法在工業應用時,往往面臨數據無法共享和數據隱私保護、甚至網絡瓶頸等問題,導致數據集在地理上天然分割,AI算法無法高效、準確地共同使用各個邊緣節點的數據。傳統集中式AI模式在邊緣場景下各項AI系統性能下降(包括收斂速度, 數據傳輸量, 模型準確度等)。

    3、小樣本:單個邊緣通常僅有少量樣本, 尤其在邊側服務啟動初期普遍出現冷啟動問題。同時,邊側大量非結構化樣本的標注也比較困難,標注樣本的數量較低。這導致傳統大數據驅動的統計機器學習方法無法收斂或精度差。

    4、數據異構:數據集內存在多種特征、模型或標注分布,直接導致邊緣測試樣本的統計分布與訓練集差異過大(也稱Non-IID或OOD),使得通用AI模型在不同邊緣的不同情境性能顯著下降。對于同個租戶,業務繁多也往往導致不同輸入輸出的算法和數據復雜多樣(也稱長尾算法或長尾數據),此時邊云協同AI服務框架流程需同時應對和兼容相應業務數據,并統一權衡實現資源高效調度。

    以樓宇空調節能參數推薦場景為例:

    1、 描述:冷機有多組參數可調,節能的關鍵是預測不同參數組合下的冷機能效比,推薦滿足制冷條件下的最節能參數配置。

    2、 邊緣智能需求:

    a) 新園區系統啟用,需具備邊側冷啟動能力實現快速交付;

    b) 園區系統本地定制與自動閉環:邊緣云服務在線采集數據,模型持續迭代;

    c) 園區設備智能服務離線自治

    3、 技術挑戰:

    a) 資源受限:園區邊側設備的數據存儲與處理能力有限,在支撐多個系統服務同時機器學習服務容易卡頓,本地數據也只能保存數月。

    b) 數據孤島:同租戶不同樓宇控制乃至電力系統不互通。

    c) 小樣本:新園區系統啟用,需時間積累數據。冷機所有工況下所有參數組合全部運行采樣不可行。

    d) 數據異構:不同園區設備模型差異大,不存在單一通用模型。受工況、壽命等影響,模型隨使用會逐漸變化。

    從服務應用層面來講,當前邊緣AI具有如下特點:

    AR、VR、互動直播、視頻監控等基于人機交互的多媒體行業場景下以非結構化數據為主。非結構化數據是指難以轉化為便于信息系統進行語義解析的數值或統一格式的數據,如圖像、文本等,通常由人類直接處理。主要采用深度神經網絡方法。四大挑戰中最關鍵的部分在于由于未標注數據量大導致的標注樣本少、復雜系統下不相稱的邊側資源受限。

    工業、能源、金融等基于傳統電子信息系統的行業場景下以結構化數據為主。結構化數據是指便于信息系統進行語義解析的數值或統一格式的數據,如數據庫表格等,可由信息系統直接處理。主要使用非深度神經網絡的機器學習算法,其算法建模方式多樣,與業務相關性高。四大挑戰中最關鍵的部分在于邊側小樣本、跨邊數據孤島,以及數據異構下的服務可靠性乃至可解釋性等。

    KubeEdge社區一直密切關注邊緣AI相關挑戰。KubeEdge是業界首個云原生邊緣計算框架、云原生計算基金會內部唯一孵化級邊緣計算開源項目。KubeEdge在全球已擁有800+貢獻者和60+貢獻組織,在Github獲得4.5k+Stars和1.3k+Forks。作為KubeEdge中唯一的AI特別興趣小組(Special Interest Group),KubeEdge社區SIG AI致力于使能AI應用在邊緣更好地運行,聚焦邊緣AI技術討論、API定義、參考架構、開源實現等。針對上述四大挑戰,當前已開源邊緣智能平臺Sedna及其跨邊云的協同推理、聯邦學習、增量學習和終身學習特性。

    3 啟動落地挑戰調研

    當前學界業界各團隊的方案落地與成果轉化到產業的進程正在緊鑼密鼓地進行。很多團隊已經遇到各式各樣的困難,比如數據集難以獲取、通用方案無法滿足特定業務、缺乏商業成功案例等。僅靠技術并不足夠完成落地和產業轉化。

    現在,為了讓更多邊緣AI領域的朋友多快好省地完成技術研發落地和商業閉環,我們準備啟動落地挑戰調研,并結合行業關注的最新技術趨勢進行社區內容優化,最終集結開源社區力量為邊緣智能算法開發者、服務部署者、市場營銷者三種角色提供資源和平臺幫助。社區將聚集SIG AI中30+單位的各供應商和開發者,提供數據集開源、預處理與特性算法開源、以及AI工具等行業內迫切需要的資源,為大家帶來一場開源饕餮盛宴。

    作為信奉開源文化的社區,我們始終都強調“Best ideas win”,領域發展自然也不例外。為了交出一個更有競爭力和創意的提案,我們希望了解每位關注開源與邊緣智能的朋友對邊緣AI相關方案落地過程遇到困難,然后選取Best idea,對社區內容進行優化,以便為大家呈現一個體現開源開放精神的資源分享社區生態。

    日日摸夜夜添夜夜添破
  • <sub id="uqko5"></sub>
    <tbody id="uqko5"><center id="uqko5"></center></tbody>
  • <option id="uqko5"></option><sub id="uqko5"><font id="uqko5"><nav id="uqko5"></nav></font></sub>
    <center id="uqko5"></center>
    <sub id="uqko5"><xmp id="uqko5">
  • <tbody id="uqko5"><center id="uqko5"></center></tbody>
  • <nav id="uqko5"></nav>
  • <track id="uqko5"></track>
  • <tbody id="uqko5"><center id="uqko5"><progress id="uqko5"></progress></center></tbody><track id="uqko5"></track>