原文:Enabling AI-Generated Content (AIGC) Services in Wireless Edge Networks
編譯:DeFi 之道
人工智能生成內容(AIGC)技術由于具有的獨特能力 ,在文本、圖像和視頻等內容領域的有著很大的應用潛力。毫無疑問,AIGC將顯著影響未來的很多日常應用,特別是在元宇宙賽道。由于能夠高效地生成大量高質量的內容,AIGC 可以節省在手工內容創建上的時間花費和其他資源,最近的研究表明,AIGC 在技術發展方面已經取得了重大進展。
具體來說,在文本生成方面,參考文獻中和的作者已經探索了使用深度學習技術生成連貫和多樣化文本的方法。對于圖像生成,和作者則重點研究使用第一代對抗網絡(generative adversarial networks-GANs)來生成逼真的圖像。在音頻生成中,的作者探索了用于合成高質量語音的深度學習技術。此外,擴散模型(diffusion models)是AIGC 領域的最新突破,2020年,OpenAI 發布了 GPT-3 模型,作為一種多模式的全能語言模型,GPT-3 能夠進行機器翻譯、文本生成、語義分析等。而在2022年發布的基于擴散模型的 DALL-E2 被認為是最先進的圖像生成模型,其性能可以優于GANs 。
但是,AIGC 模型需要大量的數據來進行訓練,而且大型的 AIGC 模型還很難被部署。以 Stable Diffusion 為例,Stability AI 公司維護了超4000個NVIDIA A100 GPU集群,運營成本就達到了5000萬美元。而 Stable Diffusion V1 模型的一次訓練需要15萬A100 GPU小時。此外,由不同數據集訓練的 AIGC 模型只能適用于特定的任務,例如,由人臉數據集訓練的 AIGC 模型可以用于修復損壞的人臉圖像,但不能有效地糾正模糊的景觀圖像。由于用戶任務的多樣性和有限的邊緣設備容量,很難在每個網絡邊緣設備上部署多個 AIGC 模型。為了進一步提高 AIGC 服務的可用性,一個很有前途的部署方案是基于“Everything-as-a-service”(EaaS),它可以有效地為用戶提供基于訂閱的服務。通過采用EaaS部署方案,我們進一步提出了“AIGC-as-a-service”(AaaS)的概念,具體來說就是 AIGC 服務提供商(ASPs)可以在邊緣服務器上部署人工智能模型,通過無線網絡向用戶提供即時服務,提供更方便和可定制的體驗。用戶可以輕松地訪問和享受 AIGC 的低延遲,在邊緣網絡中部署 AaaS 有幾個優點:
個性化:AIGC 模型可以根據每個用戶的需求進行定制的內容,提供個性化的體驗。例如,可以提供個性化的產品推薦,通過根據用戶的位置、偏好和使用模式給用戶提供服務。
高效率:通過在更接近用戶的地方部署AIGC服務,服務質量(QoS)將得到顯著提高,例如,通過本地的內容傳輸,可以更有效地利用網絡和計算資源,降低延遲。
靈活性:AIGC 可以進行定制和優化,以滿足動態需求和資源可用性。通過調度無線網絡用戶對 AIGC 的訪問,可以使網絡中用戶的整體QoS最大化。
因此,基于邊緣網絡的 AaaS 有可能徹底改變通過無線網絡來創建和交付內容的方式。然而,目前對 AIGC 的研究主要集中在 AIGC 模型的訓練上,而忽略了在無線邊緣網絡中部署 AIGC 時的資源分配問題。具體來說,AIGC 可能需要大量的帶寬和計算能力來生成內容以及向用戶交付內容,而這可能會導致網絡性能的下降。此外,擴展 AaaS 以滿足大量用戶的需求也是一項挑戰。因此,為用戶分配合適的 AIGC 服務提供商(ASPs)至關重要的,一方面,用戶追求那些能提供優質服務的 ASPs;另一方面,也要避免某些 AIGC 服務過載和需要重新傳輸,從而消耗稀缺的網絡資源,文章主要有以下幾個方面的內容:
合肥布局未來產業,將瞄準元宇宙等前沿領域:1月11日,合肥發布《政府工作報告》,未來五年,合肥將前瞻布局未來產業,瞄準元宇宙、超導技術、精準醫療等前沿領域,打造一批領航企業、尖端技術、高端產品,用未來產業贏得城市未來。
此外,合肥將實施制造業倍增行動,打造新一代信息技術、汽車和智能網聯汽車2個五千億級產業集群,打造4個兩千億級、3個千億級產業集群,培育3個千億企業、300個專精特新和“冠軍”企業,加快建成具有國際競爭力的先進制造業高地。
同時做大做強戰新產業,力爭建成5個以上國家級戰新產業集群,戰新產業占規上工業比重65%以上,加速壯大“芯屏汽合”“急終生智”地標產業。(安徽網)[2022/1/13 8:46:41]
對AIGC及其背后的技術的全面概述,討論了 AIGC 的各種應用及其在無線邊緣網絡中的用例和部署挑戰。
回顧了現有的基于圖像的感知質量指標。通過實際實驗,我們提出了一個通用模型來揭示AaaS中計算資源消耗與生成內容質量之間的關系。
提出了一種支持深度強化學習(DRL)的方法來實現最優 ASPs 的動態選擇。證明了DRL算法相比其他四種解決方案上的優勢。
在本節中,我們將回顧 AIGC 的發展進展,介紹了 AIGC 背后的技術。然后,我們將討論幾種AIGC 在邊緣網絡中的相關應用。
我們在訓練 AIGC 模型中引入了生成技術,基本模型結構下圖所示。
圖1:AIGC 中的生成技術、AIGC的類別和在無線邊緣網絡中的應用
l 自動回歸模型(ARMs): ARMs屬于統計模型,它涉及到基于過去的值來預測一個時間序列的未來值。ARMs可以通過基于前一個元素預測下一個元素來生成文本或其他媒體類型。ARMs的一個潛在應用是,通過根據邊緣用戶之前的音符來預測音樂序列中的下一個音符,進而來生成音樂。
變分自編碼器(VAEs): VAEs可以通過學習輸入數據來生成新的數據,其中包括一個編碼器網絡和一個解碼器網絡。編碼器網絡處理輸入數據并輸出一個潛在的表示,解碼器網絡以這種潛在的表示作為輸入,并生成與輸入數據相似的合成數據。
生成對抗網絡(GANs): GANs由兩個神經網絡組成,即生成器網絡和鑒別器網絡。將這兩個網絡一起進行訓練,以提高生成器生成真實圖像的能力和鑒別器區分合成圖像和真實圖像的能力。
基于流的模型(FBMs): FBMs通過一系列可逆變換將一個簡單的分布轉換為目標分布,這些轉換被實現為神經網絡,而應用這些轉換的過程被稱為“流(Flow)”。
擴散模型(DMs):訓練DMs對被高斯噪聲模糊的圖像進行去噪,以學習如何實現逆轉擴散過程。幾種基于擴散的生成模型已經被提出,包括擴散概率模型、噪聲條件評價網絡和去噪擴散概率模型等。
此外,經典的技術,如 Transformer,也可以用于訓練 AIGC 模型,這將在下面進行討論。
下文介紹了幾類 AIGC 技術及其在邊緣網絡中的應用,這可以作為未來潛在的研究方向。
文本到文本的 AIGC:文本到文本 AIGC 可以根據給定的文本輸入生成類人的回復輸出。因此,它可以用于自動回答、語言翻譯或文章摘要。一個代表性的文本到文本 AIGC 模型就是GPT(https://openai.com/blog/chatgpt/),它是由 OpenAI 開發的語言模型。GPT 是在大量生成的文本數據集上訓練的,比如書籍或文章,該模型可以根據前面的單詞來預測序列中的下一個單詞并創建文本。GPT 非常成功,并且已經在幾個自然語言處理(NLP)基準測試上取得了非常好的效果。GPT 可以用來構建許多基于語言的服務,在無線邊緣網絡中,如圖1所示,GPT可以作為一個聊天機器人,為司機提供導航和信息警報等服務。
湖北:布局區塊鏈等前沿產業 建設湖北區塊鏈服務網絡:4月12日,《湖北省國民經濟和社會發展第十四個五年規劃和二〇三五年遠景目標綱要》發布。其中提到,布局區塊鏈等前沿產業,推動區塊鏈與人工智能、大數據、物聯網等技術的深度融合,加快區塊鏈技術創新、應用創新、模式創新,建設有全國影響力的區塊鏈創新發展集聚區。構建湖北特色“智信、智管、智理”區塊鏈應用服務生態,打造運營集中化、操作規范化、管理可視化的區塊鏈能力平臺。實施智能化傳感器規模化部署工程。建設湖北區塊鏈服務網絡。(財聯社)[2021/4/12 20:09:46]
文本到圖像的 AIGC:文本到圖像 AIGC 允許用戶基于文本輸入來生成圖像,允許通過書面描述創建對應的視覺內容。它可以被看作是自然語言處理和計算機視覺技術的結合。如圖1所示,文本到圖像的 AIGC 可以幫助移動用戶進行各種活動。例如,車聯網中的用戶可以請求基于視覺的路徑規劃,此外,文本到圖像的 AIGC還 可以幫助用戶創建藝術,并根據用戶的描述或關鍵字創作各種風格的圖片。
文本到 3D 的 AIGC:文本到 3D AIGC 可以通過使用無線AR應用程序從文本描述生成3D模型。通常,生成3D模型比生成2D圖像需要更高的計算資源。考慮到下一代互聯網服務的發展,如元宇宙,基于文本來生成3D模型而無需復雜的手工設計,未來將會有非常大的應用潛力。
圖像到圖像的 AIGC:指使用人工智能模型從源圖像中生成真實的圖像,或創建輸入圖像的程式化版本。例如,當涉及到輔助藝術品創作時,圖像到圖像的 AIGC 可以僅根據用戶輸入的草圖生成視覺上令人滿意的圖片。此外,圖像到圖像的 AIGC 還可以用于圖像編輯服務,比如用戶可以刪除一個圖像中的遮擋或修復損壞的圖像。
與音頻相關的 AIGC:與音頻相關的AIGC模型可以分析、分類和操作音頻信號,包括語音和音樂。具體來說,文本到語音模型的設計是為了從文本輸入中合成自然的語音。音樂生成模式可以綜合各種風格和流派的音樂。視聽音樂的生成包括使用音頻和視覺信息,如音樂視頻或專輯藝術作品,以生成與特定視覺風格或主題更緊密相關的音樂作品。此外,與音頻相關的 AIGC 可以作為語音助手,回答用戶的查詢。Alexa 和 Siri 是現實應用程序的例子。
鑒于 AIGC 模型的強大能力,在無線邊緣網絡中部署 AaaS 存在幾個挑戰,下面將介紹這些挑戰。
在本節中,我們將詳細討論AaaS,包括挑戰和性能指標。
為了在無線邊緣網絡中部署 AaaS,ASPs 首先應該在大數據集上訓練 AIGC 模型。AIGC 模型和邊緣網絡生成技術中的應用程序擴散模型需要托管在邊緣服務器上,并且可以被用戶訪問。需要持續的維護和更新,以確保 AIGC 模型在生成高質量內容方面保持準確和有效。用戶可以提交內容生成請求,并從 ASPs 租用的邊緣服務器接收生成的內容。盡管在無線邊緣網絡中部署 AaaS 有優點,但仍有相應的挑戰需要解決:
帶寬消耗:AIGC 消耗了大量的帶寬。特別是對于與高分辨率圖像相關的 AaaS,上傳和下載過程都需要大量的網絡資源來實現,來確保低延遲的服務。例如,在壁紙天堂應用中,一個人工智能生成的壁紙的數據大小可以達到10兆字節左右。此外,由于生成的圖像的多樣性,用戶可能為了獲得滿意的圖像,向特定的邊緣服務器進行多次重復請求,進一步消耗網絡資源。
時變頻道質量:AaaS 中的 QoS 會受到生成內容的無線傳輸影響。低信噪比(SNR)、低中斷概率(OP)和高誤碼概率(BEP)會降低 AIGC 服務的 QoS 和用戶滿意度,這是時變信道偶爾遇到深度衰落時造成的。
用于訓練 AIGC 模型的數據集:用于訓練 AIGC 模型的數據集可能會影響生成內容的質量。由于不同的 ASPs 有不同的 AIGC 模型,用戶可以被分配到合適的 ASPs 來滿足他們的需求。例如,使用了更多的人臉圖像進行訓練的 AIGC 模型將比使用其他數據集進行訓練的 AIGC 模型更適合生成虛擬化身。
動態 | 報告:區塊鏈正成為全球技術發展的前沿陣地:據中國新聞網報道,15日發布的《2019北京民營企業科技創新百強調研分析報告》顯示,區塊鏈正成為全球技術發展的前沿陣地。2018年,科技創新百強中有14家企業已在區塊鏈技術研發、運用等領域進行投入并取得成效,比如利用區塊鏈技術服務金融、醫療、游戲、知識產權等行業。[2019/11/16]
計算資源消耗:訓練有素的 AIGC 模型在生成內容時仍然消耗一定的時間和計算資源,例如,擴散模型AaaS的輸出質量隨著推理步驟數的增加而增加。
l 效用最大化和激勵機制:激勵機制的設計在 AaaS 中具有重要意義,因為它可以激勵 ASPs 生成高質量的內容,滿足期望的目標和目標。
解決上述挑戰的一個常見問題是如何評估 AIGC 的性能。雖然目前市面上已經提出了許多不同模式的評估指標,但大多數都是基于人工智能模型或者本身難以計算,沒有數學表達式。對于無線網絡中 AaaS 的優化設計,基于人工智能的資源分配解決方案可以利用基于人工智能的性能指標來模擬對用戶的主觀感受。然而,傳統的數學資源分配方案需要有對計算資源消耗的關系,如擴散模型中的推理步數與生成內容的質量之間的關系進行建模,如圖2所示。為了解決這一問題,我們以與圖像相關的 AaaS 為例,引入了各種性能評價指標,并探討了度量值之間的數學關系。
我們首先討論 AIGC 的評估指標。我們專注于評估圖像的感知質量,但同樣的方法也可以應用于其他類型的內容,我們還建立了 AaaS 中計算資源消耗與生成內容質量之間的關系。
1) 基于圖像的指標:圖像質量評估指標可以是基于分布的和基于圖像的。基于分布的度量標準,例如,弗雷切特初始距離,取一個圖像特征列表來計算分布之間的距離,以評估生成的圖像。然而,對于無線網絡中的實際 AaaS,質量評價是主觀的,用戶很難計算出基于分布的指標。因此,我們關注基于圖像的指標,試圖通過建模人類視覺系統的生理和心理視覺特征,或通過信號保真度度量來實現對質量預測的一致性。具體來說,如果不以原始圖像作為參考,無參考圖像質量評價方法可以被認為是:
全分辨(TV):TV 是對圖像平滑度的一種度量。計算全分辨的一種常見方法是取圖像中相鄰樣本之間的絕對值之和,它衡量了圖像的“粗糙度”或“不連續性”。
無參考的空間域圖像質量評估(BRISQUE):BRISQUE 用局部歸一化亮度系數的場景統計數據來量化由于失真而可能造成的圖像“自然性”損失,研究表明,BRISQUE 表現與人類對圖像質量的感知類似。
圖像質量越高,TV 值越小,對于有參考圖像的 AaaS,我們可以使用全參考圖像質量的評價方法:
離散余弦變換圖像質量評價(DSS):DSS 通過測量離散余弦變換(DCT)域的結構信息變化,利用人類視覺感知的基本特征,對這些次頻帶的質量進行加權計算。
基于Haar小波的感知相似性指數(HaarPSI): HaarPSI利用從Haar小波分解得到的系數來評估兩幅圖像之間的局部相似性,以及圖像區域的相對重要性。
平均偏差相似指標(MDSI): MDSI 利用梯度相似度、色度相似度和偏差池等,是一個可靠和完整的參考感知圖像質量評估的模型。
視覺信息保真度(VIF): VIF 是一種有競爭力的測量保真度的方法,它量化了參考圖像中的信息,以及從失真圖像中可以提取多少參考信息。
圖像質量越高,上述衡量圖像質量的度量值就越高。
2) 感知圖像質量度量值的一般模型:基于擴散模型的 AIGC 模型正在成為主流。如圖1的所示,擴散過程可以看作是一個逐級去噪的過程。因此,增加推理步驟的數量將提高感知圖像的質量。然而,生成的圖像質量并不總是隨著步驟數的增加而增加。過度的推理步驟會導致不必要的資源消耗。我們進行了真實的實驗來調查推理步驟數和各種感知圖像質量指標之間的關系,即TV、BRISQUE、DSS、HaarPSI、MDSI 和 VIF。
聲音 | 萊特幣核心開發者:萊特幣希望引領前沿區塊鏈技術的應用:此前消息,萊特幣SegWit的使用率于9月19日達到75%的峰值,并創下該指標的歷史新高。萊特幣核心開發者Loshan就此評論道:“萊特幣引領了SegWit技術的發展。在未來,我們希望引領前沿區塊鏈技術的應用。”(AMBCrypto)[2019/9/21]
實驗平臺建立在一個通用的 Ubuntu 20.04 系統上,AMD 銳龍Threadripper PRO 3975WX 處理器規格和NVIDIA RTX A5000 的GPU。我們以基于擴散模型的損壞圖像恢復服務作為 AaaS為例子。具體來說,我們在服務器上部署了中提出的訓練有素的模型 RePaint。如圖2(A部分)所示,我們首先生成一系列損壞的圖像,例如20張圖像。然后,將這些損壞的圖像輸入“重新繪制”。我們可以觀察到,隨著推理的進行,損壞的圖像逐漸恢復,如圖2(D部分)所示。此外,衡量圖像質量的BRISQUE度量值下降,如圖2(B部分)所示。我們在圖3中展示了在不同的時間和推理步驟下的各個度量值的變化。
圖2:用于修復損壞的圖像的AaaS示例
圖3. 推理步驟的數量與不同感知圖像質量指標之間的關系
因此,我們給出了一個包含四個參數的感知圖像質量度量的一般模型,如圖3的頂部所示。具體來說,Ax是圖像質量開始提高時的最小推理步驟數,Ay是圖像質量的下限,可以視為高噪聲圖像的評價值,Bx是根據 AIGC 模型的能力而使圖像質量開始穩定時的推理步驟數,By是模型所能達到的最高圖像質量的值。無論性能度量值與圖像質量成正比還是成反比,無論AaaS類型如何,我們都可以很容易地通過實驗找到點(Ax,Ay)和(Bx,By),如圖3所示。
經驗教訓:盡管擴散過程存在固有的不確定性,但從圖3中我們可以觀察到,感知到的圖像質量隨著推理步驟的增加而近似成比例的增加或下降。在實際的 AIGC 模型分析中,我們可以用圖3所示的簡單擬合方法對一個性能度量進行實驗,得到我們提出的一般數學模型中的四個參數。然后,該模型可用于無線邊緣網絡支持的 AIGC 服務分析。
在本節中,我們研究了最優的 ASPs 邊緣服務器選擇問題。我們提出了一個支持 DRL 的解決方案,以最大化實用功能,同時滿足用戶的需求。
如我們的演示圖2 (E部分)所示,三個用戶分別在兩個圖像修復 AIGC 模型中進行選擇,在 CelebA-HQ 和 Places2 數據集上進行訓練。用戶1和用戶2上傳了相同的損壞圖像,我們可以觀察到不同的 AIGC 模型對于相同的用戶任務會產生不同的結果。
進一步研究了在無線邊緣網絡中大規模部署 AaaS 的情況,模擬設置了20個AIGC服務提供商(ASPs)和1000個邊緣用戶。每個 ASPs 為 AaaS 提供最大的資源容量,即在一個時間窗口內的總擴散步數,在 600 到1500 范圍內隨機,每個用戶在不同的時間向 ASPs 提交多個 AIGC 任務請求。這些任務指定了其所需要的 AIGC 資源的數量,即擴散步數,我們將其設置為一個在100到250之間的隨機值,用戶任務的到達情況遵循泊松分布。具體來說,在288小時內,用戶任務到達速率λ=0.288h/請求,總共有1000個任務。需要注意的是,由不同的 ASPs提供的AIGC模型的質量是不同的,例如,修復后的圖像可以更真實和自然。
一個簡單但不太有效的 ASPs 選擇是,用戶將任務請求直接發送到生成內容質量最好的 ASPs。然而,由于計算資源不足和實踐中任務可能中斷,這種方法不可避免地使一些 ASPs 過載,此外,用戶此時也不知道 ASPs 生成內容的質量。移動用戶需要多次要求 ASPs 來估計生成內容的質量,以進行近似選擇,這帶來了不必要的負載和無線網絡資源消耗。為此,在生成內容質量未知的前提下,如何為用戶任務選擇合適的 ASPs,最大限度地提高整個系統的效用,減少集中某個 ASPs 造成的 AIGC 資源過載和中斷問題,是一個具有挑戰性但又非常重要的問題。
動態 | 西南交大大力開展區塊鏈等前沿技術研究:據南充新聞網報道,近日,教育部公布的2018年度普通高等學校本科專業備案和審批結果,人工智能專業被列入新增審批本科專業名單,國內35所高校獲得人工智能專業獲首批建設資格,其中西南交大重視人工智能與軌道交通、信息、數學、機械、電氣、醫學等學科專業教育的交叉融合,大力開展智能交通、大數據智能、智能制造、智能電網、云計算、區塊鏈等基礎理論、前沿技術的研究,已取得一系列重要的學術和應用成果。[2019/4/6]
我們使用 Soft Actor-Critic(SAC軟行為者-批評者)DRL 來解決上述動態 ASPs 選擇問題。如圖4所示,學習過程在評估(批評者)和改進(行為者)之間交替進行。與傳統的行為者-批評者體系結構不同,SAC 中的策略被訓練為最大限度地在預期回報和信息熵之間進行權衡。AaaS環境中的狀態空間、動作空間和獎勵的定義如下:
圖4:The structure of soft actor–critic DRL algorithm.
狀態:狀態空間由兩部分組成,(a) 到達的用戶任務的特征向量(當前用戶任務對AIGC資源的需求和任務的估計完成時間;(b) 當前狀態下所有 ASPs 的特征向量(i個 ASPs 的總 AIGC 資源和第i個 ASPs 的當前可用資源)。
動態:ASPs 選擇問題的動態空間是一個表示所選 ASPs 的整數。
獎勵:包括兩部分,生成內容的質量獎勵和擁塞懲罰。前者被定義為修復后的圖像的感知質量。此外,任何超載 AIGC 模型的操作都必須作進行懲罰。首先,行為本身應該受到固定的懲罰。其次,考慮到操作原因會導致 ASPs 的模型崩潰,并且正在運行的任務將被中斷,當前的操作也會根據正在進行的任務的進度受到額外的懲罰。返回的總回報是質量獎勵減去擁塞懲罰。
圖5顯示了啟用了 DRL 后的 ASPs 選擇策略和四個基準測試策略的效用曲線(即獎勵曲線)。由于 DRL 可以學習和進化,隨著學習步驟的進展,DRL 對 ASPs 的選擇更全面、更準確。因此,效用迅速上升,顯示出獨特的學習能力。一個有趣的發現是,當DRL超過循環時,DRL已經有了一個特定的負載平衡能力,此時,DRL已經學會了避免可能導致崩潰的操作,從而避免了擁塞懲罰。然后,DRL開始學習不同的 ASPs 的優先級,并尋求將當前的用戶任務放在高質量的 ASPs 上,以最大化獎勵。
圖5:獎勵值與DRL中迭代次數的關系
圖6計算了五種策略下 AIGC 任務崩潰的數量、已完成任務的平均獎勵和崩潰任務的數量。一方面,啟用了 DRL 的 ASPs 選擇策略可以實現零任務崩潰,并將擁塞懲罰最小化,這對于為用戶提供令人滿意的生成內容質量至關重要。另一方面,DRL 策略可以了解 ASPs 可能提供的內容質量,而這在其他策略中是未知的。然后,DRL 可以將用戶任務分配給能夠提供更高 QoS 的 ASPs,從而有效地增加每個任務的平均獎勵。以上兩個優勢的結合最終使得 DRL下的 ASPs 選擇策略能獲得更高的獎勵。
圖6:五種策略下的任務崩潰的數量、已完成任務的平均獎勵和崩潰任務統計
在無線網絡中部署 AaaS 時,來自用戶的請求和生成的內容都是在無線環境中傳輸的。因此,需要研究 AIGC 的安全技術,例如,通過改進物理層安全技術來保護 AIGC 數據的傳輸,此外,區塊鏈可以用于實現分布式的內容分發,允許在用戶之間直接共享和訪問內容,而不需要一個中央節點。通過區塊鏈驗證 AIGC 的真實性和來源,確保 AIGC 的準確和可信。此外,在 AIGC 模型的訓練過程中,需要保證訓練數據的隱私性,特別是生物特征數據,如人臉圖像等數據的安全,一種可能的解決方案是通過 federated learning 模型來進行訓練。
考慮到傳感技術的快速發展,我們的目標是利用無線傳感信號實現無源 AaaS。例如,無線傳感器可以收集有關環境或用戶行為的數據,然后可以將這些數據輸入到 AIGC 模型中,以生成相關的內容,這可以被應用到醫療保健,比如借助使用物聯網設備,通過無線傳感來檢測用戶的活動水平、睡眠模式或心率,AIGC 可以生成個性化鍛煉計劃等內容。
雖然目前的 AIGC 模型可以通過定制化來滿足用戶的需求,但還需要更多的研究來實現個性化的AIGC服務。例如,對于文本到圖像的 AaaS,當兩個用戶都輸入文本“一只猴子站在一只斑馬旁邊”時,當前的 ASPs 會為用戶生成類似的圖像,但是,如果我們推斷這兩個用戶分別是馴馬師和猴子研究者,我們就可以進行個性化的計算資源分配。具體來說,應該分配更多的計算資源來為馴馬師生成和傳輸圖像中的斑馬。對于猴子研究人員來說,更適合生成猴子圖像的 AIGC 模型應該被分配來處理這個任務。一個潛在的解決方案是將用戶反饋和偏好納入到內容生成過程中,并開發評估個性化內容有效性的技術。
在本文中,我們回顧了 AIGC 技術,并討論了其在無線網絡中的應用。為了向用戶提供 AIGC服務,我們提出了 AaaS的 概念。然后,討論了在無線網絡中部署 AaaS 所面臨的挑戰。在解決這些挑戰時,一個基本的問題是關于資源消耗和生成內容的感知質量之間的數學關系。在探索了各種基于圖像的性能評價指標之后,我們提出了一個通用的建模方程,此外,我們還研究了重要的 ASPs 選擇問題。采用DRL算法實現了接最優的 ASPs 選擇,我們希望本文能夠激勵研究人員為無線邊緣網絡感知的 AaaS 發展做出貢獻。
參考目錄:
L. Yunjiu, W. Wei, and Y. Zheng, “Artificial intelligence-generated and human expert-designed vocabulary tests: A comparative study,” SAGE Open, vol. 12, no. 1, Jan. 2022.
M. Chen, A. Radford, R. Child, J. Wu, H. Jun, D. Luan, and I. Sutskever,“Generative pretraining from pixels,” in Proc. Int. Conf. Mach. Learn.PMLR, 2020, pp. 1691–1703.
J. Guo, S. Lu, H. Cai, W. Zhang, Y. Yu, and J. Wang, “Long text generation via adversarial training with leaked information,” in Proc.AAAI Conf. Artif. Intell., vol. 32, no. 1, 2018.
T. Karras, T. Aila, S. Laine, and J. Lehtinen, “Progressive growing of gans for improved quality, stability, and variation,” in Proc. Int. Conf.Mach. Learn., 2018.
X. Huang, M.-Y. Liu, S. Belongie, and J. Kautz, “Multimodal unsupervised image-to-image translation,” in Proc. Eur. Conf. Comput. Vis.,2018, pp. 172–189.
W. Ping, K. Peng, K. Zhao, and Z. Song, “WaveFlow: A compact flowbased model for raw audio,” in Proc. Int. Conf. Mach. Learn. PMLR,2020, pp. 7706–7716.
L. Floridi and M. Chiriatti, “GPT-3: Its nature, scope, limits, and consequences,” Minds Mach., vol. 30, no. 4, pp. 681–694, Apr. 2020.
P. Dhariwal and A. Nichol, “Diffusion models beat GANs on image synthesis,” Adv. Neural Inf. Process. Syst., vol. 34, pp. 8780–8794, 2021.
G. Harshvardhan, M. K. Gourisaria, M. Pandey, and S. S. Rautaray,“A comprehensive survey and analysis of generative models in machine learning,” Comput. Sci. Rev., vol. 38, p. 100285, 2020.
H. Du, J. Liu, D. Niyato, J. Kang, Z. Xiong, J. Zhang, and D. I. Kim,“Attention-aware resource allocation and QoE analysis for metaverse xURLLC services,” arXiv preprint arXiv:2208.05438, 2022.
S. Kastryulin, D. Zakirov, and D. Prokopenko, “PyTorch Image Quality:Metrics and measure for image quality assessment,” 2019, opensource software available at https://github.com/photosynthesis-team/piq.[Online]. Available:https://github.com/photosynthesis-team/piq
A. Mittal, A. K. Moorthy, and A. C. Bovik, “No-reference image quality assessment in the spatial domain,” IEEE Trans. Image Process., vol. 21,no. 12, pp. 4695–4708, Dec. 2012.
L. Gatys, A. Ecker, and M. Bethge, “A neural algorithm of artistic style,”J. Vis., vol. 16, no. 12, pp. 326–326, Dec. 2016.
A. Lugmayr, M. Danelljan, A. Romero, F. Yu, R. Timofte, and L. Van Gool, “Repaint: Inpainting using denoising diffusion probabilisticmodels,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2022, pp.11 461–11 471.
P. Christodoulou, “Soft actor-critic for discrete action settings,” arXiv preprint arXiv:1910.07207, 2019.
DeFi之道
個人專欄
閱讀更多
金色財經
金色早8點
澎湃新聞
Odaily星球日報
Arcane Labs
深潮TechFlow
歐科云鏈
鏈得得
MarsBit
BTCStudy
加密貨幣市場經常隨著敘事的變幻而波動,以下是我正在密切關注的 2023 年 10 個潛在敘事和催化劑.
1900/1/1 0:00:002022年1月,奢侈品品牌Prada與阿迪達斯玩了一把“聯合營銷”。玩法是這樣的。首先,兩個品牌邀請粉絲上傳個人照片,然后,品牌抽取3000名粉絲的作品,交由數字藝術家Zach Lieberma.
1900/1/1 0:00:00近年來,隨著虛擬貨幣的迅速發展,全球各地區相繼出臺了不同的監管政策,郭律師團隊為大家收集了相關新聞簡訊,整理了“全球對虛擬貨幣的政策”系列文章,帶大家了解全球各地區對虛擬貨幣的監管態度.
1900/1/1 0:00:00撰文:Lookonchain 編譯:Azuma 或受益于以太坊上海升級的臨近,Lido(LDO)近期在二級市場的表現相當搶眼.
1900/1/1 0:00:00元宇宙在近幾年受到極大關注,許多資金涌入這一領域,促使新的獨角獸不斷產生。這些備受關注的元宇宙獨角獸包括了Mythical Games、Animoca Brands、小冰公司和Epic Game.
1900/1/1 0:00:00原文作者:追風 Lab 在廣義的理解中,區塊鏈是比特幣的底層技術,它一共有六層架構:數據層、網絡層、共識層、激勵層、合約層和應用層.
1900/1/1 0:00:00