MAG:橫跨6種模態 Meta開源AI模型ImageBind 為虛擬世界打開大門

來源：《科創板日報》

編輯宋子喬

當地時間5月9日，Meta宣布開源了一種可以將可以橫跨6種不同模態的全新AI模型ImageBind，包括視覺、溫度、文本、音頻、深度信息、運動讀數。目前，相關源代碼已托管至GitHub。

何為橫跨6種模態？

即以視覺為核心，ImageBind可做到6個模態之間任意的理解和轉換。Meta展示了一些案例，如聽到狗叫畫出一只狗，同時給出對應的深度圖和文字描述；如輸入鳥的圖像+海浪的聲音，得到鳥在海邊的圖像。

AAVE社區已通過“原生穩定幣GHO初始流動資金池”提案的臨時檢查投票:6月25日消息，Snapshot投票頁面顯示，AAVE社區關于“GHO（Aave原生穩定幣）流動資金池”提案的臨時檢查投票以99.99%的支持率獲得通過。

提案表示，GHO預計將在不久的將來推出，本提案向社區展示了一個初步的流動性策略。該策略由主要和次要流動性池組成，并有可能在以后將一些流動性池包含在Aave安全模塊（SM）中。該提案提出了三個主要流動資金池：GHO/bb-a-USD（美元穩定幣流動性池）、LST/GHO、GHO/LUSD。在討論并就GHO流動性池達成一致后，下一步將準備一份關于調整流動性池規模的提案，并提出如何增加流動性的計劃。[2023/6/25 21:58:57]

安全公司：有攻擊者分發Win10 ISO鏡像，并在EFI分區中隱藏挖礦代碼:金色財經報道，網絡安全公司Dr. Web發文稱，發現有攻擊者分發Win10 ISO鏡像，并在EFI（可擴展固件接口）分區中隱藏挖礦代碼，可以躲避殺軟的監測。設備一旦感染之后就會監測進程資源管理器、任務管理器、進程監視器、進程等等，一旦發現剪貼板中的加密貨幣錢包地址，就會立即替換為攻擊者預設的地址。Dr. Web表示調查重定向的加密錢包地址，發現該錢包賬號上至少有價值19000美元的加密貨幣。

注：EFI分區是一個小型系統分區，其中包含在操作系統啟動之前執行的引導加載程序和相關文件。主流殺軟不會掃描EFI分區，因此惡意軟件可以繞過惡意軟件檢測。[2023/6/14 21:36:34]

而此前的多模態AI模型一般只支持一個或兩個模態，且不同模態之間難以進行互動和檢索。ImageBind無疑具有突破性意義，Meta稱，ImageBind是第一個能夠同時處理6種感官數據的AI模型，也是第一個在沒有明確監督的情況下學習一個單一嵌入空間的AI模型。

金融時報：美國國會至少還需幾個月才能通過加密監管法規:10月4日消息，拜登政府敦促美國國會加快通過加密法規，以澄清應如何監管加密貨幣。相關官員表示，美國國會延誤通過相關法規將會使投資者面臨風險，但據接近國會談判的消息人士稱，目前距離立法通過至少還有幾個月時間。

美國金融穩定監督委員會（FSOC）建議國會通過規則賦予聯邦市場監管機構制定現行美國證券法未涵蓋的加密資產市場規則的權力，這些規則涵蓋利益沖突、濫用交易行為、客戶資產隔離、網絡安全和記錄保存等領域，同時允許監管機構了解加密平臺子公司，并為穩定幣發行方創建聯邦監管框架。（金融時報）[2022/10/4 18:39:18]

ImageBind能做到這些，核心方法是把所有模態的數據放入統一的聯合嵌入空間，無需使用每種不同模態組合對數據進行訓練

先利用最近的大型視覺語言模型它將最近的大規模視覺語言模型的零樣本能力擴展到新的模態，它們與圖像的自然配對，如視頻-音頻和圖像-深度數據，來學習一個聯合嵌入空間。

而以圖像/視頻為中心訓練好AI后，對于原始數據中沒有直接聯系的模態，比如語音和熱量，ImageBind表現出涌現能力，把他們自發聯系起來。

有行業觀察者已經迫不及待地將ImageBind于元宇宙聯系在一起。

正如Meta的研究團隊所說，ImageBind為設計和體驗身臨其境的虛擬世界打開了大門。該團隊還表示，未來還將加入觸覺、語音、嗅覺和大腦功能磁共振信號，進一步探索多模態大模型的可能性，“人類可使用多種感官學習、了解世界，借助ImageBin，機器離人類又近了一步”。

值得注意的是，Meta還表示，ImageBind可以利用DINOv2強大的視覺功能進一步提高其能力。DINOv2是Meta開源的計算機視覺領域的預訓練大模型，同樣與Meta的元宇宙愿景密不可分，MetaCEO扎克伯格此前強調，DINOv2可以極大地加持元宇宙的建設，讓用戶在元宇宙中的沉浸體驗更出色。

盡管ImageBind目前只是研究項目，沒有直接的消費者用戶或實際應用。但可以想象的是，隨著ImageBind模型逐步完善，AI應用場景將進一步拓展，元宇宙建設也將更進一步。

比如當ImageBind融入虛擬現實設備，使用者能獲得更沉浸式的體驗，玩家進入游戲后不僅能感受游戲場景的溫度，還能感知物理層面上運動。

國盛證券分析師劉高暢此前大膽預測，1-5年內，隨著多模態的發展帶來AI泛化能力提升，通用視覺、通用機械臂、通用物流搬運機器人、行業服務機器人、真正的智能家居會進入生活。未來5-10年內，結合復雜多模態方案的大模型有望具備完備的與世界交互的能力，在通用機器人、虛擬現實等領域得到應用。

Tags：MAGBINMAGEINDmag幣還有嗎Bingo GameAIMAGEWINDY幣

USDT