他本是一位普普通通的高中教師,卻活生生養出一個估值40億美元獨角獸。
而且方法也是非常的獨特——
打造了世界最大的免費開源數據集,卻從未從中收取過一分錢,也婉拒了各類工作的邀請。
他叫舒曼,在德國漢堡市的高中教物理和計算機科學。
兩年前他創立了LAION(相當于CLIP圖文數據集),如今被用于各種生成模型,包括谷歌Imagen、Parti,以及驚艷全球的Stable Diffusion。
就連Stable Diffuision背后公司Stability AI的創始人曾親自來送錢時,他都表現出嗤之以鼻的樣子,認定“這個人一定是瘋了”。
或許他怎么也沒想到,只不過兩年前靈機一動,就帶來了生成式AI的劇變。
2021年新年之際,OpenAI重磅推出DALL-E,GPT-3首次成功實現跨界:
只需對著它說上一段話,就能生成對應圖片。
一時間風光無兩,吳恩達在內的科技大佬們都激動了,網友們都稱其為甲方克星。
某Meta Mask關聯地址通過Staked.us質押62240枚ETH:4月25日消息,Lookonchain監測數據顯示,某Meta Mask關聯地址通過Staked.us質押62240枚ETH(約1.14億美元)。[2023/4/25 14:25:11]
但在德國漢堡市郊區的一間房屋內,這位高中教師舒曼(Christoph Schuhmann)卻產生了對數據私有化的擔憂:
如果這一切都集中在一家、兩家或三家公司,那將對社會產生非常糟糕的影響。
當時,OpenAI發表了背后關鍵模型CLIP的論文。論文中顯示,CLIP在4億個圖像-文本對上進行了預訓練,在沒有精細調整的情況下,最終在各種多模態基準中實現高性能。
由此可見數據集對于CLIP的重要性,但OpenAI并沒有進行公開,它只開源了CLIP的代碼和模型權重。
(看來從那時候就已經變得Close了)
于是乎,舒曼就開始在Discord網羅了一群同為AI愛好者的朋友,嘗試復制OpenAI同等水平的「文本-圖像對」數據集。
火必與新火科技旗下MPC自托管平臺達成OpenLoop清結算網絡合作:4月14日消息,新火科技控股有限公司(1611.HK)旗下MPC自托管平臺宣布正式與加密資產交易平臺火必Huobi達成Openloop清結算網絡合作,通過此次合作,將有效幫助用戶實現資金安全托管與交易行為分離,使得用戶自有資金可以在不離開自托管賬戶的情況下完成交易,提升用戶資產安全。
據悉,雙方此次合作將進一步加速推動數字資產安全領域的發展。[2023/4/14 14:04:56]
沒想到這一搞就搞了大半年,直到2021年8月他們首次發布了LAION-400M數據集,里面包含了4.13億圖像-文本對。
回顧整個創建過程,舒曼對彭博社這樣形容:
就像是用數百萬張抽認卡來教一個人一門外語。
他們用一個非盈利組織Common Crawl在2014年到2021年期間,抓取的隨機HTML代碼來定位網絡上的圖像,并將這些圖像與描述性文本聯系起來,最后還得根據一定規則來過濾掉不適合的樣本。
比如,刪除了所有文本長度少于五個字符;圖像小于5KB的的樣本;關鍵字帶有NSFW的……幾周之內,他們就擁有了300萬對圖文對。
觀點:散戶投資者已基本退出比特幣投資:10月22日消息,區塊鏈協會執行董事Kristin Smith在接受CNBC采訪時指出,與其他月份相比,當前比特幣的波動性似乎趨于穩定。主要原因是散戶投資者已基本退出比特幣投資,他們目前沒有能力將多余的錢投入比特幣。但是她認為,現在仍在投資比特幣的投資者將會長期堅持下去。
Kristin Smith表示:“隨著我們開始看到經濟復蘇,人們將更多風險投入到他們的投資組合中,我們將看到對比特幣的投資增加,隨后價格上漲。”(Finbold)[2022/10/23 16:35:43]
數據集發布之后就收到了各種反響,被用于諸多論文和實驗。其中最具代表性的,就是Google Brain去年(2022)發布的Imagen——文本生成圖像的擴散模型。
與此同時,更多機構開始關注到這個非盈利組織并給予資金支持。2021年他們就收到了HuggingFace的一次性捐贈。
但印象最深的一次,還要屬一個對沖基金經理來到Discord聊天室。
美股三大股指期貨小幅上揚:金色財經報道,行情顯示,美股三大股指期貨小幅上揚,道指期貨、標普500指數期貨漲約0.2%,納指期貨漲0.1%。[2022/10/14 14:28:00]
當時他二話不說直接送錢,大概意思是:我給你們支付算力費用,沒有任何附加條件。
舒曼團隊對這個行為嗤之以鼻,甚至覺得他是個瘋子:
一開始我們非常懷疑,但大概一個月后,我們獲得了價值近1萬美元的云計算服務。
后來,這個所謂的“瘋子”創辦了Stability AI,使用LAION數據集推出了Stable Diffusion,引領了生成式AI的浪潮,順便還拐走了LAION組織的兩個研究人員。
如今Stability AI正在尋求40億美元(折合276億元)估值,這主要歸功于LAION提供的數據。
據彭博社消息,舒曼卻并沒有從LAION中獲利,原因很簡單:不感興趣,希望保持這份工作的獨立性。
因此他還婉拒了各類工作邀請,依舊選擇在德國漢堡當一名普普通通的高中老師。
即便如此,隨著LAION知名度打響,他還是避免不了地卷入到各種紛擾之中。
歐洲央行已同意在10月初就縮表展開討論:9月9日消息,據英國金融時報:歐洲央行已同意在10月初就縮表展開討論。[2022/9/9 13:20:22]
目前,LAION已經發布了10項數據集,最具代表性的就是去年3月發布的LAION-5B,由58.5億個圖像文本組成,是當前最大的免費開源數據集。
作為LAION-400M的繼任者,它收到了來自HuggingFace、Stability AI以及Doodlebot資助。
結果一發布就遭到了不小的爭議,網友們紛紛質疑其數據未經整理,導致充斥大量的非法內容,對此LAION工程師Romain Beaumont回應:
非標注數據集是自我監督學習的基礎,這是機器學習的未來。沒有人工標注的圖像/文本是一項功能,而非錯誤。
早在Imagen發布時,也專門針對LAION-400M做出警示:因為依賴于這種未經整理的網絡數據, 集成了大模型的社會偏見和限制,因此不適合公開使用。
據彭博社消息,為了打造LAION,舒曼團隊從亞馬遜網絡服務、Shopify等公司獲取視覺數據,還有包括YouTube縮略圖、各類新聞網站上的內容。
對此舒曼表示,任何在網上免費提供的東西都是公平競爭,歐盟也沒有人工智能法規。
更何況,也沒有人知道OpenAI實際上用什么樣的數據集訓練AI的。
目前,LAION被迫卷入兩場訴訟之中,一起是Stability AI與Midjourney等集體訴訟,被指使用藝術家的版權圖片來訓練他們的模型;
另一起是Getty Images起訴Stability AI,稱其1200萬張照片被LAION取走,并用來訓練Stable Diffusion。
而舒曼將LAION比作大信息技術海嘯之上一艘“小型研究船”,采取海下的樣本向世界展示。
其實早在構建數據庫時,他們就在運行一個自動化過濾工具,不過舒曼感興趣的不是清理,而是從這些資產中學習。
我們本可以從公布的數據中過濾掉暴力,但我們決定不這樣做,因為這將加快暴力檢測軟件的開發。
現在更多關于監管的建議在推動,各個科技大廠也在采取相應的措施,比如英偉達就開源了護欄工具,來防止大模型來胡說八道。
但在舒曼看來,數據集不應該被監控。這也正是當時創建LAION時候的初心。
他還警告,如果我們試圖放慢速度、過度監管,就會有很大的危險,最終只有少數大公司能負擔得起所有的正式要求。
前段時間,在LAION與全球志愿者的合力之下,他們完成了ChatGPT最大開源平替OpenAssistant的發布。
60萬余條訓練數據全部由人工生成,涵蓋了廣泛的話題和語言風格,一時間引發眾人關注,HuggingFace也直接拿來用來構建它自己的聊天軟件HuggingChat。
不可否認的是,他已經在用開源數據集,加劇了生成式AI的浪潮。
但在舒曼的個人網站上,看到的只是一位兩個孩子的父親,在德國當著終身制公務員,游走于中學校之間講授物理和計算機科學。
舒曼擁有維也納大學計算機科學與物理學學位。在學習這兩個專業之前,他還學了心理學。(大概完成了50%的學士學位然后就轉專業了)。
除此之外,他還在學習表演,制作了一部關于孩子學習的紀錄片「Schools of Trust」。
最近,這位高中教師也沒閑著,他還將作為2023年智源大會嘉賓參與邀請報告與線上論壇環節。
參考鏈接:https://laion.ai/blog/laion-400-open-dataset/https://www.bloomberg.com/news/features/2023-04-24/a-high-school-teacher-s-free-image-database-powers-ai-unicornshttp://christoph-schuhmann.de/https://www.infoq.com/news/2022/05/laion-5b-image-text-dataset/https://laion.ai/projects/
來源:元宇宙之心
元宇宙之心
企業專欄
閱讀更多
金色薦讀
金色財經 善歐巴
Chainlink預言機
區塊律動BlockBeats
白話區塊鏈
金色早8點
Odaily星球日報
歐科云鏈
MarsBit
深潮TechFlow
地平線上似乎出現了一個新的“紀元”。在加密之旅中,每隔一段時間,開拓者就會發現一種新的原語,從而改變整個行業的格局.
1900/1/1 0:00:00文/Laurel Murphy,Coincub撰稿人;譯/金色財經xiaozou1、美國和英國的銀行正(再一次)引發市場焦慮(1)加密友好型銀行的地理位置分布 (2)銀行亂局 Si.
1900/1/1 0:00:00作者:themlpx 本文將會簡要介紹以太坊的取款機制、如何理解取款數據、要研究的關鍵指標以及需要避免的誤解。主要參考的是 @nansen_ai 的數據,但也會在適當的時候分享其它數據來源.
1900/1/1 0:00:00原文作者:ThorHartvigsen, 加密 KOL四月份,部分 VC 和聰明錢有一些大的投資組合變化.
1900/1/1 0:00:00不知是美國證交會(SEC)近來一系列加密監管舉措引發了行業眾怒,還是中國香港等地區在這一領域奮起直追讓“老大哥”感受到了壓力,美國立法者在加密監管方面終于有了一些實質性的新進展.
1900/1/1 0:00:00時間:2023年5月4日 21:00(UTC+8) 主持人:baiyu 與談人:胡翌霖 嘉賓介紹:胡翌霖,清華大學科學史系副教授。北京大學哲學系博士。研究方向為技術史與技術哲學、媒介環境學.
1900/1/1 0:00:00