人工智能 x 加密貨幣 - 承諾與現實

中級7/13/2024, 3:21:16 PM
AI+加密貨幣是最近加密貨幣市場中最值得注意的前沿領域之一。這包括去中心化的人工智能訓練、GPU DePINs和抗審查的人工智能模型。人工智能訓練的主要問題在於需要高速通信和GPU之間的協調,因為神經網絡在訓練過程中需要反向傳播。引入去中心化網絡可能會顯著減慢過程,因為網絡延遲和帶寬增加。本文還整理了對當前挑戰的解決方案,並提供了整合加密貨幣和人工智能可以增加顯著價值的示例。

人工智慧最近是加密貨幣市場中最炙手可熱且最有前途的領域之一。

💡去中心化的人工智能訓練

💡gpu depins

💡未經審查的人工智慧模型

這些是突破還是只是為了炒作?🤔

在 hack vc,我們正在努力剔除噪音,將承諾與現實分開。

這篇文章剖析了頂級加密 X AI 想法。讓我們討論真正的挑戰和機遇。

在現實中遇到挑戰的起初有希望的想法。

首先,讓我們從“Web3 AI 的承諾”開始 — 這些想法可能有相當多的炒作,但現實可能並不如此光鮮。

想法#1:去中心化的人工智能訓練

在鏈上進行AI訓練的問題在於訓練需要高速通信和GPU之間的協調,因為神經網絡在訓練時需要反向傳播。NVIDIA對此有兩項創新(NVLinkInfiniBand)这些技术有效地使GPU通信超级快速,但它们是仅适用于位于单个数据中心内的GPU集群的本地技术(50+千兆速度)

如果您在圖中引入了一個去中心化網絡,由於增加的網絡延遲和帶寬,您會突然變得慢了數量級。這對於人工智能訓練用例來說根本行不通,與您從英偉達在數據中心內獲得的吞吐量相比。

請注意,這裡已經有一些創新,可能會為未來帶來一些希望:

  • 通過InfiniBand進行分散式訓練正在以相當大的規模進行,因為Nvidia本身通過Nvidia集體通訊庫支援分散式、非本地訓練。然而,這仍然是新生事物,所以採用指標還有待確定。參見這裡。物理定律在距離上仍然存在瓶頸,因此通過InfiniBand進行本地訓練仍然顯著地更快。
  • 最近有一些關於分散式訓練的新研究發表了,該研究依賴較少的通信同步,有望使未來的分散式訓練更加實用。見這裡這裡.
  • 智能分片和模型訓練的排程安排可以幫助提高性能。同樣地,新的模型架構可能會在未來為分佈式基礎設施而獨特地設計(gensyn正在這些領域進行研究)。

培訓的數據組件也是具有挑戰性的。 任何人工智能訓練過程都涉及處理大量的數據。 通常,模型是在集中且安全的數據存儲系統上進行訓練,具有高可擴展性和性能。 這需要傳輸和處理數千兆字節的數據,而這不是一次性的循環。 數據通常存在噪聲和錯誤,因此必須在訓練模型之前將其清理並轉換為可用格式。 這個階段涉及到歸一化、過濾和處理缺失值等重複性任務。 在分散式環境中,這些都帶來了嚴重的挑戰。

訓練的數據組件也是迭代的,這對Web3不太適合。 OpenAI進行了數千次的迭代才達到其結果。 AI團隊中的數據科學專家最基本的任務場景包括定義目標、準備數據、分析和結構化數據以提取重要的見解並使其適合建模。然後,開發機器學習模型來解決定義的問題,使用測試數據集驗證其性能。這個過程是迭代的:如果當前模型的表現不如預期,專家就會返回到數據收集或模型訓練階段以改善結果。現在,想象一下在分散式環境中進行這個過程,在Web3中最好的現有框架和工具不容易獲得。

在區塊鏈上訓練AI模型的另一個問題是與推理相比,市場要少得多。目前,有大量的GPU計算用於AI LLN訓練。但從長遠來看,推理將成為GPU更普遍的使用情境(遠遠)超過AI LLN的訓練。考慮一下:有多少AI LLN需要被訓練才能讓世界滿意,與將使用這些模型的客戶數量相比?

在所有方面取得進展的一個解決方案是0g.ai(由hack vc支持),他們提供了鏈上數據存儲和數據可用性基礎設施。他們的超快架構和能夠在鏈上存儲大量數據的能力,使得任何類型的快速迭代鏈上AI模型訓練成為可能。

想法#2:利用過度冗餘的人工智能推理計算進行共識

加密貨幣X人工智慧的一個挑戰之一是驗證人工智慧推理的準確性,因為你不能完全相信單一的中央化方在進行推理時的準確性,因為節點的行為可能不當。這個挑戰在Web2人工智慧中並不存在,因為沒有分散式共識式系統。

解決這個問題的一個提議是冗餘計算,多個節點重複執行相同的ai推理操作,這樣你就可以在無需信任的情況下運行,不會有單點故障。

這種方法的問題在於,我們生活在一個高端AI晶元嚴重短缺的世界。高端英偉達晶元有多年的等待期,這會導致價格上漲。如果您(另外)要求在多個節點上多次重新執行 AI 推理,那麼您現在正在增加這些昂貴的成本。對於許多項目來說,這將是一個不可能的開始。

想法#3:Web3特定的AI使用案例在短期內

有人提出,Web3 應該具有其專屬的獨特 AI 應用案例,這些案例專門針對 Web3 客戶。例如,這可以是一個使用 AI 來對 DeFi 池進行風險評分的 Web3 協議,一個根據您的錢包歷史為您推薦新協議的 Web3 錢包,或者一個利用 AI 控制非玩家角色(NPC)的 Web3 遊戲。

就目前而言,這(在短期內)是一個新興市場,其中使用案例仍在被發現。一些挑戰包括:

  • Web3原生用例需要更少的潜在AI交易,因为市场需求仍处于起步阶段。
  • 客戶較少,因為Web3客戶相較於Web2客戶數量少得多,所以市場較不分散。
  • 由於它們是資金較少的新創企業,客戶本身較不穩定,因此其中一些新創企業可能會隨著時間消失。一家面向web3客戶的web3人工智能服務提供商很可能需要隨著時間重新獲得他們客戶群的一部分,以取代那些消失的客戶,使其更具挑戰性的業務擴展。

從長遠來看,我們非常看好 Web3 原生 AI 用例,尤其是在 AI 代理變得越來越普遍的情況下。我們想像一個未來,任何給定的 web3 使用者都有大量的 AI 代理協助他們。這方面的早期類別領導者是Theoriq(由 hack vc 支持),可使可組合和自治的鏈上人工智能代理。

想法 #4:消費級GPU去針

有許多分散式人工智慧計算網路依賴消費級 GPU,而不是資料中心。消費級 GPU 對於低端 AI 推論任務或消費者使用案例如延遲、吞吐量和可靠性靈活的情況下非常方便。但對於嚴肅的企業使用案例(這是市場大多數關注的部分),客戶希望相對於個人家用機器更高可靠性的網路,並且如果有更複雜的推論任務,通常需要更高端的 GPU。資料中心更適合這些更有價值的客戶使用案例。

請注意,我們認為消費級 GPU 對於示範目的或者能夠容忍較低可靠性的個人和初創企業來說是有用的。但這些客戶從根本上來說價值較低,因此我們認為為 Web2 企業提供服務的 GPU depins 在長遠來看將更有價值。因此,眾所周知的 GPU depin 項目通常從大部分是消費級硬件的早期發展為具有 A100/H100 和集群級可用性。

現實——加密貨幣 x 人工智能的實際和現實用例

現在,讓我們討論提供“實際好處”的使用案例。這些是實際的“勝利”,加密貨幣 x 人工智能可以為其增加顯著的價值。

真正的好處#1:為Web2客戶提供服務

mckinsey估計根據其分析的63個用例,生成AI每年可以增加相當於2.6萬億美元至4.4萬億美元的價值-相比之下,英國2021年的GDP總額為3.1萬億美元。這將使所有人工智能的影響增加15%至40%。如果考慮將生成AI嵌入到目前用於其他任務的軟件中,這一估計將大約增加一倍。

如果您對上述估計進行計算,意味著除了生成式人工智慧之外,人工智慧的整個市場價值可能達到數萬億美元,全球範圍內。相比之下,包括比特幣和每個替代幣在內的所有加密貨幣今天僅僅價值約2.7萬億美元。因此,讓我們真實地看待這個問題:在短期內需要人工智慧的絕大多數客戶將是Web2客戶,因為真正需要人工智慧的Web3客戶只是這2.7萬億美元的一小部分(考慮到比特幣佔了這個市場的一半,而比特幣本身不需要/使用人工智慧)。

web3 ai的用例才刚刚开始,目前还不清楚该市场的规模将会是多少。但有一点可以直观地确定,它将只是预见性未来web2市场规模的一小部分。我们相信web3 ai仍然有着光明的未来,但这只是意味着目前web3 ai最强大的应用是为web2客户提供服务。

假設可以從 Web3 AI 中受益的 Web2 客戶範例包括:

  • 從頭開始建立的垂直特定軟件公司,以人工智能為中心,(例如cedar.ai或observe.ai)
  • 為自身目的微調模型的大型企業(例如 Netflix)
  • 快速增長的人工智慧供應商(例如,Anthropic)
  • 將人工智慧灑在其現有產品中的軟體公司(例如,canva)

這是一個相對穩定的客戶人物,因為這些客戶通常是大型和有價值的。他們不太可能很快就破產,並且他們代表著人工智能服務的非常大的潛在客戶。為Web2客戶提供服務的Web3人工智能服務將從這個穩定的客戶基礎中受益。

但為什麼一個Web2客戶想要使用Web3堆棧?本文的其餘部分將提出這種情況。

真正的好處#2:通過GPU depins降低GPU使用成本

gpu depins Gate.io 未充分利用的 GPU 計算能力(其中最可靠的來自數據中心),並使其可用於 AI 推理(例如,io.net,這是hack vc管理的基金投資的一家投資組合公司。一個簡單的想法是將其視為“ GPU的Airbnb”(有效地,共享利用未充分利用的資產)。

我們對 GPU depins 感到興奮的原因是,如上所述,NVIDIA 芯片短缺,目前存在浪費的 GPU 週期可用於 AI 推理。這些硬體擁有者已經付出成本,但今天並未充分利用他們的設備,因此可以以比現狀低得多的成本提供這些部分 GPU 週期,因為對硬體擁有者來說,這實際上是“意外之財”。

例如:

  • aws機器。如果您今天要從aws租用h100,您將不得不承諾一年的租約,因為市場供應受限。這會產生浪費,因為您可能不會每年365天,每週7天都使用您的gpu。
  • filecoin挖礦硬件。filecoin是一個擁有大量補貼供應但缺乏重要需求的網絡。不幸的是,filecoin從未找到真正的產品市場契合點,因此filecoin礦工面臨破產的危險。這些機器上有GPU,可以重新用於較低端的AI推理任務。
  • 乙太幣挖礦硬體。當ETH從POW過渡到POS時,這立即提供了大量硬體,可以重新用於AI推理。

請注意,並非所有的 GPU 硬體都適合於 AI 推論。其中一個顯而易見的原因是,舊的 GPU 並沒有足夠的 GPU 記憶體來進行 LLMS,雖然已經有一些有趣的創新來幫助解決這個問題。艾克薩位, 例如,它具有將活躍神經元加載到 GPU 內存,並將非活躍神經元加載到 CPU 內存的技術。它們預測哪些神經元需要是活躍的/非活躍的。這使得低端 GPU 即使具有有限的 GPU 內存,也能處理 AI 工作負載。這有效地使低端 GPU 對於 AI 推理更有用。

请注意,在未来,Web3人工智能供应商需要加强其服务的安全性,并提供企业级服务,如单点登录、SOC 2合规性、服务级别协议(SLA)等。这将反映当前云服务中Web2客户目前享有的服务。

真正的好處#3:未經審查的模型,以避免OpenAI自我審查

人工智慧審查一直是討論的熱點。例如,土耳其曾暫時禁止OpenAI(後來在OpenAI改善其合規性後,他們才改變了立場)。我們認為這種國家層面的審查基本上是無趣的,因為國家需要擁抱人工智慧才能保持競爭力。

更有趣的是,OpenAI 自我審查。例如,OpenAI 將不處理不適宜內容,也不會預測下一屆總統選舉。我們認為,由於政治原因,OpenAI 將不觸及一個有趣且龐大的 AI 應用市場。

開源是一個很好的解決方案,因為 GitHub 回購不受股東或董事會的約束。這方面的一個例子是Venice.aiCrypto,它承諾保護您的隱私並以無審查的方式運作。關鍵當然是開源,這也是其動力所在。Web3人工智能能夠有效提升這一點,它可以在成本更低的GPU集群上運行這些開源軟件(OSS)模型以進行推論。出於這些原因,我們相信OSS + Web3是鋪平無審查人工智能道路的理想組合。

真正好處#4:避免將個人身份信息發送給OpenAI

許多大型企業對其內部企業數據存在隱私顧慮。對於這些客戶來說,將這些數據交給像OpenAI這樣的集中式第三方機構是非常困難的。

使用web3,對於這些企業來說,可能會讓他們感到更加害怕,因為他們的內部數據突然出現在一個去中心化的網絡上。然而,對於人工智能來說,也有一些創新的隱私增強技術。

這些技術仍在不斷發展,性能將通過即將推出的零知識(zk)和fhe asics進一步提高。但長期目標是在微調模型時保護企業數據。隨著這些協議的出現,Web3可能會成為更具吸引力的隱私保護AI計算場所。

真正的好處#5:利用開源模型的最新創新技術

在過去的幾十年裡,開源軟體一直在不斷侵蝕專有軟體的市場份額。我們認為LLM只是一種時髦的專有軟體,正適合被開源軟體顛覆。一些值得注意的挑戰者包括駱馬RWKV,和Mistral.ai. 這個列表隨著時間的推移無疑會不斷增長(更詳盡的列表可在此處獲得 Openrouter.ai透過利用由 OSS 模型驅動的 web3 AI,人們可以利用這些新創意。

我們相信隨著時間的推移,開源全球開發人力與加密貨幣激勵相結合,可以推動開源模型以及建立在其上的代理和框架的快速創新。一個AI代理協議的例子是Theoriq. theoriq利用oss模型創建可組合的互聯網ai代理網絡,可以組裝成更高層次的ai解決方案。

我們對此有信念的原因是因為過去的經驗:大多數的“開發人員軟體”都被開放原始碼軟體逐漸超越。微軟曾經是專有軟體公司,現在他們是貢獻最多的 GitHub 公司,這是有原因的。如果你看看 Databricks、PostgreSQL、MongoDB 和其他公司如何顛覆專有資料庫,這就是整個產業被開源軟體顛覆的一個例子,所以這裡的先例是非常強大的。

然而,這確實存在一個陷阱。 OSS LLMS 的一個棘手之處在於 OpenAI 開始與組織,如 Reddit 和紐約時報簽訂付費數據許可協議。 如果這種趨勢持續下去,OSS LLMS 可能因為獲取數據涉及財務障礙而變得更難競爭。 也有可能英偉達加倍努力,將機密計算作為安全數據共享的促進者。 時間將會告訴我們這將如何發展。

真正的好處#6:通過高懲罰成本的隨機抽樣或通過zk證明實現共識

Web3人工智慧推論的其中一個挑戰是驗證。理論上,驗證者有機會作弊以賺取費用,因此驗證推論是一個重要的措施。需要注意的是,這種作弊還沒有發生,因為人工智慧推論還處於萌芽階段,但除非採取措施防止這種行為,否則這種作弊是不可避免的。

標準的web3方法是讓多個驗證器重複執行相同的操作並比較結果。然而,這種方法存在一個明顯的挑戰,即由於目前高端NVIDIA芯片供應短缺,人工智能推理成本較高。考慮到web3可以通過未充分利用的GPU資源提供低成本的推理,多餘的計算將嚴重削弱web3的價值主張。

一种更有前景的解决方案是对链外AI推断计算进行零知识证明。在这种情况下,可以验证简洁的零知识证明以确定模型是否被正确训练,或者推断是否正确运行(称为零知识机器学习)。例子包括Modulus 實驗室ZKonduit這些解決方案的表現仍然處於起步階段,因為zk操作非常計算密集。然而,隨著zk硬件ASIC在不久的將來的發布,我們預計這將有所改善。

更有希望的是一種有點“樂觀”的基於採樣的AI推理方法的想法。在這個模型中,你只會驗證驗證者生成的結果的一小部分,但將削減的經濟成本設置得足夠高,這樣,如果被抓住,它將為驗證者作弊創造強大的經濟抑制。通過這種方式,您可以節省冗餘計算(例如,請參閱Hyperbolic取樣紙的證明).

另一個有前景的想法是一個浮水印和指紋解決方案,例如一個由該提出的貝果網絡這與亞馬遜Alexa對其數百萬裝置上的AI模型進行質量保證的機制類似。

真實利益#7:通過OSS節省費用(OpenAI的保證金)

Web3 帶給 AI 的下一個機會是使成本民主化。到目前為止,我們已經討論了通過 Depins 節省 GPU 成本的方法。但是 Web3 也提供了機會,可以節省集中式 Web2 AI 服務的利潤率(例如,OpenAI,根據本文撰寫時的年收入超過 10 億美元)。這些成本節省來自於使用 OSS 模型而不是專有模型,這樣可以額外節省成本,因為模型創建者並沒有試圖獲利。

許多開放原始碼模型將保持完全免費,這為客戶帶來了最佳的經濟效益。但也可能會有一些開放原始碼模型嘗試這些貨幣化方法。請注意,在Hugging Face上總模型中,只有4%是由具備預算協助補貼模型的公司訓練的(參見這裡).其餘 96% 的模型由社區訓練。這個群體 - 96%的擁抱臉 - 具有基本的實際成本(包括計算成本和數據成本)。因此,這些模型將以某種方式需要貨幣化。

有一些提議可用來實現模型的開源軟體化。其中最有趣的之一是“初始模型供應”(IMO)的概念,在這裡您可以將模型本身進行代幣化,為團隊保留一定比例的代幣,並將模型未來的一部分收益分配給代幣持有者,儘管顯然存在一些法律和監管障礙。

其他的開源軟體模型將嘗試從使用中獲利。請注意,如果這變為現實,開源軟體模型可能開始越來越像它們的Web2賺錢模式對應物。但實際上,市場將會分化,一些模型將完全保持免費。

真實收益#8:去中心化數據採集

人工智慧面臨的最大挑戰之一是找到合適的數據來訓練模型。我們之前提到過,去中心化的人工智慧訓練存在其挑戰。但是,使用去中心化網絡來獲取數據(然後可以在其他地方,甚至在傳統的web2平台上進行訓練)又如何呢?

這正是像加密貨幣這樣的新創企業正在進行的是一種分散式網絡,其中包含“數據抓取器”這一概念,這些人們使用他們計算機的閒置處理能力來獲取數據,以供 AI 模型的訓練。從理論上講,規模越大,這種數據獲取方式就越優於任何一家公司內部的努力,因為具有激勵機制的節點網絡的強大力量。這不僅包括獲取更多的數據,還包括更頻繁地獲取數據,以使數據變得更加相關和最新。此外,停止一支分散式的數據抓取軍隊幾乎是不可能的,因為它們本質上是分散的,並且不屬於單一 IP 地址。他們還擁有一個人工網絡,可以清理和規範數據,以使其在抓取後具有實用性。

一旦您有了数据,您还需要一个地方将其存储在链上,以及与该数据生成的 LLMS。0克。人工智慧是這一類別的早期領導者。 它是一種 AI 優化的高性能 Web3 儲存解決方案,比 AWS 便宜得多(Web3 AI 的另一個經濟勝利),同時還可以用作第 2 層、AI 等的數據可用性基礎設施。

請注意,在未來的Web3 AI中,數據的作用可能會發生變化。 如今,LLMS的當前現狀是使用數據預先訓練模型,並隨著更多數據的逐漸細化。 然而,這些模型始終稍微過時,因為互聯網上的數據是實時變化的。 因此,LLM推理的回答略有不準確。

他們世界可能會前進的未來是一個新範式-“實時”數據。這個概念是當一個llm被問及推理問題時,該llm可以將數據注入到該llm中,該數據是從互聯網實時收集的。這樣,llm使用可能的最新數據。Grass也在研究這一點。

結論

我們希望這對您在思考Web3 AI的承諾與現實時有所幫助。這只是一個對話的起點,而且環境正在迅速變化,所以請隨時參與並表達您的觀點,因為我們很樂意不斷學習和建設。

致謝

對阿爾伯特卡斯特拉納,賈斯柏張,瓦西利斯·齊奧卡斯,比德漢·羅伊,雷佐,文森特·魏瑟,沙山克·亞達夫,阿里·胡賽恩,努克里·巴沙魯利,伊馬德·莫斯塔克,大衛·米納斯奇,湯米·肖恩西,邁克爾·海因里希,凱卡克·王,馬克·溫斯坦,菲利普·博內洛,傑夫·阿米科,伊賈茲·阿哈馬丁,伊萬·馮和王捷維對本帖的反饋和貢獻表示特別感謝。


本文僅供一般資訊之用,並不打算構成投資建議,不應被用於評估任何投資決定。這些資訊不應被依賴作會計、法律、稅務、商業、投資或其他相關建議。您應該就會計、法律、稅務、商業、投資或其他相關建議諮詢您自己的顧問,包括您自己的法律顧問。

此帖反映了作者(们)目前的观点,并非代表Hack VC或其关联公司,包括由Hack VC管理的任何基金,并不一定反映Hack VC,其关联公司,包括其普通合伙人关联公司的观点,也不一定反映与Hack VC有关的任何其他个人的观点。此处所含信息部分来自已发表的来源和/或第三方准备,并且在某些情况下,至今尚未更新。虽然这些来源被认为是可靠的,但Hack VC,其关联公司,包括其普通合伙人关联公司以及与Hack VC有关的任何其他个人都不作为其准确性或完整性的陈述,并且不应依赖此类信息或作为会计,法律,税务,商业,投资或其他决策的依据。此处信息不具有完整性,并且可能发生变化,Hack VC没有义务更新此类信息或在此类信息变得不准确时作出任何通知。

過去的表現不一定代表未來的結果。本文中所做的任何前瞻性陳述都是基於作者根據他的經驗和對歷史趨勢、現況以及預期未來發展的認知所做的某些假設和分析,以及他認為在當時情況下是適當的其他因素。這些陳述並不保證未來的表現,並且受到一定的風險、不確定性和難以預測的假設的影響。

聲明:

  1. 本文轉載自[Hack VC], 原標題“ai x crypto - promises and realities”,版權歸原作者[ed roman, managing partner at hack vc]所有,如有對轉載有異議,請聯繫 Gate 學習團隊,團隊將根據相關程序盡快處理。

  2. 免責聲明:本文所表達的觀點和意見僅代表作者個人觀點,並不構成任何投資建議。

  3. Gate.io 的其他語言版本文章由 Gate.io 學習團隊翻譯,並未提及。Gate.io,翻譯後的文章不得重製、分發或剽竊。

人工智能 x 加密貨幣 - 承諾與現實

中級7/13/2024, 3:21:16 PM
AI+加密貨幣是最近加密貨幣市場中最值得注意的前沿領域之一。這包括去中心化的人工智能訓練、GPU DePINs和抗審查的人工智能模型。人工智能訓練的主要問題在於需要高速通信和GPU之間的協調,因為神經網絡在訓練過程中需要反向傳播。引入去中心化網絡可能會顯著減慢過程,因為網絡延遲和帶寬增加。本文還整理了對當前挑戰的解決方案,並提供了整合加密貨幣和人工智能可以增加顯著價值的示例。

人工智慧最近是加密貨幣市場中最炙手可熱且最有前途的領域之一。

💡去中心化的人工智能訓練

💡gpu depins

💡未經審查的人工智慧模型

這些是突破還是只是為了炒作?🤔

在 hack vc,我們正在努力剔除噪音,將承諾與現實分開。

這篇文章剖析了頂級加密 X AI 想法。讓我們討論真正的挑戰和機遇。

在現實中遇到挑戰的起初有希望的想法。

首先,讓我們從“Web3 AI 的承諾”開始 — 這些想法可能有相當多的炒作,但現實可能並不如此光鮮。

想法#1:去中心化的人工智能訓練

在鏈上進行AI訓練的問題在於訓練需要高速通信和GPU之間的協調,因為神經網絡在訓練時需要反向傳播。NVIDIA對此有兩項創新(NVLinkInfiniBand)这些技术有效地使GPU通信超级快速,但它们是仅适用于位于单个数据中心内的GPU集群的本地技术(50+千兆速度)

如果您在圖中引入了一個去中心化網絡,由於增加的網絡延遲和帶寬,您會突然變得慢了數量級。這對於人工智能訓練用例來說根本行不通,與您從英偉達在數據中心內獲得的吞吐量相比。

請注意,這裡已經有一些創新,可能會為未來帶來一些希望:

  • 通過InfiniBand進行分散式訓練正在以相當大的規模進行,因為Nvidia本身通過Nvidia集體通訊庫支援分散式、非本地訓練。然而,這仍然是新生事物,所以採用指標還有待確定。參見這裡。物理定律在距離上仍然存在瓶頸,因此通過InfiniBand進行本地訓練仍然顯著地更快。
  • 最近有一些關於分散式訓練的新研究發表了,該研究依賴較少的通信同步,有望使未來的分散式訓練更加實用。見這裡這裡.
  • 智能分片和模型訓練的排程安排可以幫助提高性能。同樣地,新的模型架構可能會在未來為分佈式基礎設施而獨特地設計(gensyn正在這些領域進行研究)。

培訓的數據組件也是具有挑戰性的。 任何人工智能訓練過程都涉及處理大量的數據。 通常,模型是在集中且安全的數據存儲系統上進行訓練,具有高可擴展性和性能。 這需要傳輸和處理數千兆字節的數據,而這不是一次性的循環。 數據通常存在噪聲和錯誤,因此必須在訓練模型之前將其清理並轉換為可用格式。 這個階段涉及到歸一化、過濾和處理缺失值等重複性任務。 在分散式環境中,這些都帶來了嚴重的挑戰。

訓練的數據組件也是迭代的,這對Web3不太適合。 OpenAI進行了數千次的迭代才達到其結果。 AI團隊中的數據科學專家最基本的任務場景包括定義目標、準備數據、分析和結構化數據以提取重要的見解並使其適合建模。然後,開發機器學習模型來解決定義的問題,使用測試數據集驗證其性能。這個過程是迭代的:如果當前模型的表現不如預期,專家就會返回到數據收集或模型訓練階段以改善結果。現在,想象一下在分散式環境中進行這個過程,在Web3中最好的現有框架和工具不容易獲得。

在區塊鏈上訓練AI模型的另一個問題是與推理相比,市場要少得多。目前,有大量的GPU計算用於AI LLN訓練。但從長遠來看,推理將成為GPU更普遍的使用情境(遠遠)超過AI LLN的訓練。考慮一下:有多少AI LLN需要被訓練才能讓世界滿意,與將使用這些模型的客戶數量相比?

在所有方面取得進展的一個解決方案是0g.ai(由hack vc支持),他們提供了鏈上數據存儲和數據可用性基礎設施。他們的超快架構和能夠在鏈上存儲大量數據的能力,使得任何類型的快速迭代鏈上AI模型訓練成為可能。

想法#2:利用過度冗餘的人工智能推理計算進行共識

加密貨幣X人工智慧的一個挑戰之一是驗證人工智慧推理的準確性,因為你不能完全相信單一的中央化方在進行推理時的準確性,因為節點的行為可能不當。這個挑戰在Web2人工智慧中並不存在,因為沒有分散式共識式系統。

解決這個問題的一個提議是冗餘計算,多個節點重複執行相同的ai推理操作,這樣你就可以在無需信任的情況下運行,不會有單點故障。

這種方法的問題在於,我們生活在一個高端AI晶元嚴重短缺的世界。高端英偉達晶元有多年的等待期,這會導致價格上漲。如果您(另外)要求在多個節點上多次重新執行 AI 推理,那麼您現在正在增加這些昂貴的成本。對於許多項目來說,這將是一個不可能的開始。

想法#3:Web3特定的AI使用案例在短期內

有人提出,Web3 應該具有其專屬的獨特 AI 應用案例,這些案例專門針對 Web3 客戶。例如,這可以是一個使用 AI 來對 DeFi 池進行風險評分的 Web3 協議,一個根據您的錢包歷史為您推薦新協議的 Web3 錢包,或者一個利用 AI 控制非玩家角色(NPC)的 Web3 遊戲。

就目前而言,這(在短期內)是一個新興市場,其中使用案例仍在被發現。一些挑戰包括:

  • Web3原生用例需要更少的潜在AI交易,因为市场需求仍处于起步阶段。
  • 客戶較少,因為Web3客戶相較於Web2客戶數量少得多,所以市場較不分散。
  • 由於它們是資金較少的新創企業,客戶本身較不穩定,因此其中一些新創企業可能會隨著時間消失。一家面向web3客戶的web3人工智能服務提供商很可能需要隨著時間重新獲得他們客戶群的一部分,以取代那些消失的客戶,使其更具挑戰性的業務擴展。

從長遠來看,我們非常看好 Web3 原生 AI 用例,尤其是在 AI 代理變得越來越普遍的情況下。我們想像一個未來,任何給定的 web3 使用者都有大量的 AI 代理協助他們。這方面的早期類別領導者是Theoriq(由 hack vc 支持),可使可組合和自治的鏈上人工智能代理。

想法 #4:消費級GPU去針

有許多分散式人工智慧計算網路依賴消費級 GPU,而不是資料中心。消費級 GPU 對於低端 AI 推論任務或消費者使用案例如延遲、吞吐量和可靠性靈活的情況下非常方便。但對於嚴肅的企業使用案例(這是市場大多數關注的部分),客戶希望相對於個人家用機器更高可靠性的網路,並且如果有更複雜的推論任務,通常需要更高端的 GPU。資料中心更適合這些更有價值的客戶使用案例。

請注意,我們認為消費級 GPU 對於示範目的或者能夠容忍較低可靠性的個人和初創企業來說是有用的。但這些客戶從根本上來說價值較低,因此我們認為為 Web2 企業提供服務的 GPU depins 在長遠來看將更有價值。因此,眾所周知的 GPU depin 項目通常從大部分是消費級硬件的早期發展為具有 A100/H100 和集群級可用性。

現實——加密貨幣 x 人工智能的實際和現實用例

現在,讓我們討論提供“實際好處”的使用案例。這些是實際的“勝利”,加密貨幣 x 人工智能可以為其增加顯著的價值。

真正的好處#1:為Web2客戶提供服務

mckinsey估計根據其分析的63個用例,生成AI每年可以增加相當於2.6萬億美元至4.4萬億美元的價值-相比之下,英國2021年的GDP總額為3.1萬億美元。這將使所有人工智能的影響增加15%至40%。如果考慮將生成AI嵌入到目前用於其他任務的軟件中,這一估計將大約增加一倍。

如果您對上述估計進行計算,意味著除了生成式人工智慧之外,人工智慧的整個市場價值可能達到數萬億美元,全球範圍內。相比之下,包括比特幣和每個替代幣在內的所有加密貨幣今天僅僅價值約2.7萬億美元。因此,讓我們真實地看待這個問題:在短期內需要人工智慧的絕大多數客戶將是Web2客戶,因為真正需要人工智慧的Web3客戶只是這2.7萬億美元的一小部分(考慮到比特幣佔了這個市場的一半,而比特幣本身不需要/使用人工智慧)。

web3 ai的用例才刚刚开始,目前还不清楚该市场的规模将会是多少。但有一点可以直观地确定,它将只是预见性未来web2市场规模的一小部分。我们相信web3 ai仍然有着光明的未来,但这只是意味着目前web3 ai最强大的应用是为web2客户提供服务。

假設可以從 Web3 AI 中受益的 Web2 客戶範例包括:

  • 從頭開始建立的垂直特定軟件公司,以人工智能為中心,(例如cedar.ai或observe.ai)
  • 為自身目的微調模型的大型企業(例如 Netflix)
  • 快速增長的人工智慧供應商(例如,Anthropic)
  • 將人工智慧灑在其現有產品中的軟體公司(例如,canva)

這是一個相對穩定的客戶人物,因為這些客戶通常是大型和有價值的。他們不太可能很快就破產,並且他們代表著人工智能服務的非常大的潛在客戶。為Web2客戶提供服務的Web3人工智能服務將從這個穩定的客戶基礎中受益。

但為什麼一個Web2客戶想要使用Web3堆棧?本文的其餘部分將提出這種情況。

真正的好處#2:通過GPU depins降低GPU使用成本

gpu depins Gate.io 未充分利用的 GPU 計算能力(其中最可靠的來自數據中心),並使其可用於 AI 推理(例如,io.net,這是hack vc管理的基金投資的一家投資組合公司。一個簡單的想法是將其視為“ GPU的Airbnb”(有效地,共享利用未充分利用的資產)。

我們對 GPU depins 感到興奮的原因是,如上所述,NVIDIA 芯片短缺,目前存在浪費的 GPU 週期可用於 AI 推理。這些硬體擁有者已經付出成本,但今天並未充分利用他們的設備,因此可以以比現狀低得多的成本提供這些部分 GPU 週期,因為對硬體擁有者來說,這實際上是“意外之財”。

例如:

  • aws機器。如果您今天要從aws租用h100,您將不得不承諾一年的租約,因為市場供應受限。這會產生浪費,因為您可能不會每年365天,每週7天都使用您的gpu。
  • filecoin挖礦硬件。filecoin是一個擁有大量補貼供應但缺乏重要需求的網絡。不幸的是,filecoin從未找到真正的產品市場契合點,因此filecoin礦工面臨破產的危險。這些機器上有GPU,可以重新用於較低端的AI推理任務。
  • 乙太幣挖礦硬體。當ETH從POW過渡到POS時,這立即提供了大量硬體,可以重新用於AI推理。

請注意,並非所有的 GPU 硬體都適合於 AI 推論。其中一個顯而易見的原因是,舊的 GPU 並沒有足夠的 GPU 記憶體來進行 LLMS,雖然已經有一些有趣的創新來幫助解決這個問題。艾克薩位, 例如,它具有將活躍神經元加載到 GPU 內存,並將非活躍神經元加載到 CPU 內存的技術。它們預測哪些神經元需要是活躍的/非活躍的。這使得低端 GPU 即使具有有限的 GPU 內存,也能處理 AI 工作負載。這有效地使低端 GPU 對於 AI 推理更有用。

请注意,在未来,Web3人工智能供应商需要加强其服务的安全性,并提供企业级服务,如单点登录、SOC 2合规性、服务级别协议(SLA)等。这将反映当前云服务中Web2客户目前享有的服务。

真正的好處#3:未經審查的模型,以避免OpenAI自我審查

人工智慧審查一直是討論的熱點。例如,土耳其曾暫時禁止OpenAI(後來在OpenAI改善其合規性後,他們才改變了立場)。我們認為這種國家層面的審查基本上是無趣的,因為國家需要擁抱人工智慧才能保持競爭力。

更有趣的是,OpenAI 自我審查。例如,OpenAI 將不處理不適宜內容,也不會預測下一屆總統選舉。我們認為,由於政治原因,OpenAI 將不觸及一個有趣且龐大的 AI 應用市場。

開源是一個很好的解決方案,因為 GitHub 回購不受股東或董事會的約束。這方面的一個例子是Venice.aiCrypto,它承諾保護您的隱私並以無審查的方式運作。關鍵當然是開源,這也是其動力所在。Web3人工智能能夠有效提升這一點,它可以在成本更低的GPU集群上運行這些開源軟件(OSS)模型以進行推論。出於這些原因,我們相信OSS + Web3是鋪平無審查人工智能道路的理想組合。

真正好處#4:避免將個人身份信息發送給OpenAI

許多大型企業對其內部企業數據存在隱私顧慮。對於這些客戶來說,將這些數據交給像OpenAI這樣的集中式第三方機構是非常困難的。

使用web3,對於這些企業來說,可能會讓他們感到更加害怕,因為他們的內部數據突然出現在一個去中心化的網絡上。然而,對於人工智能來說,也有一些創新的隱私增強技術。

這些技術仍在不斷發展,性能將通過即將推出的零知識(zk)和fhe asics進一步提高。但長期目標是在微調模型時保護企業數據。隨著這些協議的出現,Web3可能會成為更具吸引力的隱私保護AI計算場所。

真正的好處#5:利用開源模型的最新創新技術

在過去的幾十年裡,開源軟體一直在不斷侵蝕專有軟體的市場份額。我們認為LLM只是一種時髦的專有軟體,正適合被開源軟體顛覆。一些值得注意的挑戰者包括駱馬RWKV,和Mistral.ai. 這個列表隨著時間的推移無疑會不斷增長(更詳盡的列表可在此處獲得 Openrouter.ai透過利用由 OSS 模型驅動的 web3 AI,人們可以利用這些新創意。

我們相信隨著時間的推移,開源全球開發人力與加密貨幣激勵相結合,可以推動開源模型以及建立在其上的代理和框架的快速創新。一個AI代理協議的例子是Theoriq. theoriq利用oss模型創建可組合的互聯網ai代理網絡,可以組裝成更高層次的ai解決方案。

我們對此有信念的原因是因為過去的經驗:大多數的“開發人員軟體”都被開放原始碼軟體逐漸超越。微軟曾經是專有軟體公司,現在他們是貢獻最多的 GitHub 公司,這是有原因的。如果你看看 Databricks、PostgreSQL、MongoDB 和其他公司如何顛覆專有資料庫,這就是整個產業被開源軟體顛覆的一個例子,所以這裡的先例是非常強大的。

然而,這確實存在一個陷阱。 OSS LLMS 的一個棘手之處在於 OpenAI 開始與組織,如 Reddit 和紐約時報簽訂付費數據許可協議。 如果這種趨勢持續下去,OSS LLMS 可能因為獲取數據涉及財務障礙而變得更難競爭。 也有可能英偉達加倍努力,將機密計算作為安全數據共享的促進者。 時間將會告訴我們這將如何發展。

真正的好處#6:通過高懲罰成本的隨機抽樣或通過zk證明實現共識

Web3人工智慧推論的其中一個挑戰是驗證。理論上,驗證者有機會作弊以賺取費用,因此驗證推論是一個重要的措施。需要注意的是,這種作弊還沒有發生,因為人工智慧推論還處於萌芽階段,但除非採取措施防止這種行為,否則這種作弊是不可避免的。

標準的web3方法是讓多個驗證器重複執行相同的操作並比較結果。然而,這種方法存在一個明顯的挑戰,即由於目前高端NVIDIA芯片供應短缺,人工智能推理成本較高。考慮到web3可以通過未充分利用的GPU資源提供低成本的推理,多餘的計算將嚴重削弱web3的價值主張。

一种更有前景的解决方案是对链外AI推断计算进行零知识证明。在这种情况下,可以验证简洁的零知识证明以确定模型是否被正确训练,或者推断是否正确运行(称为零知识机器学习)。例子包括Modulus 實驗室ZKonduit這些解決方案的表現仍然處於起步階段,因為zk操作非常計算密集。然而,隨著zk硬件ASIC在不久的將來的發布,我們預計這將有所改善。

更有希望的是一種有點“樂觀”的基於採樣的AI推理方法的想法。在這個模型中,你只會驗證驗證者生成的結果的一小部分,但將削減的經濟成本設置得足夠高,這樣,如果被抓住,它將為驗證者作弊創造強大的經濟抑制。通過這種方式,您可以節省冗餘計算(例如,請參閱Hyperbolic取樣紙的證明).

另一個有前景的想法是一個浮水印和指紋解決方案,例如一個由該提出的貝果網絡這與亞馬遜Alexa對其數百萬裝置上的AI模型進行質量保證的機制類似。

真實利益#7:通過OSS節省費用(OpenAI的保證金)

Web3 帶給 AI 的下一個機會是使成本民主化。到目前為止,我們已經討論了通過 Depins 節省 GPU 成本的方法。但是 Web3 也提供了機會,可以節省集中式 Web2 AI 服務的利潤率(例如,OpenAI,根據本文撰寫時的年收入超過 10 億美元)。這些成本節省來自於使用 OSS 模型而不是專有模型,這樣可以額外節省成本,因為模型創建者並沒有試圖獲利。

許多開放原始碼模型將保持完全免費,這為客戶帶來了最佳的經濟效益。但也可能會有一些開放原始碼模型嘗試這些貨幣化方法。請注意,在Hugging Face上總模型中,只有4%是由具備預算協助補貼模型的公司訓練的(參見這裡).其餘 96% 的模型由社區訓練。這個群體 - 96%的擁抱臉 - 具有基本的實際成本(包括計算成本和數據成本)。因此,這些模型將以某種方式需要貨幣化。

有一些提議可用來實現模型的開源軟體化。其中最有趣的之一是“初始模型供應”(IMO)的概念,在這裡您可以將模型本身進行代幣化,為團隊保留一定比例的代幣,並將模型未來的一部分收益分配給代幣持有者,儘管顯然存在一些法律和監管障礙。

其他的開源軟體模型將嘗試從使用中獲利。請注意,如果這變為現實,開源軟體模型可能開始越來越像它們的Web2賺錢模式對應物。但實際上,市場將會分化,一些模型將完全保持免費。

真實收益#8:去中心化數據採集

人工智慧面臨的最大挑戰之一是找到合適的數據來訓練模型。我們之前提到過,去中心化的人工智慧訓練存在其挑戰。但是,使用去中心化網絡來獲取數據(然後可以在其他地方,甚至在傳統的web2平台上進行訓練)又如何呢?

這正是像加密貨幣這樣的新創企業正在進行的是一種分散式網絡,其中包含“數據抓取器”這一概念,這些人們使用他們計算機的閒置處理能力來獲取數據,以供 AI 模型的訓練。從理論上講,規模越大,這種數據獲取方式就越優於任何一家公司內部的努力,因為具有激勵機制的節點網絡的強大力量。這不僅包括獲取更多的數據,還包括更頻繁地獲取數據,以使數據變得更加相關和最新。此外,停止一支分散式的數據抓取軍隊幾乎是不可能的,因為它們本質上是分散的,並且不屬於單一 IP 地址。他們還擁有一個人工網絡,可以清理和規範數據,以使其在抓取後具有實用性。

一旦您有了数据,您还需要一个地方将其存储在链上,以及与该数据生成的 LLMS。0克。人工智慧是這一類別的早期領導者。 它是一種 AI 優化的高性能 Web3 儲存解決方案,比 AWS 便宜得多(Web3 AI 的另一個經濟勝利),同時還可以用作第 2 層、AI 等的數據可用性基礎設施。

請注意,在未來的Web3 AI中,數據的作用可能會發生變化。 如今,LLMS的當前現狀是使用數據預先訓練模型,並隨著更多數據的逐漸細化。 然而,這些模型始終稍微過時,因為互聯網上的數據是實時變化的。 因此,LLM推理的回答略有不準確。

他們世界可能會前進的未來是一個新範式-“實時”數據。這個概念是當一個llm被問及推理問題時,該llm可以將數據注入到該llm中,該數據是從互聯網實時收集的。這樣,llm使用可能的最新數據。Grass也在研究這一點。

結論

我們希望這對您在思考Web3 AI的承諾與現實時有所幫助。這只是一個對話的起點,而且環境正在迅速變化,所以請隨時參與並表達您的觀點,因為我們很樂意不斷學習和建設。

致謝

對阿爾伯特卡斯特拉納,賈斯柏張,瓦西利斯·齊奧卡斯,比德漢·羅伊,雷佐,文森特·魏瑟,沙山克·亞達夫,阿里·胡賽恩,努克里·巴沙魯利,伊馬德·莫斯塔克,大衛·米納斯奇,湯米·肖恩西,邁克爾·海因里希,凱卡克·王,馬克·溫斯坦,菲利普·博內洛,傑夫·阿米科,伊賈茲·阿哈馬丁,伊萬·馮和王捷維對本帖的反饋和貢獻表示特別感謝。


本文僅供一般資訊之用,並不打算構成投資建議,不應被用於評估任何投資決定。這些資訊不應被依賴作會計、法律、稅務、商業、投資或其他相關建議。您應該就會計、法律、稅務、商業、投資或其他相關建議諮詢您自己的顧問,包括您自己的法律顧問。

此帖反映了作者(们)目前的观点,并非代表Hack VC或其关联公司,包括由Hack VC管理的任何基金,并不一定反映Hack VC,其关联公司,包括其普通合伙人关联公司的观点,也不一定反映与Hack VC有关的任何其他个人的观点。此处所含信息部分来自已发表的来源和/或第三方准备,并且在某些情况下,至今尚未更新。虽然这些来源被认为是可靠的,但Hack VC,其关联公司,包括其普通合伙人关联公司以及与Hack VC有关的任何其他个人都不作为其准确性或完整性的陈述,并且不应依赖此类信息或作为会计,法律,税务,商业,投资或其他决策的依据。此处信息不具有完整性,并且可能发生变化,Hack VC没有义务更新此类信息或在此类信息变得不准确时作出任何通知。

過去的表現不一定代表未來的結果。本文中所做的任何前瞻性陳述都是基於作者根據他的經驗和對歷史趨勢、現況以及預期未來發展的認知所做的某些假設和分析,以及他認為在當時情況下是適當的其他因素。這些陳述並不保證未來的表現,並且受到一定的風險、不確定性和難以預測的假設的影響。

聲明:

  1. 本文轉載自[Hack VC], 原標題“ai x crypto - promises and realities”,版權歸原作者[ed roman, managing partner at hack vc]所有,如有對轉載有異議,請聯繫 Gate 學習團隊,團隊將根據相關程序盡快處理。

  2. 免責聲明:本文所表達的觀點和意見僅代表作者個人觀點,並不構成任何投資建議。

  3. Gate.io 的其他語言版本文章由 Gate.io 學習團隊翻譯,並未提及。Gate.io,翻譯後的文章不得重製、分發或剽竊。

Lancez-vous
Inscrivez-vous et obtenez un bon de
100$
!
It seems that you are attempting to access our services from a Restricted Location where Gate.io is unable to provide services. We apologize for any inconvenience this may cause. Currently, the Restricted Locations include but not limited to: the United States of America, Canada, Cambodia, Thailand, Cuba, Iran, North Korea and so on. For more information regarding the Restricted Locations, please refer to the User Agreement. Should you have any other questions, please contact our Customer Support Team.