Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Claude Skills才火了一阵子,昨天DeepSeek就发了新论文,用Engram告诉市场:你们方向可能错了?? AI LLM真的是每天都在上演神仙打架!😱
簡單對比就能看出差異:Anthropic給模型配了個超級秘書,幫你整理200個文檔、記住所有對話;DeepSeek更激進,直接給模型做腦科手術,讓它長出一個“記憶器官”,像查字典一樣O(1)秒回,不需要層層激活神經網絡。
這個問題其實早就該解決了。
從Transform架構起,大模型先天處理知識就像個死記硬背的學霸,每次問“戴安娜王妃是誰”,都得把175B參數的腦子從頭到尾過一遍,這得白燒多少算力資源?
這就好比你每次想查個單詞,都要把整本牛津詞典從A背到Z才能告訴你答案,多荒謬?即使是現在流行的 MoE 架構,每次為了回憶一個冷知識,也要調動大量昂貴的計算專家參與運算。
1)Engram的核心突破:讓模型長出“記憶器官”
Engram做的事情很簡單,就是把静态事实知识從“參數記憶”裡剝離出來,扔進一個可擴展的哈希表裡,通過N-gram切分+多頭哈希映射,实现O(1)常數時間查找。
說人話就是,管理上下文系統,還是讓AI拿著說明書,遇到問題翻書查閱,而Engram目標是讓大腦裡找出一個新的器官,專門用來瞬間“回想”起一些固定成常識的知識,不需要再去動腦子推理。
效果有多猛?27B參數的模型在知識任務(MMLU)上提升3.4%,長文本檢索從84%飆到97%。關鍵是,這些記憶參數可以卸載到便宜的DDR內存甚至硬盤裡,推理成本幾乎為零。
2)這是在革RAG和GPU軍備競賽的命?
如果Engram真跑通了,第一個受衝擊的不是OpenAI,是RAG(檢索增強生成)這套玩法和NVIDIA的顯存生意,尤其是公有知識庫RAG。
因為,RAG本質是讓模型去外部數據庫“查資料”,但查詢慢、整合差、還得維護向量庫。Engram直接把記憶模塊嵌進模型架構,查得又快又準,還能用上下文門控過濾掉哈希衝突。
而且要命的是,論文裡提到的“U型scaling law”的發現很刺激,若模型把20-25%參數給Engram當“記憶硬盤”,剩下75-80%留給傳統神經網絡做“推理大腦”,而且記憶規模每擴大10倍,性能就能對數級提升。
這不就徹底打破了“參數越大=越聰明”的信仰,從“無限堆H100”的軍備競賽,變成“適度算力+海量廉價記憶”的效率遊戲?
以上。
不知道,DeepSeek V4會在春節前後發布,會不會把Engram和之前的mHC組合拳全部打出來。
這場“算力為王”到“算力+記憶”雙輪驅動的範式革命,估計又會掀起一波血雨腥風,就看掌握算力資源優勢的OpenAI、Anthropic等巨頭們如何接招了。