Google випустив алгоритм TurboQuant: 3-bit квантизація KV кешу без втрати точності, швидкість виведення збільшена до 8 разів

Gate News повідомляє, 25 березня дослідницький інститут Google опублікував алгоритм квантового стиснення TurboQuant, який може зменшити обсяг кешу KV великих мовних моделей до 3 біт, зменшуючи використання пам’яті щонайменше у 6 разів, без необхідності тренування або доопрацювання та без втрати точності моделі. У режимі 4 біт швидкість обчислення уваги на GPU NVIDIA H100 у порівнянні з базовим 32-бітовим не квантованим режимом зросла до 8 разів. Команда дослідників підтвердила ефективність TurboQuant на довгих контекстних бенчмарках LongBench, Needle In A Haystack, ZeroSCROLLS, використовуючи моделі Gemma і Mistral, і досягла найкращих результатів у всіх тестах. Алгоритм складається з двох підалгоритмів: PolarQuant, який за допомогою перетворення у полярні координати усуває пам’ятні витрати традиційних методів квантування, та QJL, що коригує залишкову помилку всього за 1 біт. Дослідження очолювали Амір Зандієх з Google Research і віце-президент та Google Fellow Вахаб Міррокні у співпраці з KAIST (Республіка Корея) та Нью-Йоркським університетом, і воно буде опубліковане на ICLR 2026. Google зазначає, що одним із основних застосувань цієї технології є подолання вузьких місць у кеші KV моделей на кшталт Gemini.

Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до Застереження.

Пов'язані статті

Нотатки JPMorgan: швидкість обігу стейблкоїнів зростає швидше, ніж ринкова капіталізація, а річний обсяг on-chain досягає $17,2 трильйона

За аналітиками JPMorgan на чолі з керівним директором Ніколаосом Панігірцодзоглу, зростання швидкості обігу стейблкоїнів може не призводити до пропорційного зростання загальної ринкової капіталізації, попри прискорення використання. Швидкість обігу стейблкоїнів — як часто той самий токен використовується в транзакціях — зросла

GateNewsЩойно

Tether Додає 6 тонн золота: резерви досягають 132 тонн після покупок у Q1

Tether додав понад 6 тонн золота в Q1 2026, довівши загальні резерви, забезпечені USDT, до 132 тонн із оціночною вартістю близько $19,8 мільярда. Зараз золото становить приблизно 10% резервів поряд із $117B у U.S. Treasuries та $7B у біткоїн-виявах. Сукупні золоті активи досягли 154 тонн, розмістивши Tether серед найбільших

CryptoFrontNews2год тому

JPMorgan: Зростання використання стейблкоїнів може не збільшити ринкову капіталізацію

Аналітики JPMorgan на чолі з керуючим директором Ніколаосом Панігірцоглу заявили в звіті, що зростання використання стейблкоїнів може не призвести до пропорційного збільшення загальної ринкової капіталізації ринку стейблкоїнів. Ключова причина — зростання швидкості обігу, тобто як часто той самий стейблкоїн використовується в транзакціях, що

CryptoFrontier6год тому

Американці мають несприятливі погляди на криптовалюти напередодні виборів: опитування CoinDesk серед 1 000 виборців показало

Згідно з опитуванням CoinDesk, американці загалом мають несприятливі погляди на криптовалюти перед виборами, виходячи з вибірки 1 000 випадково відібраних зареєстрованих виборців.

GateNews6год тому

Tether публікує прибуток за I квартал у розмірі $1,04 млрд, резервний буфер досягає $8,23 млрд

Tether повідомив про прибуток за Q1 у розмірі 1,04 мільярда доларів і резервний буфер на 8,23 мільярда доларів, згідно з офіційним оголошенням емітента стейблкоїнів.

GateNews7год тому

CoinShares повідомляє про $7,4 млрд AUM у першому щорічному звіті після лістингу на Nasdaq

Відповідно до свого першого щорічного звіту після завершення лістингу Nasdaq на суму 1,2 мільярда на початку цього місяця європейський менеджер криптоактивів CoinShares зафіксував 7,4 мільярда доларів США загального обсягу активів в управлінні та 165,7 мільйона доларів США виручки за весь 2025 рік. Бізнес із управління активами компанії згенерував $12

GateNews7год тому
Прокоментувати
0/400
Немає коментарів