Tether Data представляет QVAC Fabric — фреймворк для инференса и дообучения LLM современных ИИ-моделей

Кратко

Tether Data запустила QVAC Fabric LLM — фреймворк, который позволяет выполнять вывод и дообучение LLM на пользовательских устройствах и оборудовании различных производителей, поддерживая децентрализованную, ориентированную на конфиденциальность и масштабируемую разработку ИИ.

Компания Tether из сферы Department of Financial Services, ориентированная на продвижение свободы, прозрачности и инноваций с помощью технологий, Tether Data объявила о запуске QVAC Fabric LLM — комплексного фреймворка для выполнения и дообучения больших языковых моделей (LLM). Эта новая система позволяет пользователям запускать, обучать и настраивать большие языковые модели непосредственно на стандартном оборудовании, включая потребительские GPU, ноутбуки и даже смартфоны, устраняя прежнюю зависимость от мощных облачных серверов или специализированных решений NVIDIA.

QVAC Fabric LLM переосмысливает высокопроизводительное выполнение и дообучение LLM, которые ранее были доступны только организациям с дорогой инфраструктурой. Это первая унифицированная, портативная и высокомасштабируемая система, способная полностью выполнять вывод LLM, адаптацию LoRA и instruction-tuning на мобильных операционных системах (iOS и Android), а также на всех распространённых средах ноутбуков, настольных ПК и серверов (Windows, macOS, Linux). Это позволяет разработчикам и организациям создавать, внедрять, запускать и персонализировать ИИ независимо, без зависимости от облака, привязки к поставщику или риска утечки конфиденциальных данных с устройства.

Значимым нововведением в этом релизе стала возможность дообучения моделей на мобильных GPU, таких как Qualcomm Adreno и ARM Mali, что делает QVAC Fabric LLM первым готовым к промышленному использованию фреймворком для обучения современных LLM на оборудовании уровня смартфона. Этот прогресс способствует развитию персонализированного ИИ, который может обучаться непосредственно у пользователя на устройстве, обеспечивая конфиденциальность, работу в офлайн-режиме и поддержку нового поколения устойчивых приложений на базе ИИ прямо на устройстве.

QVAC Fabric LLM также расширяет экосистему llama.cpp, добавляя поддержку дообучения современных моделей, таких как LLama3, Qwen3 и Gemma3, которые ранее не поддерживались. Теперь эти модели можно дообучать с помощью единого, простого рабочего процесса на всех аппаратных платформах.

Благодаря поддержке обучения на широком спектре GPU, включая AMD, Intel, NVIDIA, Apple Silicon и мобильные чипы, QVAC Fabric LLM опровергает устоявшееся мнение о необходимости специализированного оборудования одного производителя для развития передового ИИ. Потребительские GPU теперь подходят для серьёзных задач ИИ, а мобильные устройства становятся полноценными платформами для обучения, расширяя возможности развития ИИ.

Для предприятий фреймворк предоставляет стратегические преимущества. Организации могут дообучать ИИ-модели на внутреннем защищённом оборудовании, устраняя необходимость передачи конфиденциальных данных внешним облачным провайдерам. Такой подход поддерживает конфиденциальность, соответствие требованиям регуляторов и экономическую эффективность, а также позволяет внедрять модели ИИ, адаптированные к внутренним нуждам. QVAC Fabric LLM переносит процесс дообучения с централизованных GPU-кластеров на более широкую экосистему устройств, уже находящихся в распоряжении компаний, делая передовой ИИ более доступным и безопасным.

Tether Data выпускает QVAC Fabric LLM с открытым исходным кодом, обеспечивая децентрализованную настройку ИИ

Tether Data сделала QVAC Fabric LLM доступным как программное обеспечение с открытым исходным кодом по лицензии Apache 2.0, предоставив мультиплатформенные бинарные файлы и готовые к использованию адаптеры на Hugging Face. Фреймворк позволяет разработчикам начать дообучение моделей всего несколькими командами, снижая барьеры к персонализации ИИ, которые ранее было сложно преодолеть.

QVAC Fabric LLM — это практический шаг к децентрализованному, управляемому пользователем ИИ. В то время как большая часть индустрии продолжает делать ставку на облачные решения, Tether Data фокусируется на развитии продвинутой персонализации непосредственно на локальном периферийном оборудовании. Такой подход обеспечивает устойчивую работу в регионах с сетями высокой задержки, например, на развивающихся рынках, предлагая платформу ИИ с приоритетом конфиденциальности, устойчивостью и масштабируемостью, способную функционировать независимо от централизованной инфраструктуры.