Was ist passiert

Tether Data hat das QVAC Fabric LLM eingeführt, ein Edge-First Large Language Model (LLM) Inferenz-Laufzeit, kombiniert mit einem allgemeinen LLM Low-Rank Adaptation (LoRA) Feinabstimmungsrahmen. Diese Technologie unterstützt moderne KI-Modelle, die effizient auf heterogenen Plattformen wie GPUs, Smartphones, Laptops und Servern laufen. Der Rahmen ermöglicht die KI-Verarbeitung auf dem Gerät, die darauf ausgelegt ist, die Ressourcennutzung zu optimieren und die Inferenzgeschwindigkeit für Anwendungen mit LLM-Funktionen zu verbessern.

Kontext
Die Veröffentlichung von QVAC Fabric LLM steht im Einklang mit einem breiteren Branchentrend, der die KI-Berechnung am Rand betont – wo Daten lokal auf Benutzergeräten verarbeitet werden, anstatt auf zentralen Cloud-Servern, um die Privatsphäre zu verbessern, die Latenz zu reduzieren und Bandbreite zu sparen. LoRA-Finetuning ist eine Technik, die es Modellen ermöglicht, sich mit weniger Rechenressourcen an neue Aufgaben anzupassen, indem ein kleinerer Teil der Parameter aktualisiert wird, was es praktisch für eine Vielzahl von Geräten macht. Tether Data, ein Unternehmen