Nota AI: Neue KI-Quantisierung spart immense Rechenleistung

Zwei Fachbeiträge zur MoE-Modelloptimierung für die EMNLP 2026 angenommen

---

25.08.2026  Redaktion  0 Likes  0 Kommentare 

---

---

Wenn du die Entwicklung moderner Sprachmodelle verfolgst, kennst du das grundlegende Problem: Je mächtiger die Systeme werden, desto gewaltiger fällt der Bedarf an Grafikkarten und Speicher aus. Das auf KI-Modelloptimierung spezialisierte Unternehmen Nota AI hat nun wissenschaftliche Durchbrüche erzielt, die diesen Ressourcenhunger drastisch verringern können. Auf der renommierten Fachkonferenz EMNLP 2026 wurden zwei wissenschaftliche Arbeiten des Entwicklers angenommen – bei einer Gesamtzahl von rund 18.000 Einreichungen und einer Annahmequote von lediglich 15,4 Prozent für das Hauptprogramm.

Lösungsansätze für effizientere MoE-Architekturen
Die Forschungsarbeiten von Nota AI widmen sich einer zentralen Hürde bei sogenannten Mixture-of-Experts-Modellen (MoE), wie sie etwa in modernen Sprachmodellen wie Qwen oder Kimi zum Einsatz kommen. Diese Architekturen aktivieren pro Eingabe-Token zwar nur eine ausgewählte Teilmenge spezialisierter Experten-Netzwerke, müssen jedoch weiterhin das gesamte Modell im Arbeitsspeicher bereithalten. Eine mathematische Verkleinerung der Datenpräzision (Quantisierung) verringert zwar den Speicherbedarf, führt aber bei herkömmlichen Verfahren oft zu Rundungsfehlern. Dadurch werden unter Umständen falsche Experten ausgewählt, was die Ausgabequalität der KI spürbar verschlechtert.

Mit zwei komplementären Ansätzen wirkt das Unternehmen diesem Präzisionsverlust entgegen. Das im Hauptprogramm der EMNLP 2026 gewürdigte Verfahren MENDS-MoE analysiert, wie sich die Quantisierung in jedem einzelnen Rechenschritt auf die Expertenauswahl auswirkt. Die Methode bewahrt die Rangfolge der Experten im Bereich kritischer Entscheidungsgrenzen. In Versuchen mit 3-Bit- und 4-Bit-Quantisierungen über drei verschiedene MoE-Modelle hinweg lieferte MENDS-MoE eine höhere durchschnittliche Genauigkeit als bisherige Vergleichsverfahren.

Ergänzend dazu stellt die in den „Findings“ der Konferenz veröffentlichte Methode OPERA einen selektiven Optimierungsansatz vor: Statt jede minimale Abweichung bei der Expertenauswahl zu korrigieren, konzentriert sich die Optimierung gezielt auf jene Korrekturen, die das finale Endergebnis des Modells maßgeblich beeinflussen. Beide Ansätze sorgen somit dafür, dass die Routing-Entscheidungen der KI auch nach der Modellverkleinerung stabil bleiben.

Deutliche Einsparungen bei Hardware und Infrastruktur
Die praktischen Auswirkungen dieser Forschung spiegeln sich bereits in konkreten Anwendungsfällen wider. Bei Versuchen mit dem Großmodell Qwen3.8-Max, das über mehr als eine Billion Parameter verfügt, konnte der Bedarf an Grafikkarten von ursprünglich 24 Einheiten auf lediglich vier NVIDIA B300 GPUs gesenkt werden. Auch bei anderen Modellen zeigen sich deutliche Effizienzgewinne: Das Modell Kimi K3 von Moonshot AI benötigt nach der Optimierung nur noch vier statt acht B300 GPUs, während das Modell Solar Open 2 von Upstage mit zwei statt bisher acht NVIDIA H100 GPUs auskommt.

Diese Ergebnisse schließen an vorherige Erfolge des Unternehmens an. Beim „Efficient Qwen Competition“ im Rahmen der ICML 2026 belegte Nota AI den dritten Platz unter etwa 40 internationalen Teams. Dabei gelang es, das Sprachmodell Qwen3.5-4B auf einer einzelnen NVIDIA A10G GPU bei voller Modellleistung um das 6,978-Fache gegenüber dem Standardwert zu beschleunigen.

Da KI-Modelle auf Hunderte Milliarden oder Billionen von Parametern anwachsen, verlagert sich der Wettbewerbsschwerpunkt der Branche von der reinen Modellleistung hin zur betrieblichen Effizienz. Dieser Erfolg zeigt, dass Nota AI durch jahrelange Forschung im Bereich der KI-Optimierung die technische Grundlage geschaffen hat, die erforderlich ist, um die Effizienz großer Sprachmodelle und der KI-Infrastruktur von Rechenzentren zu verbessern. Wir werden weiterhin in Forschung und Entwicklung investieren, um mit architektonischen Veränderungen bei modernsten KI-Modellen Schritt zu halten. Gleichzeitig werden wir den Einsatzbereich unserer zentralen Optimierungstechnologie erweitern, um KI-Infrastrukturen effizienter zu gestalten.

Mit mittlerweile über 50 wissenschaftlichen Publikationen auf internationalen Konferenzen deckt das Unternehmen ein breites Spektrum ab – von Pruning und Quantisierung über mobile KI bis hin zu Vision-Language-Modellen.

Dieser Artikel kann Affiliate-Links enthalten, die mit gekennzeichnet sind. Als Amazon-Partner verdienen wir an qualifizierten Verkäufen. Für dich ändert sich dadurch nichts, auch nicht am Preis, aber du unterstützt damit dieses Projekt. Dieser Beitrag wurde mithilfe generativer KI erstellt und vor der Veröffentlichung redaktionell geprüft. Mehr zum Thema Transparenz.