Lösungsansätze für effizientere MoE-Architekturen
Die Forschungsarbeiten von Nota AI widmen sich einer zentralen Hürde bei sogenannten Mixture-of-Experts-Modellen (MoE), wie sie etwa in modernen Sprachmodellen wie Qwen oder Kimi zum Einsatz kommen. Diese Architekturen aktivieren pro Eingabe-Token zwar nur eine ausgewählte Teilmenge spezialisierter Experten-Netzwerke, müssen jedoch weiterhin das gesamte Modell im Arbeitsspeicher bereithalten. Eine mathematische Verkleinerung der Datenpräzision (Quantisierung) verringert zwar den Speicherbedarf, führt aber bei herkömmlichen Verfahren oft zu Rundungsfehlern. Dadurch werden unter Umständen falsche Experten ausgewählt, was die Ausgabequalität der KI spürbar verschlechtert.Mit zwei komplementären Ansätzen wirkt das Unternehmen diesem Präzisionsverlust entgegen. Das im Hauptprogramm der EMNLP 2026 gewürdigte Verfahren MENDS-MoE analysiert, wie sich die Quantisierung in jedem einzelnen Rechenschritt auf die Expertenauswahl auswirkt. Die Methode bewahrt die Rangfolge der Experten im Bereich kritischer Entscheidungsgrenzen. In Versuchen mit 3-Bit- und 4-Bit-Quantisierungen über drei verschiedene MoE-Modelle hinweg lieferte MENDS-MoE eine höhere durchschnittliche Genauigkeit als bisherige Vergleichsverfahren.
Ergänzend dazu stellt die in den „Findings“ der Konferenz veröffentlichte Methode OPERA einen selektiven Optimierungsansatz vor: Statt jede minimale Abweichung bei der Expertenauswahl zu korrigieren, konzentriert sich die Optimierung gezielt auf jene Korrekturen, die das finale Endergebnis des Modells maßgeblich beeinflussen. Beide Ansätze sorgen somit dafür, dass die Routing-Entscheidungen der KI auch nach der Modellverkleinerung stabil bleiben.
Deutliche Einsparungen bei Hardware und Infrastruktur
Die praktischen Auswirkungen dieser Forschung spiegeln sich bereits in konkreten Anwendungsfällen wider. Bei Versuchen mit dem Großmodell Qwen3.8-Max, das über mehr als eine Billion Parameter verfügt, konnte der Bedarf an Grafikkarten von ursprünglich 24 Einheiten auf lediglich vier NVIDIA B300 GPUs gesenkt werden. Auch bei anderen Modellen zeigen sich deutliche Effizienzgewinne: Das Modell Kimi K3 von Moonshot AI benötigt nach der Optimierung nur noch vier statt acht B300 GPUs, während das Modell Solar Open 2 von Upstage mit zwei statt bisher acht NVIDIA H100 GPUs auskommt.Diese Ergebnisse schließen an vorherige Erfolge des Unternehmens an. Beim „Efficient Qwen Competition“ im Rahmen der ICML 2026 belegte Nota AI den dritten Platz unter etwa 40 internationalen Teams. Dabei gelang es, das Sprachmodell Qwen3.5-4B auf einer einzelnen NVIDIA A10G GPU bei voller Modellleistung um das 6,978-Fache gegenüber dem Standardwert zu beschleunigen.
Da KI-Modelle auf Hunderte Milliarden oder Billionen von Parametern anwachsen, verlagert sich der Wettbewerbsschwerpunkt der Branche von der reinen Modellleistung hin zur betrieblichen Effizienz. Dieser Erfolg zeigt, dass Nota AI durch jahrelange Forschung im Bereich der KI-Optimierung die technische Grundlage geschaffen hat, die erforderlich ist, um die Effizienz großer Sprachmodelle und der KI-Infrastruktur von Rechenzentren zu verbessern. Wir werden weiterhin in Forschung und Entwicklung investieren, um mit architektonischen Veränderungen bei modernsten KI-Modellen Schritt zu halten. Gleichzeitig werden wir den Einsatzbereich unserer zentralen Optimierungstechnologie erweitern, um KI-Infrastrukturen effizienter zu gestalten.
