Fibo 2.0: Gist-Kompression, doppelte Textinjektion und Clean-Latent-Editing

Bria veröffentlichte Fibo 2.0 Dev für Bildgenerierung und -bearbeitung sowie Fibo 2.0 Edit Turbo für destilliertes Editing in vier Schritten. Hugging Face mergte die produktive Diffusers-Integration am 20. Oktober 2026. Dieser Artikel prüft die gemergte Implementierung am Commit de988b7ee77c393a63865d265d19e267ef9c7bf5; er leitet die Architektur nicht aus Produktversprechen ab.¹²³

Der interessante Mechanismus ist eine Konditionierung über zwei Pfade. Qwen3-VL-Features werden zu 256–512 Gist-Tokens komprimiert, die an jedem Haupt-DiT-Block teilnehmen. Fünf ausgewählte Blöcke führen zusätzlich Cross-Attention auf die vollständige Qwen-Feature-Sequenz aus. Beim Editing gelangt jedes Quellbild ein zweites Mal als saubere VAE-Latents in denselben Self-Attention-Strom wie das verrauschte Ziel. Die Kompression begrenzt damit einen teuren Pfad, ohne die vollständige Textsequenz unerreichbar zu machen.⁴⁵

KI-Hinweis: Dieser Artikel wurde mit Unterstützung generativer KI erstellt. Redaktionell verantwortlich: Florian Zimmermeister (flozi00). Impressum und Kontakt.

Die veröffentlichte Pipeline, nicht nur das 8,1B-Label

Die Diffusers-Dokumentation bezeichnet den Denoiser als Flow-Matching-Transformer mit 8,1 Milliarden Parametern. Diese Zahl beschreibt nicht die vollständig residente Pipeline: Für die Inferenz werden außerdem Qwen3-VL-4B-Instruct als multimodaler Encoder und eine FLUX.2-VAE geladen. Die Checkpoint-Repositories sind zugriffsbeschränkt. Modellseiten und gemergte Implementierung waren prüfbar, die Gewichts-Payloads und gelernten Gate-Werte wurden in dieser Analyse jedoch nicht heruntergeladen.¹⁶

Ein 2×2-Patch der 32-kanaligen Latents enthält 128 Skalare und wird auf Breite 3.584 projiziert. Weil das VAE-Latentgitter ein Achtel der Pixelauflösung besitzt, deckt ein DiT-Token eine Region von 16×16 Pixeln ab. Ein Ziel mit 1.024×1.024 Pixeln erzeugt daher $64\times64=4{,}096$ Ziel-Tokens. Das ist eine Ableitung aus Tensorformen, keine Messung von Bildqualität oder Durchsatz.⁴⁵

Die 128 Dimensionen jedes Attention-Heads verteilen sich auf drei RoPE-Achsen. Gist-Tokens laufen auf der ersten Achse fort. Das verrauschte Ziel belegt immer Plane 513, weil der Code die maximalen 512 Gist-Positionen reserviert und nicht die tatsächliche Gist-Anzahl des Prompts verwendet. Quellbild $k$ liegt auf Plane $513+k$ und besitzt ein eigenes Zeilen-/Spaltengitter. So bleibt die Bildgeometrie getrennt, obwohl alle Tokens gewöhnliche nichtkausale Self-Attention teilen.⁴

Qwen3-VL wird in sechs unterschiedlichen Bundles gelesen

Die Pipeline führt Qwen3-VL mit aktivierter Hidden-State-Ausgabe aus. Sie verwendet tokenweise RMS-Normalisierung in FP32 mit Epsilon $10^{-6}$ und castet zurück in den Encoder-Datentyp. Je drei ausgewählte Zustände werden zu einem 7.680 Werte breiten Bundle pro Token konkateniert. Die folgenden Zahlen sind Indizes des zurückgegebenen hidden_states-Tupels; Index 0 enthält die Embedding-Ausgabe. Sie sind keine nullbasierten Decoder-Blocknummern. Tupelindex 9 folgt beispielsweise auf Decoder-Block 8.⁵⁷

Qwen3-VL wird dafür nicht sechsmal ausgeführt. Ein Encoder-Durchlauf stellt mehrere Hidden Layer bereit; die Pipeline ordnet sie zu einem Tensor der Form [B, 6, L, 7680] an. Das erste Bundle speist den Perceiver. Jedes der übrigen fünf wird einmal von seinem zugeordneten DiT-Block verbraucht.⁵

In einem Injektionsblock stammen die Queries aus dem 3.584 Werte breiten DiT-Strom, während Keys und Values aus dem 7.680 Werte breiten Qwen-Bundle projiziert werden. Das Residuum wird mit $anh(g_\ell)$ multipliziert. $g_\ell$ ist ein gelernter Skalar, der in der Implementierungsklasse mit null initialisiert wird. Diese Initialisierung beschreibt den Codepfad, nicht den gelernten Skalarwert des veröffentlichten Checkpoints; dieser wurde nicht auditiert.⁴

Dynamische Gist-Kompression und ihre Mathematik

Sei $L$ die Anzahl realer Qwen-Tokens nach einer Kürzung auf höchstens 4.096. Fibo bildet Textlängen von 256 bis 2.048 linear auf 256 bis 512 Gist-Queries ab, rundet in 64er-Schritten auf und begrenzt Werte außerhalb dieses Intervalls. Die exakte Implementierung lautet:⁴

Jeder der zwei Perceiver-Layer führt zuerst Cross-Attention von gelernten Queries [B, G, 3584] auf das Qwen-Bundle [B, L, 7680] aus, danach Self-Attention zwischen den $G$ Queries und schließlich einen Feed-Forward-Block. Der führende Attention-Aufwand skaliert damit wie $GL+G^2$ und nicht wie $L^2$. Die resultierenden Gist-Vektoren gelangen in den gemeinsamen DiT-Strom.⁴

Die Kompression ist verlustbehaftet: 512 Vektoren können im Allgemeinen nicht jeden Freiheitsgrad von 4.096 Quellvektoren erhalten. Sie ist jedoch nicht der einzige Textpfad. Fünf Hauptblöcke führen weiterhin Cross-Attention auf alle $L$ Qwen-Positionen aus. Die Architektur tauscht einen kontinuierlichen Vollsequenz-Zugriff in allen 44 Self-Attention-Blöcken gegen eine überall verfügbare begrenzte Zusammenfassung plus fünf Refresh-Punkte mit voller Auflösung. Ob das die Bildqualität verbessert, ist eine empirische Frage; der Quellcode belegt den Datenfluss, nicht die Effektgröße.

Warum der begrenzte Strom zählt

Für ein Ziel mit $N$ Tokens, Kontextbilder mit jeweils $C_k$ Tokens und $G$ Gist-Tokens führt jeder Hauptblock Self-Attention über folgende Länge aus:

Bei einem langen Prompt ($G=512$) und Bildern mit 1.024×1.024 Pixeln ($N=C_k=4{,}096$) wachsen Sequenz und quadratische Anzahl der Score-Paare wie folgt. IO-effiziente Kernel können die Materialisierung der vollständigen Score-Matrix vermeiden, entfernen aber nicht die paarweisen Skalarprodukte.⁴

Würden anstelle von 512 Gist-Tokens alle 2.048 Qwen-Positionen dem Strom beitreten, hätte die Sequenz ohne Quellbild eine Länge von 6.144; der Score-Paar-Term wäre 1,78× größer. Dieser Vergleich isoliert nur den Textbeitrag des Hauptstroms. Qwen-Encoding verursacht weiterhin Arbeit, beide Perceiver-Layer führen weiterhin Cross-Attention über $L$ aus und fünf Injektionsblöcke behalten Volltext-Cross-Attention. Die Gist-Kompression macht die vollständige Pipeline nicht unabhängig von der Promptlänge.

Die Tabelle zeigt zugleich die Editing-Grenze: Fünf Quellbilder zu unterstützen ist ein funktionales Maximum, keine Aussage über günstige Ausführung. Bei gleicher Größe von ungefähr einem Megapixel erhöhen fünf saubere Kontexte den Self-Attention-Paarterm des Hauptstroms um fast den Faktor 30 – noch ohne die zwei Noise-Refiner-Blöcke. Der reale Speicherverbrauch hängt stark von Attention-Backend, Präzision und Aktivierungsstrategie ab.

Editing schickt jedes Quellbild durch zwei Pfade

Ein Quellbild wird zunächst für Qwen3-VL skaliert, wobei jede Seite auf höchstens 768 Pixel begrenzt wird. Der Encoder kann diese visuellen Tokens zur Interpretation von Objekten, Text und Editing-Anweisung nutzen. Separat codiert die FLUX.2-VAE das zugeschnittene Bild in einen 32-kanaligen Latent-Tensor. Das DiT zerlegt diesen Tensor mit derselben Projektion wie das verrauschte Ziel in Patches und hängt ihn als saubere Kontext-Tokens an.⁵⁸

Die Zielpositionen erhalten den aktuellen Flow-Zeitpunkt. Gist- und Kontextpositionen erhalten das Embedding für $t=0$. Per-Token-AdaLN-Skalen und Residual-Gates wählen zwischen den verrauschten und sauberen Timestep-Embeddings. Alle Positionen interagieren per Self-Attention, doch der abschließende Layer schneidet ausschließlich die Zielpositionen aus und sagt nur diese voraus; saubere Kontextpositionen werden nie als Ausgabe decodiert.⁴

Diese doppelte Repräsentation hat eine konkrete Arbeitsteilung:

• Der Qwen-Pfad liefert semantische, anweisungsbezogene Features in Text-Token-Auflösung.
• Der VAE-Pfad liefert räumlich angeordnete Bild-Latents an jeden Self-Attention-Block.
• Ein Quellbild kann die Generierung damit sowohl über semantische Features als auch über direkten Latent-Kontext beeinflussen.

Dieser Datenfluss kann Informationen bewahren, die ein einzelner Pfad auslässt; der Code beweist jedoch keinen Qualitätsvorteil. Er verdoppelt außerdem Arbeit: Quellbilder werden sowohl von Qwen3-VL als auch von der VAE verarbeitet, anschließend vergrößern ihre Latent-Tokens jeden DiT-Attention-Layer.

Eine Maske ist Vorverarbeitung und keine harte Ausgabebedingung. Die Implementierung setzt bei 128 einen Schwellwert und ersetzt ausgewählte Quellpixel vor Skalierung und VAE-/Qwen-Encoding durch flaches RGB $(128,128,128)$. Es gibt keinen abschließenden Pixel-Compositor, der unmaskierte Quellpixel zurückkopiert. „Masked Edit“ bedeutet daher konditionierte Regenerierung aus einer ausgegrauten Quelle und keine mathematisch garantierte Unveränderlichkeit außerhalb der Maske.⁸⁶

Dev gegenüber Edit Turbo: exakte Aufrufzahl, kein Speed-Benchmark

Die Dev-Standards sind 30 Denoising-Schritte mit Guidance-Skala 5. Jeder Guidance-Wert über eins aktiviert Classifier-Free Guidance: Pro Schritt läuft der Transformer einmal für die positive und einmal für die negative Konditionierung. Der Standardpfad von Dev führt damit 60 Transformer-Aufrufe aus.⁵⁶

Edit Turbo ist für vier Editing-Schritte mit Guidance-Skala 1 dokumentiert; damit entfällt der negative Durchlauf. Dieser Pfad führt vier Transformer-Aufrufe aus, also 15× weniger Denoiser-Aufrufe. Das ergibt nicht automatisch 15× weniger Latenz oder Kosten: Qwen3-VL- und VAE-Arbeit, Modellladen, Attention-Sequenzlänge, Kernel-Effizienz, Offloading und Scheduling bleiben bestehen. Die Turbo-Model-Card begrenzt den Checkpoint außerdem auf Editing; Text-to-Image bleibt der unterstützte Pfad von Dev.²⁶

Produktionsgrenzen

• Batches mit variabler Länge brauchen ein maskenfähiges Backend. Aufgefüllte Gist-Tokens werden ans Ende verschoben, weil Varlen-FlashAttention-Backends die ersten gültigen Keys behalten. Ein Backend ohne Masken wie _flash_3_hub eignet sich nur für einen einzelnen Prompt oder gleiche Längen. Diffusers weist darauf hin, dass sich gepaddete und ungepaddete BF16-Kernel in feinen Details unterscheiden können.⁶³
• Full-Graph-Kompilierung bricht an dynamischen Gist-Anzahlen. Die Implementierung wandelt Längen je Prompt mit .tolist() um. Die Integration dokumentiert dies als Graph Break für torch.compile(transformer); regionale Kompilierung wiederholter Blöcke bleibt möglich.³
• Textbild-Konditionierung ändert sich während der Generierung. Fordert eine Caption gerenderten Text an, lässt die Generierung die zusätzlichen Textbilder zunächst weg und aktiviert sie ab einem Noise-Level von $t\le0{,}9$. Editing verwendet sie in jedem Schritt. Das ist ein bewusster Konditionierungszeitplan und kein invariantes Prompt-Embedding.⁵
• Die Modellseiten sind zugriffsbeschränkt. Der Zugriff erfordert die Annahme der Repository-Bedingungen. Die Hub-Metadaten nennen die Lizenz bria-fibo; die Cards beschreiben nichtkommerzielle Modellnutzung und eine separate kommerzielle Vereinbarung. Dieser Artikel trifft keine Aussage zur rechtlichen Kompatibilität.¹²
• Es wird kein lokales Performance-Ergebnis behauptet. Der Diffusers-PR berichtet Referenz-Paritätstests auf A100 und H100. Diese Analyse prüfte nur Quellcode und Rechnungen; sie führte die Gewichte nicht aus und maß weder VRAM, Durchsatz, Latenz noch Ausgabequalität.³

Was tatsächlich neu ist

Fibo 2.0 ersetzt Attention nicht durch ein neues Grundelement. Der Architekturbeitrag liegt in der Kombination bekannter Mechanismen: multimodaler Encoder, längenadaptive Perceiver-Queries, Single-Stream-Flow-Transformer, wenige Volltext-Refresh-Punkte und saubere Bild-Latents, die durch Timestep und 3D-RoPE-Koordinaten unterschieden werden.

Der entscheidende Produktionstradeoff wird in den Gleichungen sichtbar. Gist-Tokens begrenzen den Textbeitrag zur quadratischen Self-Attention aller Blöcke, während fünf Vollsequenz-Injektionen einen hochauflösenden Pfad erhalten. Saubere Kontexte vermeiden ein separates Image-Cross-Attention-Subsystem, lassen die Editing-Kosten aber quadratisch mit der kombinierten Anzahl aus Ziel- und Quell-Tokens wachsen. Zum Vergleich nutzt der Guide zu Qwen-Image 2.1 blockkausale Attention und einen wiederverwendbaren Prefix-Cache; Fibo 2.0 hält Ziel- und Quell-Latents stattdessen in jedem Schritt in einem gemeinsamen bidirektionalen Strom.