falcon-mamba-7b
Falcon-Mamba-7B ist ein kausales, nur-Decoder-Modell, das von TII entwickelt wurde und hauptsächlich auf englischen Daten aus Refined-Web und FineWeb-Edu trainiert wurde, um lange Kontextlängen zu verarbeiten.
Steckbrief
Parameter
Kontextlänge
Architektur
Aufbau
Gewichte gespeichert als
Aufgabe
Sprachen
Basiert auf
Veröffentlicht
Zuletzt aktualisiert
Downloads (letzte 30 Tage)
Lizenz und Zugang
Lizenz
Zugang
Sicherheit
Sicherheitsscan von Hugging Face
Gewichtsdateien nach Format
Prüfungen von Facthory
Alle Gewichtsdateien sind Safetensors oder GGUF.
Keine Datei markiert.
Die Modellkarte gibt ihre Lizenz an.
GPU-Rechner
Wie viel Speicher dieses Modell bei einer Quantisierung, Kontextlänge und Zahl gleichzeitiger Sequenzen braucht, welche GPUs es aufnehmen und wie schnell es generieren kann. Schätzungen aus der veröffentlichten Größe und dem Aufbau des Modells, mit den Annahmen unten.
Gewichte
Kontext je Sequenz: 8K Token
Gleichzeitige Sequenzen: 1
KV-Cache
Speicher
16 GB
Gewichte: 15 GB
KV-Cache: –
Laufzeit: 1,5 GB
Der Aufbau des Modells ist nicht veröffentlicht, daher ist der KV-Cache nicht enthalten.
| GPU | Speicher | Benötigte GPUs | Je Sequenz | Alle Sequenzen |
|---|---|---|---|---|
| NVIDIA L4 | 24 GB | 1 × | 12 Token/s | 12 Token/s |
| NVIDIA L40S | 48 GB | 1 × | 36 Token/s | 36 Token/s |
| NVIDIA RTX 6000 Ada | 48 GB | 1 × | 40 Token/s | 40 Token/s |
| NVIDIA RTX PRO 6000 Blackwell | 96 GB | 1 × | 74 Token/s | 74 Token/s |
| NVIDIA A100 80GB SXM | 80 GB | 1 × | 84 Token/s | 84 Token/s |
| NVIDIA H100 SXM | 80 GB | 1 × | 138 Token/s | 138 Token/s |
| NVIDIA H200 SXM | 141 GB | 1 × | 198 Token/s | 198 Token/s |
| AMD Instinct MI300X | 192 GB | 1 × | 219 Token/s | 219 Token/s |
| AMD Instinct MI325X | 256 GB | 1 × | 248 Token/s | 248 Token/s |
Annahmen
- Laufzeitspeicher (Aktivierungen, Puffer) beträgt 10 % von Gewichten und KV-Cache, dazu 1 GB je GPU für das Framework.
- Eine GPU wird zu höchstens 90 % ihres Speichers belegt; Tensor-Parallelität nutzt 1, 2, 4 oder 8 GPUs in einem Server.
- Die Generierung ist durch die Speicherbandbreite bei 60 % der Herstellerangabe begrenzt: Jeder Schritt liest die Gewichte einmal und den KV-Cache jeder Sequenz. Ein Mixture-of-Experts-Modell liest nur seine aktiven Experten und läuft daher schneller als gezeigt.
- Speicher und Bandbreite der GPUs sind die veröffentlichten Herstellerangaben.
Profil
Art
Herkunft
Familie
Einsatz
Ein- und Ausgabe
Am 12.11.2026 von Workers AI (@cf/zai-org/glm-4.7-flash) aus der Modellkarte und den Metadaten des Hubs verfasst: eine Lesart des Anbietertexts, von Facthory nicht geprüft.
Veröffentlichte Benchmarks
So, wie die Modellkarte sie veröffentlicht, mit der Quelle, die sie nennt. Facthory hat sie nicht selbst gemessen; ohne Prüfung durch den Hub sind es Angaben des Anbieters.
| Benchmark | Metrik | Ergebnis | Quelle | Zählt für |
|---|---|---|---|---|
| BBH (3-Shot) Zählt nicht: Lauf des Leaderboards | normalized accuracy | 19,88 | Open LLM Leaderboard | Zählt nicht: Lauf des Leaderboards |
| GPQA (0-shot) Zählt nicht: Lauf des Leaderboards | acc_norm | 8,05 | Open LLM Leaderboard | Zählt nicht: Lauf des Leaderboards |
| IFEval (0-Shot) Zählt nicht: Lauf des Leaderboards | strict accuracy | 33,36 | Open LLM Leaderboard | Zählt nicht: Lauf des Leaderboards |
| MATH Lvl 5 (4-Shot) Zählt nicht: Lauf des Leaderboards | exact match | 3,63 | Open LLM Leaderboard |
EU AI Act
Was der EU AI Act von einem KI-Modell mit allgemeinem Verwendungszweck verlangt, hängt davon ab, wer es wie in der EU in Verkehr bringt. Diese Angaben sind dafür maßgeblich:
- Lizenz: other
- Zugang: Gewichte ohne Freigabe herunterladbar
- Parameter: 7,3 Mrd.
KI-Modell mit allgemeinem Verwendungszweck (Artikel 3 Nummer 63)
Nicht bestimmt. Es ist keine Schätzung des Trainingsaufwands veröffentlicht, die der Richtwert der Kommission (10²³ FLOP) braucht. Ist es ein KI-Modell mit allgemeinem Verwendungszweck, binden die folgenden Pflichten seinen Anbieter.
Systemisches Risiko (Artikel 51)
Nicht vermutet. Es ist keine Schätzung des Trainingsaufwands veröffentlicht; ohne sie oder eine Einstufung durch die Kommission nach Artikel 52 gilt Artikel 55 nicht.
Open-Source-Ausnahme (Artikel 53 Absatz 2)
Gilt nicht. Seine Lizenz (other) ist keine freie und quelloffene Lizenz, die jedem erlaubt, das Modell zu nutzen, zu untersuchen, zu ändern und weiterzugeben.
Verhaltenskodex für KI-Modelle mit allgemeinem Verwendungszweck
Technology Innovation Institute steht nicht auf der Liste der Unterzeichner der Europäischen Kommission. Der Kodex ist freiwillig.
Was Modellkarte und Anbieter dokumentieren
Die Modellkarte veröffentlicht die Angaben der technischen Dokumentation.
