granite-embedding-125m-english
Steckbrief
Parameter
Kontextlänge
Architektur
Aufbau
Gewichte gespeichert als
Aufgabe
Sprachen
Basiert auf
Veröffentlicht
Zuletzt aktualisiert
Downloads (letzte 30 Tage)
Lizenz und Zugang
Lizenz
Zugang
Sicherheit
Sicherheitsscan von Hugging Face
Gewichtsdateien nach Format
Prüfungen von Facthory
Safetensors- oder GGUF-Dateien neben Pickle-basierten.
Der Scan ist nicht abgeschlossen.
Die Modellkarte gibt ihre Lizenz an.
Die Modellkarte ist nicht öffentlich.
GPU-Rechner
Wie viel Speicher dieses Modell bei einer Quantisierung, Kontextlänge und Zahl gleichzeitiger Sequenzen braucht, welche GPUs es aufnehmen und wie schnell es generieren kann. Schätzungen aus der veröffentlichten Größe und dem Aufbau des Modells, mit den Annahmen unten.
Gewichte
Kontext je Sequenz: 8K Token
Gleichzeitige Sequenzen: 1
KV-Cache
Speicher
0,6 GB
Gewichte: 0,2 GB
KV-Cache: 0,3 GB
Laufzeit: 0,1 GB
| GPU | Speicher | Benötigte GPUs | Je Sequenz | Alle Sequenzen |
|---|---|---|---|---|
| NVIDIA L4 | 24 GB | 1 × | 327 Token/s | 327 Token/s |
| NVIDIA L40S | 48 GB | 1 × | 940 Token/s | 940 Token/s |
| NVIDIA RTX 6000 Ada | 48 GB | 1 × | 1.045 Token/s | 1.045 Token/s |
| NVIDIA RTX PRO 6000 Blackwell | 96 GB | 1 × | 1.950 Token/s | 1.950 Token/s |
| NVIDIA A100 80GB SXM | 80 GB | 1 × | 2.219 Token/s | 2.219 Token/s |
| NVIDIA H100 SXM | 80 GB | 1 × | 3.646 Token/s | 3.646 Token/s |
| NVIDIA H200 SXM | 141 GB | 1 × | 5.224 Token/s | 5.224 Token/s |
| AMD Instinct MI300X | 192 GB | 1 × | 5.768 Token/s | 5.768 Token/s |
| AMD Instinct MI325X | 256 GB | 1 × | 6.530 Token/s | 6.530 Token/s |
Annahmen
- Laufzeitspeicher (Aktivierungen, Puffer) beträgt 10 % von Gewichten und KV-Cache, dazu 1 GB je GPU für das Framework.
- Eine GPU wird zu höchstens 90 % ihres Speichers belegt; Tensor-Parallelität nutzt 1, 2, 4 oder 8 GPUs in einem Server.
- Die Generierung ist durch die Speicherbandbreite bei 60 % der Herstellerangabe begrenzt: Jeder Schritt liest die Gewichte einmal und den KV-Cache jeder Sequenz. Ein Mixture-of-Experts-Modell liest nur seine aktiven Experten und läuft daher schneller als gezeigt.
- Speicher und Bandbreite der GPUs sind die veröffentlichten Herstellerangaben.
Profil
Art
Herkunft
Einsatz
Ein- und Ausgabe
Am 11.11.2026 von Workers AI (@cf/zai-org/glm-4.7-flash) aus den Metadaten des Hubs verfasst: eine Lesart des Anbietertexts, von Facthory nicht geprüft.
Veröffentlichte Benchmarks
So, wie die Modellkarte sie veröffentlicht, mit der Quelle, die sie nennt. Facthory hat sie nicht selbst gemessen; ohne Prüfung durch den Hub sind es Angaben des Anbieters.
| Benchmark | Metrik | Ergebnis | Quelle | Zählt für |
|---|---|---|---|---|
| MTEB AmazonCounterfactualClassification (en) en · test Zählt nicht: nicht auf unserer Liste | accuracy | 63,4 | Modellkarte | Zählt nicht: nicht auf unserer Liste |
| MTEB AmazonCounterfactualClassification (en) en · test Zählt nicht: nicht auf unserer Liste | ap | 26,89 | Modellkarte | Zählt nicht: nicht auf unserer Liste |
| MTEB AmazonCounterfactualClassification (en) en · test Zählt nicht: nicht auf unserer Liste | ap_weighted | 26,89 | Modellkarte | Zählt nicht: nicht auf unserer Liste |
| MTEB AmazonCounterfactualClassification (en) en · test |
EU AI Act
Was der EU AI Act von einem KI-Modell mit allgemeinem Verwendungszweck verlangt, hängt davon ab, wer es wie in der EU in Verkehr bringt. Diese Angaben sind dafür maßgeblich:
- Lizenz: apache-2.0
- Zugang: Gewichte ohne Freigabe herunterladbar
- Parameter: 124,6 Mio.
KI-Modell mit allgemeinem Verwendungszweck (Artikel 3 Nummer 63)
Nicht angezeigt. Seine Aufgabe (sentence-similarity) erzeugt weder Text noch Audio, Bilder oder Video, wie es der Richtwert der Kommission verlangt.
Die Artikel 51 bis 55, die Pflichten für KI-Modelle mit allgemeinem Verwendungszweck, binden seinen Anbieter nicht.
Die EU-AI-Act-Bewertung von Facthory erscheint, sobald eine Person diese Prüfungen geprüft hat. Die Artikel, nach denen wir bewerten
