So bewerten wir Modelle
Jede Bewertung beruht auf veröffentlichten Belegen, jede Angabe mit ihrer Quelle und dem Datum, an dem wir sie gelesen haben. Diese Seite sagt, was wir erheben, wie daraus eine Bewertung wird und wo Bewertungen enden.
Grundsätze
Nur veröffentlichte Belege
Wir lesen, was Anbieter, Hubs und Autoren von Benchmarks veröffentlichen. Ein Ergebnis, das wir selbst erzeugt haben, geben wir nie als ihres aus.
Jede Angabe hat eine Quelle
Jede Angabe auf einer Modellseite verweist auf ihre Herkunft und darauf, wann wir sie gelesen haben.
Maschinen erheben, Menschen prüfen
Crawler erheben, und Modelle auf Cloudflare Workers AI helfen beim Strukturieren und Einordnen; ein Mensch prüft jede Bewertung, bevor sie das Siegel trägt.
Bewertungen folgen den Belegen
Ändern sich ein Modell, seine Dokumentation oder ein Benchmark, wird die Bewertung neu berechnet und datiert.
Quellen
- Modell-Hubs: Model Cards, Dateien, Prüfsummen sowie die Malware- und Pickle-Scans der Hubs
- Dokumentation, technische Berichte, Lizenzen und Urheberrechtsstrategien der Anbieter
- Nach Artikel 53 Abs. 1 lit. d veröffentlichte Zusammenfassungen der Trainingsinhalte
- Das KI-Büro: Benennungen von Modellen mit systemischem Risiko, Vorlagen und Unterzeichner des Praxisleitfadens
- Von ihren Autoren, Anbietern und öffentlichen Ranglisten veröffentlichte Benchmark-Ergebnisse
Die drei Bewertungen
Jede Bewertung ist eine Reihe von Prüfungen. Eine Prüfung wird nach ihren Belegen eingestuft, und die Bewertung ist der Anteil der erfüllten anwendbaren Prüfungen, von 100, wobei teilweise erfüllt halb zählt.
So wird eine Prüfung eingestuft
Erfüllt
Der Beleg ist veröffentlicht und vollständig.
Teilweise erfüllt
Veröffentlicht, aber unvollständig oder veraltet.
Nicht erfüllt
Die Belege zeigen, dass die Prüfung scheitert, etwa bei einer Datei, die der Hub als unsicher einstuft. Sie zählt wie „nicht belegt“.
Nicht belegt
Nichts Veröffentlichtes, das wir finden konnten.
Nicht anwendbar
Die Pflicht bindet dieses Modell nicht, etwa Artikel 55 bei einem Modell ohne systemisches Risiko; sie zählt in keine Richtung.
Sicherheit und Schwachstellen
Was den Systemen schaden könnte, die das Modell laden, oder den Menschen, die es nutzen.
- Sichere Gewichtsformate für jede Datei
- Saubere Ergebnisse der Malware- und Pickle-Scans der Hubs
- Überprüfbare Herkunft: Herausgeber, Prüfsummen, Signaturen
- Eine Lizenz, die die angebotene Nutzung erlaubt
- Veröffentlichte Sicherheitsbewertungen und Red-Teaming
EU AI Act
Eine Prüfung je Pflicht aus den Artikeln 50 bis 56 und den Anhängen XI und XII, die den Anbieter des Modells bindet, gemessen an veröffentlichten Belegen.
- Die Einstufung als systemisches Risiko entscheidet, ob die Prüfungen nach Artikel 55 gelten
- Die Open-Source-Ausnahme nach Artikel 53 Abs. 2 entscheidet, ob lit. a und b gelten
- Pflichten der Betreiber (Artikel 4, 26, 50) stehen neben der Bewertung und zählen nicht mit
Fähigkeiten
Je Kategorie jedes veröffentlichte Benchmark-Ergebnis im Verhältnis zum besten veröffentlichten Ergebnis unter den verglichenen Modellen, von 100.
- Kategorien: Programmieren, Mathematik, logisches Denken, Wissen, Konversation, Sprachen
- Nur Ergebnisse, die die Autoren des Benchmarks oder des Modells veröffentlicht haben, jeweils mit Version
- Rechenbedarf steht neben der Bewertung und zählt nicht mit
Die Benchmarks, die die Fähigkeitsbewertung zählt
Ein Ergebnis zählt für seine Kategorie, wenn die Autoren des Modells es auf der Modellkarte veröffentlichen, für einen der Benchmarks unten, und mindestens zwei Modelle im Katalog denselben Benchmark mit derselben Konfiguration und Metrik angeben. Es erhält seinen Anteil am besten Ergebnis unter ihnen; eine Kategorie erhält den Mittelwert ihrer Ergebnisse, die Fähigkeitsbewertung den Mittelwert ihrer Kategorien.
Programmieren
- HumanEval (Definiert in arxiv.org/abs/2107.03374)
- MBPP (Definiert in arxiv.org/abs/2108.07732)
- LiveCodeBench (Definiert in arxiv.org/abs/2403.07974)
- SWE-bench (Definiert in arxiv.org/abs/2310.06770)
Mathematik
- GSM8K (Definiert in arxiv.org/abs/2110.14168)
- MATH (Definiert in arxiv.org/abs/2103.03874)
Schlussfolgern
- GPQA (Definiert in arxiv.org/abs/2311.12022)
- ARC (Definiert in arxiv.org/abs/1803.05457)
- HellaSwag (Definiert in arxiv.org/abs/1905.07830)
- WinoGrande (Definiert in arxiv.org/abs/1907.10641)
- BIG-Bench Hard (Definiert in arxiv.org/abs/2210.09261)
- DROP (Definiert in arxiv.org/abs/1903.00161)
Wissen
- MMLU-Pro (Definiert in arxiv.org/abs/2406.01574)
- MMLU (Definiert in arxiv.org/abs/2009.03300)
- TriviaQA (Definiert in arxiv.org/abs/1705.03551)
Konversation
- IFEval (Definiert in arxiv.org/abs/2311.07911)
- MT-Bench (Definiert in arxiv.org/abs/2306.05685)
- AlpacaEval (Definiert in arxiv.org/abs/2404.04475)
- Arena-Hard (Definiert in arxiv.org/abs/2406.11939)
Sprachen
- MGSM (Definiert in arxiv.org/abs/2210.03057)
- Global-MMLU (Definiert in arxiv.org/abs/2412.03304)
- Ergebnisse, die eine Karte dem Open LLM Leaderboard zuschreibt, sind Läufe des Leaderboards, nicht der Autoren, und zählen nicht.
- Die Evaluierungen von Epoch AI stehen getrennt auf den Benchmark-Seiten und zählen nicht: Es sind Läufe von Epoch.
- Fehlermetriken, bei denen ein niedrigerer Wert besser ist, zählen nicht.
- Schreibt eine Karte 0,71 und eine andere 71 für denselben Vergleich, gilt 0,71 als 71.
Das Siegel Facthory Verified
Ein Modell trägt das Siegel, wenn alle drei Bewertungen die mit ihnen veröffentlichten Schwellen erreichen, kein kritischer Befund offen ist und ein Mensch die Belege geprüft hat. Es wird entzogen, sobald eine dieser Bedingungen nicht mehr zutrifft.
Wo Bewertungen enden
- Eine Bewertung beschreibt veröffentlichte Belege, nicht das tatsächliche Verhalten des Modells in Ihren Systemen.
- Ein Dokument, das wir nicht finden konnten, ist „nicht belegt“, kein Verstoß gegen den EU AI Act.
- Bewertungen sind keine Rechtsberatung. Ob eine Verwendung hochriskant ist, hängt von der Verwendung ab, nicht vom Modell.
- Benchmarks messen, was sie messen: Testen Sie ein Modell an Ihren eigenen Aufgaben, bevor Sie sich darauf verlassen.
Korrekturen
Ein Anbieter oder Autor, der eine Angabe falsch oder veraltet findet, kann sie uns mit Quelle mitteilen. Wir prüfen sie und aktualisieren die Bewertung mit Datum.
