Ihre Privatsphäre ist uns wichtig

Wir verwenden Cookies, um Ihr Surferlebnis zu verbessern, Inhalte zu personalisieren und unseren Datenverkehr zu analysieren. Mit einem Klick auf „Alle akzeptieren“ stimmen Sie der Verwendung von Cookies zu. Cookie-Richtlinie

Weitere Optionen
Zum Inhalt springen
FacthoryFacthory
FacthoryFacthory
    • Arbeitsbereich
    • Agent
    • Wissen
    • Analysen
    • Office-Apps
    • Desktop
    Alle Funktionen
    Neuigkeiten
    Herunterladen
  • Nach Aufgabe

    • Wissensrisiko & Wissenslücken im Unternehmen
    • Wissenschaftliche Forschung & Experimente
    • Autonome Analytik & Erkenntnisgewinnung
    • Einsatzbereitschaft der Belegschaft & adaptives Lernen
    • SOP-Governance & betriebliche Standardisierung
    • Prozesserkennung und kontinuierliche Optimierung
    • Alle Lösungen

    Nach Branche

    • Fertigung
    • Automobil
    • Bau & Infrastruktur
    • Immobilien
    • Öffentlicher Sektor
    • Life Sciences
    • Alle Branchen
  • Facthory für

    • Regulierte Branchen
    • On-Premises
    • Entwickler

    Entdecken

    • Neuigkeiten
    • Blog
    • Fallstudien
    • Webinare
    • Modelle

    Lernen

    • Dokumentation
    • Hilfecenter
  • Preise
  • Download
AnmeldenJetzt starten
Zurück zu den ModellenMethodik

So bewerten wir Modelle

Jede Bewertung beruht auf veröffentlichten Belegen, jede Angabe mit ihrer Quelle und dem Datum, an dem wir sie gelesen haben. Diese Seite sagt, was wir erheben, wie daraus eine Bewertung wird und wo Bewertungen enden.

Grundsätze

Nur veröffentlichte Belege

Wir lesen, was Anbieter, Hubs und Autoren von Benchmarks veröffentlichen. Ein Ergebnis, das wir selbst erzeugt haben, geben wir nie als ihres aus.

Jede Angabe hat eine Quelle

Jede Angabe auf einer Modellseite verweist auf ihre Herkunft und darauf, wann wir sie gelesen haben.

Maschinen erheben, Menschen prüfen

Crawler erheben, und Modelle auf Cloudflare Workers AI helfen beim Strukturieren und Einordnen; ein Mensch prüft jede Bewertung, bevor sie das Siegel trägt.

Bewertungen folgen den Belegen

Ändern sich ein Modell, seine Dokumentation oder ein Benchmark, wird die Bewertung neu berechnet und datiert.

Quellen

  • Modell-Hubs: Model Cards, Dateien, Prüfsummen sowie die Malware- und Pickle-Scans der Hubs
  • Dokumentation, technische Berichte, Lizenzen und Urheberrechtsstrategien der Anbieter
  • Nach Artikel 53 Abs. 1 lit. d veröffentlichte Zusammenfassungen der Trainingsinhalte
  • Das KI-Büro: Benennungen von Modellen mit systemischem Risiko, Vorlagen und Unterzeichner des Praxisleitfadens
  • Von ihren Autoren, Anbietern und öffentlichen Ranglisten veröffentlichte Benchmark-Ergebnisse

Die drei Bewertungen

Jede Bewertung ist eine Reihe von Prüfungen. Eine Prüfung wird nach ihren Belegen eingestuft, und die Bewertung ist der Anteil der erfüllten anwendbaren Prüfungen, von 100, wobei teilweise erfüllt halb zählt.

So wird eine Prüfung eingestuft

Erfüllt

Der Beleg ist veröffentlicht und vollständig.


Teilweise erfüllt

Veröffentlicht, aber unvollständig oder veraltet.


Nicht erfüllt

Die Belege zeigen, dass die Prüfung scheitert, etwa bei einer Datei, die der Hub als unsicher einstuft. Sie zählt wie „nicht belegt“.


Nicht belegt

Nichts Veröffentlichtes, das wir finden konnten.


Nicht anwendbar

Die Pflicht bindet dieses Modell nicht, etwa Artikel 55 bei einem Modell ohne systemisches Risiko; sie zählt in keine Richtung.

Sicherheit und Schwachstellen

Was den Systemen schaden könnte, die das Modell laden, oder den Menschen, die es nutzen.

  • Sichere Gewichtsformate für jede Datei
  • Saubere Ergebnisse der Malware- und Pickle-Scans der Hubs
  • Überprüfbare Herkunft: Herausgeber, Prüfsummen, Signaturen
  • Eine Lizenz, die die angebotene Nutzung erlaubt
  • Veröffentlichte Sicherheitsbewertungen und Red-Teaming

EU AI Act

Eine Prüfung je Pflicht aus den Artikeln 50 bis 56 und den Anhängen XI und XII, die den Anbieter des Modells bindet, gemessen an veröffentlichten Belegen.

  • Die Einstufung als systemisches Risiko entscheidet, ob die Prüfungen nach Artikel 55 gelten
  • Die Open-Source-Ausnahme nach Artikel 53 Abs. 2 entscheidet, ob lit. a und b gelten
  • Pflichten der Betreiber (Artikel 4, 26, 50) stehen neben der Bewertung und zählen nicht mit

Fähigkeiten

Je Kategorie jedes veröffentlichte Benchmark-Ergebnis im Verhältnis zum besten veröffentlichten Ergebnis unter den verglichenen Modellen, von 100.

  • Kategorien: Programmieren, Mathematik, logisches Denken, Wissen, Konversation, Sprachen
  • Nur Ergebnisse, die die Autoren des Benchmarks oder des Modells veröffentlicht haben, jeweils mit Version
  • Rechenbedarf steht neben der Bewertung und zählt nicht mit

Die Benchmarks, die die Fähigkeitsbewertung zählt

Ein Ergebnis zählt für seine Kategorie, wenn die Autoren des Modells es auf der Modellkarte veröffentlichen, für einen der Benchmarks unten, und mindestens zwei Modelle im Katalog denselben Benchmark mit derselben Konfiguration und Metrik angeben. Es erhält seinen Anteil am besten Ergebnis unter ihnen; eine Kategorie erhält den Mittelwert ihrer Ergebnisse, die Fähigkeitsbewertung den Mittelwert ihrer Kategorien.

Programmieren

  • HumanEval (Definiert in arxiv.org/abs/2107.03374)
  • MBPP (Definiert in arxiv.org/abs/2108.07732)
  • LiveCodeBench (Definiert in arxiv.org/abs/2403.07974)
  • SWE-bench (Definiert in arxiv.org/abs/2310.06770)

Mathematik

  • GSM8K (Definiert in arxiv.org/abs/2110.14168)
  • MATH (Definiert in arxiv.org/abs/2103.03874)

Schlussfolgern

  • GPQA (Definiert in arxiv.org/abs/2311.12022)
  • ARC (Definiert in arxiv.org/abs/1803.05457)
  • HellaSwag (Definiert in arxiv.org/abs/1905.07830)
  • WinoGrande (Definiert in arxiv.org/abs/1907.10641)
  • BIG-Bench Hard (Definiert in arxiv.org/abs/2210.09261)
  • DROP (Definiert in arxiv.org/abs/1903.00161)

Wissen

  • MMLU-Pro (Definiert in arxiv.org/abs/2406.01574)
  • MMLU (Definiert in arxiv.org/abs/2009.03300)
  • TriviaQA (Definiert in arxiv.org/abs/1705.03551)

Konversation

  • IFEval (Definiert in arxiv.org/abs/2311.07911)
  • MT-Bench (Definiert in arxiv.org/abs/2306.05685)
  • AlpacaEval (Definiert in arxiv.org/abs/2404.04475)
  • Arena-Hard (Definiert in arxiv.org/abs/2406.11939)

Sprachen

  • MGSM (Definiert in arxiv.org/abs/2210.03057)
  • Global-MMLU (Definiert in arxiv.org/abs/2412.03304)
  • Ergebnisse, die eine Karte dem Open LLM Leaderboard zuschreibt, sind Läufe des Leaderboards, nicht der Autoren, und zählen nicht.
  • Die Evaluierungen von Epoch AI stehen getrennt auf den Benchmark-Seiten und zählen nicht: Es sind Läufe von Epoch.
  • Fehlermetriken, bei denen ein niedrigerer Wert besser ist, zählen nicht.
  • Schreibt eine Karte 0,71 und eine andere 71 für denselben Vergleich, gilt 0,71 als 71.

Das Siegel Facthory Verified

Ein Modell trägt das Siegel, wenn alle drei Bewertungen die mit ihnen veröffentlichten Schwellen erreichen, kein kritischer Befund offen ist und ein Mensch die Belege geprüft hat. Es wird entzogen, sobald eine dieser Bedingungen nicht mehr zutrifft.

Wo Bewertungen enden

  • Eine Bewertung beschreibt veröffentlichte Belege, nicht das tatsächliche Verhalten des Modells in Ihren Systemen.
  • Ein Dokument, das wir nicht finden konnten, ist „nicht belegt“, kein Verstoß gegen den EU AI Act.
  • Bewertungen sind keine Rechtsberatung. Ob eine Verwendung hochriskant ist, hängt von der Verwendung ab, nicht vom Modell.
  • Benchmarks messen, was sie messen: Testen Sie ein Modell an Ihren eigenen Aufgaben, bevor Sie sich darauf verlassen.

Korrekturen

Ein Anbieter oder Autor, der eine Angabe falsch oder veraltet findet, kann sie uns mit Quelle mitteilen. Wir prüfen sie und aktualisieren die Bewertung mit Datum.

Korrektur senden

Ein Arbeitsbereich für das, was Ihre Organisation weiß, mit einem Agenten, der damit arbeitet.

Produkt

  • Alle Funktionen
  • Arbeitsbereich
  • Agent
  • Wissen
  • Analysen
  • Office-Apps
  • Desktop
  • Herunterladen
  • Preise

Lösungen

  • Wissensrisiko & Wissenslücken im Unternehmen
  • Wissenschaftliche Forschung & Experimente
  • Autonome Analytik & Erkenntnisgewinnung
  • Einsatzbereitschaft der Belegschaft & adaptives Lernen
  • SOP-Governance & betriebliche Standardisierung
  • Prozesserkennung und kontinuierliche Optimierung
  • Alle Lösungen
  • Alle Branchen

Ressourcen

  • Blog
  • Fallstudien
  • Webinare
  • Dokumentation
  • Hilfecenter
  • Modelle
  • ROI-Rechner

Unternehmen

  • Über uns
  • Karriere
  • Presse
  • Markenkit
  • Philosophie
  • Kontakt

Unser Newsletter

Neuigkeiten zu Facthory per E-Mail.

​

© 2026 Facthory. Alle Rechte vorbehalten.
  • Datenschutz
  • Cookie-Richtlinie
  • Allgemeine Geschäftsbedingungen
  • Impressum
  • Cookie-Einstellungen