Kennen Sie ein Modell, bevor Sie es betreiben
Facthory prüft offene Modelle auf Schwachstellen, bewertet jedes nach dem EU AI Act und misst, was es kann. Eine Seite pro Modell, jede Angabe mit ihrer Quelle.
Drei Bewertungen für jedes Modell
Schwachstellenscan
Was das Laden des Modells auf Ihren Systemen anrichten kann und ob seine Dateien sind, was sie vorgeben.
- Gewichtsformate: Pickle-Dateien können beim Laden Code ausführen, Safetensors nicht
- Die Malware- und Pickle-Scans der Hubs für jede Datei
- Herkunft: Herausgeber, Version, Prüfsummen und Signaturen
- Lizenzbedingungen und für das Modell veröffentlichte bekannte Probleme
Bewertung nach dem EU AI Act
Jedes Modell bewertet nach den Pflichten des EU AI Act für KI-Modelle mit allgemeinem Verwendungszweck, Artikel für Artikel.
- Artikel 51: ob das Modell ein systemisches Risiko hat
- Artikel 53 mit Anhang XI und XII: Dokumentation, Urheberrechtsstrategie, Trainingszusammenfassung
- Artikel 55: Bewertungen, Angriffstests, Vorfälle und Cybersicherheit
- Artikel 4, 26 und 50: was Ihnen als Betreiber bleibt
Fähigkeitsbewertung
Worin das Modell gut ist, aus veröffentlichten Benchmarks, und was es zum Betrieb braucht.
- Programmieren, Mathematik, logisches Denken, Wissen und Konversation, nach Kategorie bewertet
- Sprachen, Deutsch eingeschlossen
- Speicher und GPUs je Quantisierung, für den Betrieb auf eigener Hardware
- Jeder Benchmark mit Quelle und Version
Die Artikel, nach denen wir bewerten
Der EU AI Act (KI-Verordnung, Verordnung (EU) 2024/1689) legt seit dem 2. August 2025 Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck fest, und für alle, die KI-Systeme betreiben. Jede Modellseite zeigt Artikel für Artikel, was der Anbieter veröffentlicht hat und was Ihnen zu tun bleibt.
| Artikel | Was die Verordnung verlangt | Was wir prüfen | Verpflichtet |
|---|---|---|---|
Art. 51Systemisches Risiko | Ein KI-Modell mit allgemeinem Verwendungszweck hat ein systemisches Risiko, wenn es über Fähigkeiten mit hohem Wirkungsgrad verfügt – vermutet ab 10²⁵ Gleitkommaoperationen Trainingsrechenleistung – oder wenn die Kommission es benennt. | Veröffentlichte Trainingsrechenleistung, Parameter und Datenumfang sowie Benennungen des KI-Büros, um zu bestimmen, welche Pflichten gelten. | Anbieter |
Art. 53 Abs. 1 lit. a, Anhang XITechnische Dokumentation | Der Anbieter führt eine technische Dokumentation des Modells, seines Trainings und seiner Tests sowie der Ergebnisse seiner Bewertung für das KI-Büro und die nationalen Behörden. | Ob der Anbieter angibt, sie zu führen, und welche Punkte des Anhangs XI seine öffentliche Dokumentation abdeckt. | Anbieter |
Art. 53 Abs. 1 lit. b, Anhang XIIInformationen für nachgelagerte Anbieter | Der Anbieter stellt denen, die auf dem Modell aufbauen, bereit, was sie brauchen, um seine Fähigkeiten und Grenzen zu verstehen und ihre eigenen Pflichten zu erfüllen. | Model Card und Dokumentation gemessen an Anhang XII: vorgesehene und zulässige Verwendungen, Architektur, Parameter, Modalitäten, Kontextlänge, Lizenz und eine Beschreibung der Trainingsdaten. | Anbieter |
Art. 53 Abs. 1 lit. cUrheberrechtsstrategie | Der Anbieter legt eine Strategie zur Einhaltung des Urheberrechts der Union fest, einschließlich der Vorbehalte von Rechteinhabern gegen Text und Data Mining. | Eine veröffentlichte Urheberrechtsstrategie und wie sie Nutzungsvorbehalte gegen Text und Data Mining beachtet. | Anbieter |
Art. 53 Abs. 1 lit. dZusammenfassung der Trainingsinhalte | Der Anbieter veröffentlicht eine hinreichend detaillierte Zusammenfassung der für das Training verwendeten Inhalte nach der Vorlage des KI-Büros. | Die veröffentlichte Zusammenfassung und ob sie der Vorlage folgt. | Anbieter |
Art. 53 Abs. 2Ausnahme für Open Source | Modelle unter einer freien und quelloffenen Lizenz mit öffentlichen Gewichten sind von lit. a und b befreit, sofern sie kein systemisches Risiko haben. | Die Bedingungen der Lizenz und ob Gewichte, Architektur und Nutzungsinformationen öffentlich sind. | Anbieter |
Art. 54Bevollmächtigter | Ein Anbieter mit Sitz außerhalb der Union benennt einen Bevollmächtigten in der Union, bevor er sein Modell in der Union in Verkehr bringt. | Wo der Anbieter niedergelassen ist und welchen Bevollmächtigten er nennt. | Anbieter |
Art. 55Pflichten bei systemischem Risiko | Der Anbieter bewertet das Modell einschließlich Angriffstests, bewertet und mindert systemische Risiken, meldet schwerwiegende Vorfälle und schützt die Cybersicherheit des Modells. | Veröffentlichte Bewertungen und Red-Teaming-Ergebnisse, die Risiko- und Vorfallsberichte des Anbieters und seine Sicherheitsmaßnahmen. | Anbieter, systemisches Risiko |
Art. 56Praxisleitfaden | Anbieter können die Einhaltung über Praxisleitfäden nachweisen, etwa den Praxisleitfaden für KI mit allgemeinem Verwendungszweck. | Ob der Anbieter den Praxisleitfaden unterzeichnet hat und welche Kapitel. | Anbieter |
Art. 50Transparenz von KI-Ausgaben | Menschen müssen wissen, wenn sie mit einem KI-System interagieren, und synthetische Audio-, Bild-, Video- und Textinhalte werden als künstlich erzeugt gekennzeichnet. | Ob der Anbieter dokumentiert, wie die Ausgaben des Modells gekennzeichnet oder erkannt werden können – das braucht ein Betreiber für seine eigenen Pflichten. | Anbieter und Betreiber |
Art. 4KI-Kompetenz | Anbieter und Betreiber ergreifen Maßnahmen, damit ihr Personal, das KI-Systeme betreibt, über ausreichende KI-Kompetenz verfügt. | Keine Eigenschaft des Modells: aufgeführt, damit ein Betreiber die Pflicht neben dem Modell sieht, das er wählt. | Betreiber |
Art. 26Betreiber von Hochrisiko-Systemen | Ein Betreiber eines Hochrisiko-KI-Systems verwendet es gemäß der Betriebsanleitung, stellt menschliche Aufsicht sicher, überwacht es und bewahrt seine Protokolle auf. | Ob die Dokumentation des Anbieters die Anleitung, Grenzen und Protokollierung enthält, die ein Betreiber braucht, wenn das Modell einem Hochrisiko-Zweck dient (Anhang III). | Betreiber |
Ab wann die Pflichten gelten, wie die Verordnung sie festlegt (Art. 113)
Änderungen können diese Daten verschieben; jede Modellseite nennt den Text, der bei der Bewertung galt.
2. Februar 2025
Verbotene Praktiken (Art. 5) und KI-Kompetenz (Art. 4).
2. August 2025
Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (Kapitel V).
2. August 2026
Die meisten übrigen Pflichten, darunter Hochrisiko-Systeme nach Anhang III.
2. August 2027
Hochrisiko-Systeme nach Anhang I sowie Modelle, die vor dem 2. August 2025 in Verkehr gebracht wurden (Art. 111 Abs. 3).
Facthory Verified
Ein Modell erhält das Siegel, wenn seine Bewertungen für Sicherheit, EU AI Act und Fähigkeiten veröffentlichte Schwellen erreichen und ein Mensch die Belege dahinter geprüft hat.
- Schwellen werden mit den Bewertungen veröffentlicht
- Neu geprüft, wenn sich das Modell oder seine Quellen ändern
- Entzogen, solange ein Befund offen ist
Bewertungen beschreiben veröffentlichte Belege zu einem Modell. Sie sind keine Rechtsberatung, und ein fehlendes Dokument ist kein Beweis für einen Verstoß. So bewerten wir
