HellaSwag
Das Ergebnis jedes Modells, so, wie der Benchmarking Hub von Epoch AI es veröffentlicht, von Epoch gemessen oder aus der genannten Quelle gesammelt. Facthory hat sie nicht selbst gemessen.
Daten: Epoch AI, „Capabilities & benchmarking“, epoch.ai/benchmarks, lizenziert unter CC BY 4.0. Gelesen am 16.11.2026.
Das Diagramm zeigt die 25 besten von 76 Ergebnissen; die Tabelle führt alle auf.
| # | Modell | Organisation | Ergebnis | Nachweis |
|---|---|---|---|---|
| 1 | GPT-4 (Mar 2023) API access | OpenAI | 95,3 % | – |
| 2 | gpt-4-32k-0314 API access | OpenAI | 95,3 % | – |
| 3 | Llama-3.1-405B Open weights (restricted use) | Meta AI | 89,2 % | Protokoll oder Quelle |
| 4 | falcon-180B Open weights (restricted use) | Technology Innovation Institute | 89 % | – |
| 5 | DeepSeek-V3 Open weights (restricted use) | DeepSeek | 88,9 % | Protokoll oder Quelle |
| 6 | DeepSeek-V2 Open weights (restricted use) | DeepSeek | 87,1 % | Protokoll oder Quelle |
| 7 | PaLM 2-L | – | 86,8 % | Protokoll oder Quelle |
| 8 | Mixtral-8x7B-v0.1 Open weights (unrestricted) | Mistral AI | 86,7 % | Protokoll oder Quelle |
| 9 | text-davinci-003 | OpenAI | 85,5 % | – |
| 10 | Llama-2-70b-hf Open weights (restricted use) | Meta AI | 85,3 % | – |
| 11 | Qwen2.5-72B Open weights (unrestricted) | Alibaba | 84,8 % | Protokoll oder Quelle |
| 12 | LLaMA-65B Open weights (non-commercial) | Meta AI | 84,2 % | Protokoll oder Quelle |
| 13 | StableBeluga2 Open weights (non-commercial) | Stability AI | 84,1 % | – |
| 14 | PaLM 2-M | – | 84 % | Protokoll oder Quelle |
| 15 | PaLM 540B Unreleased | Google Research | 83,4 % | Protokoll oder Quelle |
| 16 | Qwen2.5-Coder-32B Open weights (unrestricted) | Alibaba | 83 % | Protokoll oder Quelle |
| 17 | LLaMA-33B Open weights (non-commercial) | Meta AI | 82,8 % | Protokoll oder Quelle |
| 18 | falcon-40b Open weights (unrestricted) | Technology Innovation Institute | 82,8 % | – |
| 19 | Megatron-Turing NLG 530B Unreleased | Microsoft,Nvidia | 82,4 % | – |
| 20 | Nemotron-4 15B Unreleased | Nvidia | 82,4 % | – |
| 21 | Phi-3-medium-128k-instruct Open weights (unrestricted) | Microsoft | 82,4 % | – |
| 22 | gemma-7b Open weights (restricted use) | Google DeepMind | 82,2 % | Protokoll oder Quelle |
| 23 | Falcon 2-11B Open weights (restricted use) | Technology Innovation Institute | 82,1 % | – |
| 24 | PaLM 2-S | – | 82 % | Protokoll oder Quelle |
| 25 | text-davinci-002 API access | OpenAI | 81,5 % | Protokoll oder Quelle |
| 26 | Mistral-7B-v0.1 Open weights (unrestricted) | Mistral AI | 81 % | Protokoll oder Quelle |
| 27 | Llama-2-13b Open weights (restricted use) | Meta AI | 80,7 % | Protokoll oder Quelle |
| 28 | Qwen2.5-Coder-14B | – | 80,2 % | Protokoll oder Quelle |
| 29 | Gopher (280B) Unreleased | DeepMind | 79,2 % | Protokoll oder Quelle |
| 30 | LLaMA-13B Open weights (non-commercial) | Meta AI | 79,2 % | Protokoll oder Quelle |
| 31 | opt-175b Open weights (non-commercial) | Meta AI | 79,1 % | Protokoll oder Quelle |
| 32 | text-davinci-001 API access | OpenAI | 78,9 % | Protokoll oder Quelle |
| 33 | internlm-20b | – | 78,1 % | – |
| 34 | davinci API access | OpenAI | 77,5 % | Protokoll oder Quelle |
| 35 | Llama-2-7b Open weights (restricted use) | Meta AI | 77,2 % | Protokoll oder Quelle |
| 36 | Phi-3-small-8k-instruct Open weights (unrestricted) | Microsoft | 77 % | – |
| 37 | Qwen2.5-Coder-7B Open weights (unrestricted) | Alibaba | 76,8 % | Protokoll oder Quelle |
| 38 | Phi-3-mini-4k-instruct Open weights (unrestricted) | Microsoft | 76,7 % | – |
| 39 | GLaM (MoE) Unreleased | 76,6 % | – | |
| 40 | Yi-9B | – | 76,4 % | – |
| 41 | mpt-7b Open weights (unrestricted) | MosaicML | 76,4 % | – |
| 42 | falcon-7b Open weights (unrestricted) | Technology Innovation Institute | 76,3 % | – |
| 43 | LLaMA-7B Open weights (non-commercial) | Meta AI | 76,1 % | Protokoll oder Quelle |
| 44 | opt-66b Open weights (non-commercial) | Meta AI | 74,5 % | Protokoll oder Quelle |
| 45 | Yi-6B Open weights (restricted use) | 01.AI | 74,4 % | – |
| 46 | bloom Open weights (restricted use) | Hugging Face,BigScience | 74,4 % | Protokoll oder Quelle |
| 47 | xgen-7b-8k-base Open weights (unrestricted) | Salesforce | 74,2 % | – |
| 48 | open_llama_7b | – | 71,8 % | – |
| 49 | INTELLECT-1-Instruct | Prime Intellect,Hugging Face,Arcee AI | 71,4 % | Protokoll oder Quelle |
| 50 | gemma-2b Open weights (restricted use) | Google DeepMind | 71,4 % | Protokoll oder Quelle |
| 51 | Qwen2.5-Coder-3B | – | 70,9 % | Protokoll oder Quelle |
| 52 | Baichuan-2-13B-Base Open weights (restricted use) | Baichuan | 70,8 % | – |
| 53 | dolly-v2-12b Open weights (unrestricted) | Databricks | 70,8 % | – |
| 54 | internlm-7b | – | 70,6 % | – |
| 55 | gpt-neox-20b Open weights (unrestricted) | EleutherAI | 70,5 % | – |
| 56 | RedPajama-INCITE-7B-Base | – | 70,3 % | – |
| 57 | opt-13b | – | 69,9 % | – |
| 58 | curie | OpenAI | 68,2 % | Protokoll oder Quelle |
| 59 | Baichuan-2-7B-Base Open weights (restricted use) | Baichuan | 68 % | – |
| 60 | text-curie-001 API access | OpenAI | 67,6 % | Protokoll oder Quelle |
| 61 | gpt-j-6b Open weights (unrestricted) | EleutherAI,LAION | 66,2 % | – |
| 62 | Qwen2.5-Coder-1.5B Open weights (unrestricted) | Alibaba | 61,8 % | Protokoll oder Quelle |
| 63 | Cerebras-GPT-13B Open weights (unrestricted) | Cerebras Systems | 59,4 % | – |
| 64 | vicuna-13b-v1.1 | – | 57,8 % | – |
| 65 | chatglm2-6b | – | 57 % | – |
| 66 | text-babbage-001 API access | OpenAI | 56,1 % | Protokoll oder Quelle |
| 67 | babbage | OpenAI | 55,5 % | Protokoll oder Quelle |
| 68 | phi-2 Open weights (unrestricted) | Microsoft | 53,6 % | – |
| 69 | Qwen2.5-Coder-0.5B | – | 48,4 % | Protokoll oder Quelle |
| 70 | phi-1_5 Open weights (unrestricted) | Microsoft | 47,6 % | – |
| 71 | ada | OpenAI | 43,5 % | Protokoll oder Quelle |
| 72 | text-ada-001 | OpenAI | 42,9 % | Protokoll oder Quelle |
| 73 | gpt-neo-2.7B Open weights (unrestricted) | EleutherAI | 42,7 % | – |
| 74 | opt-1.3b Open weights (non-commercial) | Meta AI | 41,5 % | – |
| 75 | stablelm-tuned-alpha-7b | – | 40,7 % | – |
| 76 | gpt2-xl Open weights (unrestricted) | OpenAI | 40 % | – |
