Lorem ipsum dolor sit amet
Lorem ipsum dolor sit amet consectetur. Nisl id sed pellentesque volutpat non ullamcorper ipsum ante nulla.
Release
Consectetur adipiscing elit sed
Lorem ipsum dolor sit amet consectetur. Posuere est id faucibus magnis pharetra nunc tempor netus. Pharetra quis diam auctor aliquam blandit in sit imperdiet. Id quam vitae vel non condimentum lectus. Condimentum ante cras tincidunt sed leo.
Abstract
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur.
Lorem ipsum dolor sit amet consectetur adipiscing elit. Quisque faucibus ex sapien vitae pellentesque sem placerat. In id cursus mi pretium tellus duis convallis.
Benchmark accuracy
92.4%
+4.1%Above the previous state of the art
Tokens trained
3.2T
+18%Curated pre-training corpus
Inference latency
118 ms
-23.5%p50 on a single accelerator
Hallucination rate
2.1%
-41%Measured on closed-book QA
Training
Lorem ipsum dolor sit amet consectetur. Posuere est id faucibus magnis pharetra nunc tempor netus. Pharetra quis diam auctor aliquam blandit in sit imperdiet. Id quam vitae vel non condimentum lectus.
Lorem ipsum dolor sit amet consectetur adipiscing elit. Quisque faucibus ex sapien vitae pellentesque sem placerat. In id cursus mi pretium tellus duis convallis.
Accuracy during training
Train and held-out eval accuracy (%) over 100k steps
Eval accuracy tracks train within 4 points after 50k steps.
Scaling across releases
Lorem ipsum dolor sit amet consectetur. Posuere est id faucibus magnis pharetra nunc tempor netus. Pharetra quis diam auctor aliquam blandit in sit imperdiet. Id quam vitae vel non condimentum lectus.
Score across releases
Aggregate benchmark score per model version
The gap to the baseline widens with every release.
Benchmarks
Lorem ipsum dolor sit amet consectetur. Posuere est id faucibus magnis pharetra nunc tempor netus. Pharetra quis diam auctor aliquam blandit in sit imperdiet. Id quam vitae vel non condimentum lectus.
Benchmark comparison
Accuracy (%) on five public benchmarks
Best on every benchmark, largest margin on HumanEval.
Capabilities
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur.
Capability profile
Normalised scores per capability area
Overall score
Weighted average across all evaluations
Training data
Lorem ipsum dolor sit amet consectetur. Posuere est id faucibus magnis pharetra nunc tempor netus. Pharetra quis diam auctor aliquam blandit in sit imperdiet. Id quam vitae vel non condimentum lectus.
Lorem ipsum dolor sit amet consectetur adipiscing elit. Quisque faucibus ex sapien vitae pellentesque sem placerat. In id cursus mi pretium tellus duis convallis.
Training data mix
Share of pre-training tokens by source
Efficiency
Lorem ipsum dolor sit amet consectetur. Posuere est id faucibus magnis pharetra nunc tempor netus. Pharetra quis diam auctor aliquam blandit in sit imperdiet. Id quam vitae vel non condimentum lectus.
Inference latency
p50 latency per request, lower is better
Full results
Lorem ipsum dolor sit amet consectetur adipiscing elit. Quisque faucibus ex sapien vitae pellentesque sem placerat. In id cursus mi pretium tellus duis convallis.
Full results
Accuracy (%) per model and benchmark
| Model | MMLU | GSM8K | HumanEval | ARC | Avg |
|---|---|---|---|---|---|
| YecoAI | 89.0 | 94.0 | 86.0 | 91.0 | 90.0 |
| Model A | 84.0 | 88.0 | 80.0 | 87.0 | 84.8 |
| Model B | 79.0 | 81.0 | 72.0 | 83.0 | 78.8 |
| Model C | 76.0 | 77.0 | 68.0 | 80.0 | 75.3 |
Conclusion
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur.
Lorem ipsum dolor sit amet consectetur. Posuere est id faucibus magnis pharetra nunc tempor netus. Pharetra quis diam auctor aliquam blandit in sit imperdiet. Id quam vitae vel non condimentum lectus.