YecoAI

Lorem ipsum dolor sit amet

Lorem ipsum dolor sit amet consectetur. Nisl id sed pellentesque volutpat non ullamcorper ipsum ante nulla.

Abstract

Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur.

Lorem ipsum dolor sit amet consectetur adipiscing elit. Quisque faucibus ex sapien vitae pellentesque sem placerat. In id cursus mi pretium tellus duis convallis.

Benchmark accuracy
92.4%
+4.1%Above the previous state of the art
Tokens trained
3.2T
+18%Curated pre-training corpus
Inference latency
118 ms
-23.5%p50 on a single accelerator
Hallucination rate
2.1%
-41%Measured on closed-book QA

Training

Lorem ipsum dolor sit amet consectetur. Posuere est id faucibus magnis pharetra nunc tempor netus. Pharetra quis diam auctor aliquam blandit in sit imperdiet. Id quam vitae vel non condimentum lectus.

Lorem ipsum dolor sit amet consectetur adipiscing elit. Quisque faucibus ex sapien vitae pellentesque sem placerat. In id cursus mi pretium tellus duis convallis.

Accuracy during training
Train and held-out eval accuracy (%) over 100k steps
YecoAI
Eval accuracy tracks train within 4 points after 50k steps.

Scaling across releases

Lorem ipsum dolor sit amet consectetur. Posuere est id faucibus magnis pharetra nunc tempor netus. Pharetra quis diam auctor aliquam blandit in sit imperdiet. Id quam vitae vel non condimentum lectus.

Score across releases
Aggregate benchmark score per model version
The gap to the baseline widens with every release.

Benchmarks

Lorem ipsum dolor sit amet consectetur. Posuere est id faucibus magnis pharetra nunc tempor netus. Pharetra quis diam auctor aliquam blandit in sit imperdiet. Id quam vitae vel non condimentum lectus.

Benchmark comparison
Accuracy (%) on five public benchmarks
YecoAI
Best on every benchmark, largest margin on HumanEval.

Capabilities

Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur.

Capability profile
Normalised scores per capability area
YecoAI
Overall score
Weighted average across all evaluations
YecoAI

Training data

Lorem ipsum dolor sit amet consectetur. Posuere est id faucibus magnis pharetra nunc tempor netus. Pharetra quis diam auctor aliquam blandit in sit imperdiet. Id quam vitae vel non condimentum lectus.

Lorem ipsum dolor sit amet consectetur adipiscing elit. Quisque faucibus ex sapien vitae pellentesque sem placerat. In id cursus mi pretium tellus duis convallis.

Training data mix
Share of pre-training tokens by source

Efficiency

Lorem ipsum dolor sit amet consectetur. Posuere est id faucibus magnis pharetra nunc tempor netus. Pharetra quis diam auctor aliquam blandit in sit imperdiet. Id quam vitae vel non condimentum lectus.

Inference latency
p50 latency per request, lower is better
YecoAI

Full results

Lorem ipsum dolor sit amet consectetur adipiscing elit. Quisque faucibus ex sapien vitae pellentesque sem placerat. In id cursus mi pretium tellus duis convallis.

Full results
Accuracy (%) per model and benchmark
ModelMMLUGSM8KHumanEvalARCAvg
YecoAI89.094.086.091.090.0
Model A84.088.080.087.084.8
Model B79.081.072.083.078.8
Model C76.077.068.080.075.3

Conclusion

Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur.

Lorem ipsum dolor sit amet consectetur. Posuere est id faucibus magnis pharetra nunc tempor netus. Pharetra quis diam auctor aliquam blandit in sit imperdiet. Id quam vitae vel non condimentum lectus.

Related content