MMLU is saturated. Chatbot Arena is gameable. Public benchmarks leak into training data. The only eval that matters is the one you build yourself, on your data, for your task.

Podden och tillhörande omslagsbild på den här sidan tillhör Mo Bhuiyan. Innehållet i podden är skapat av Mo Bhuiyan och inte av, eller tillsammans med, Poddtoppen.