LibreEval: The Largest Open Source Benchmark For RAG Hallucination Detection Deep Papers podcast

Artwork

Science Tech Math Business Arize AI

Contenu fourni par Arize AI. Tout le contenu du podcast, y compris les épisodes, les graphiques et les descriptions de podcast, est téléchargé et fourni directement par Arize AI ou son partenaire de plateforme de podcast. Si vous pensez que quelqu'un utilise votre œuvre protégée sans votre autorisation, vous pouvez suivre le processus décrit ici https://fr.player.fm/legal.

Deep Papers « »
LibreEval: The Largest Open Source Benchmark for RAG Hallucination Detection

8M ago 27:19

Partager

MP3•Maison d'episode

Contenu fourni par Arize AI. Tout le contenu du podcast, y compris les épisodes, les graphiques et les descriptions de podcast, est téléchargé et fourni directement par Arize AI ou son partenaire de plateforme de podcast. Si vous pensez que quelqu'un utilise votre œuvre protégée sans votre autorisation, vous pouvez suivre le processus décrit ici https://fr.player.fm/legal.

For this week's paper read, we dive into our own research.
We wanted to create a replicable, evolving dataset that can keep pace with model training so that you always know you're testing with data your model has never seen before. We also saw the prohibitively high cost of running LLM evals at scale, and have used our data to fine-tune a series of SLMs that perform just as well as their base LLM counterparts, but at 1/10 the cost.
So, over the past few weeks, the Arize team generated the largest public dataset of hallucinations, as well as a series of fine-tuned evaluation models.
We talk about what we built, the process we took, and the bottom line results. You can read the recap of LibreEval here. Dive into the research, or sign up to join us next time.

Learn more about AI observability and evaluation, join the Arize AI Slack community or get the latest on LinkedIn and X.

… continue reading

59 episodes

#Science #Tech #Math #Business #Arize AI

Artwork

LibreEval: The Largest Open Source Benchmark for RAG Hallucination Detection

33 subscribers

published 8M ago

Partager

MP3•Maison d'episode

Contenu fourni par Arize AI. Tout le contenu du podcast, y compris les épisodes, les graphiques et les descriptions de podcast, est téléchargé et fourni directement par Arize AI ou son partenaire de plateforme de podcast. Si vous pensez que quelqu'un utilise votre œuvre protégée sans votre autorisation, vous pouvez suivre le processus décrit ici https://fr.player.fm/legal.

For this week's paper read, we dive into our own research.
We wanted to create a replicable, evolving dataset that can keep pace with model training so that you always know you're testing with data your model has never seen before. We also saw the prohibitively high cost of running LLM evals at scale, and have used our data to fine-tune a series of SLMs that perform just as well as their base LLM counterparts, but at 1/10 the cost.
So, over the past few weeks, the Arize team generated the largest public dataset of hallucinations, as well as a series of fine-tuned evaluation models.
We talk about what we built, the process we took, and the bottom line results. You can read the recap of LibreEval here. Dive into the research, or sign up to join us next time.

Learn more about AI observability and evaluation, join the Arize AI Slack community or get the latest on LinkedIn and X.

… continue reading

59 episodes

#Science #Tech #Math #Business #Arize AI

Tous les épisodes

×

Bienvenue sur Lecteur FM!

Lecteur FM recherche sur Internet des podcasts de haute qualité que vous pourrez apprécier dès maintenant. C'est la meilleure application de podcast et fonctionne sur Android, iPhone et le Web. Inscrivez-vous pour synchroniser les abonnements sur tous les appareils.

Écoutez plus de 500 sujets

Écoutez cette émission pendant que vous explorez