The Cross-Language Evaluation Forum (CLEF) promotes R&D in multilingual information access (MLIA) by (i) developing an infrastructure for the testing, tuning and evaluation of information retrieval systems operating on European languages in both monolingual and cross-language contexts, and (ii)… Read More creating test-suites of reusable data which can be employed by system developers for benchmarking purposes.
CLEF QAST (2007-2009) contains the data used for the Question Answering on Speech Transcripts tracks of the CLEF campaigns carried out from 2007 to 2009. These tracks tested the performance of monolingual Question Answering systems on collections of audio transcriptions.
The CLEF Test Suite is composed of: • Transcript Data Collections • Questions • Guidelines • Relevance assessments • Official campaign results • Working notes papers
The Transcript Data Collections consist of manual transcriptions and ASR automatic transcriptions from the following development and evaluation corpora: • English datasets: o CHIL Collection (2007-2008 tracks) (see also ELRA-E0009, E0010, E0017 and E0033 for CHIL Evaluation Packages) o AMI Collection (2007-2008 tracks) o European Parliament from 2005 TC-STAR Evaluation campaign (2008-2009 tracks) (see also ELRA-E0002) • Spanish datasets: European Parliament from 2005 TC-STAR Evaluation campaign (2008-2009 tracks) (see also ELRA-E0003) • French dataset: ESTER Corpus (2008-2009 tracks) (see also ELRA-S0241)
View resource description in all available languages
Le forum CLEF (Cross-Language Evaluation Forum) a pour but de promouvoir les travaux de R&D pour l’accès à l’information multilingue (i) en développant une infrastructure pour le test, le réglage et l’évaluation des systèmes de recherche d’information fonctionnant sur des langues européennes… Read More dans des contextes à la fois monolingues et cross-lingues, et (ii) en créant des séquences de test de données réutilisables qui peuvent être utilisées par des développeurs de systèmes dans des objectifs de benchmarking.
CLEF QAST (2007-2009) contient les données utilisées pendant les tâches Questions Réponses sur Transcriptions de Parole (Question Answering on Speech Transcripts) des campagnes CLEF réalisées de 2007 à 2009. Ces tâches ont testé la performance de systèmes de questions réponses monolingues sur des collections de transcriptions audio.
Le package CLEF est composé de: • Collections de données de transcription • Questions • Manuels • Jugements de pertinence • Résultats de la campagne officielle • Notes de travail
Les collections de données de transcriptions comprennent les transcriptions manuelles, ainsi que les transcriptions de tâches ASR automatiques provenant des corpus de développement et d’évaluation suivants: • Anglais: o Collection CHIL (tâches 2007-2008) (voir aussi ELRA-E0009, E0010, E0017 et E0033 pour les packages d’évaluation CHIL) o Collection AMI (tâches 2007-2008) o Parlement européen de la campagne d’évaluation 2005 TC-STAR (tâches 2008-2009) (voir aussi ELRA-E0002) • Espagnol: European Parliament from 2005 TC-STAR Evaluation campaign (tâches 2008-2009) (voir aussi ELRA-E0003) • Français: ESTER Corpus (tâches 2008-2009) (voir aussi ELRA-S0241)
Home
67
