Sélection de la langue

Gouvernement du Canada / Government of Canada

Recherche

MSLC24: further challenges for metrics on a wide landscape of translation quality

Téléchargement
  1. (PDF, 3.9 Mio)
Lienhttps://aclanthology.org/2024.wmt-1.34
AuteurRechercher : 1Identifiant ORCID : https://orcid.org/0000-0002-1647-584X; Rechercher : 1Identifiant ORCID : https://orcid.org/0009-0000-6147-9631; Rechercher : 1Identifiant ORCID : https://orcid.org/0000-0001-8714-7846
Affiliation
  1. Conseil national de recherches Canada. Technologies numériques
FormatTexte, Article
ConférenceNinth Conference on Machine Translation (WMT24), November 15-16, 2024, Miami, Florida, USA
Résumé
In this second edition of the Metric Score Landscape Challenge (MSLC), we examine how automatic metrics for machine translation perform on a wide variety of machine translation output, ranging from very low quality systems to the types of high-quality systems submitted to the General MT shared task at WMT. We also explore metric results on specific types of data, such as empty strings, wrong- or mixed-language text, and more. We raise several alarms about inconsistencies in metric scores, some of which can be resolved by increasingly explicit instructions for metric use, while others highlight technical flaws.
Date de publication
Maison d’éditionAssociation for Computational Linguistics
Licence
Dans
  • Proceedings of the Ninth Conference on Machine Translation (WMT24) (15 novembre 2024) : 475–491.
Langueanglais
Publications évaluées par des pairsOui
Exporter la noticeExporter en format RIS
Signaler une correctionSignaler une correction (s'ouvre dans un nouvel onglet)
Identificateur de l’enregistrement888f2024-592a-4b55-a841-52f62072f3f3
Enregistrement créé2024-11-14
Enregistrement modifié2024-11-15

Détails de la page

Par :

Date de modification :