Beat the Machine: A Mini Virtual Translation Slam by the ATA FLD

A vintage toy robot
Photo Credit: Unsplash

Beat the Machine: A Mini Virtual Translation Slam by the ATA FLD

Greetings, fellow FLD members (and interested onlookers)!

My name is Sam Mowry and I’m here to help us all translate better. Strong words, I know, but one thing I’ve found to be true in my translation career is that the more exposure you have to translations, particularly good translations, the better translator you become. To that end, this is the first in what I hope will become an ongoing series of posts here in À Propos.

The premise is simple: I’ve never met a translator who, when confronted with someone else’s translation, doesn’t secretly or not-so-secretly think to themselves, “I could have done it better.” Moreover, as human translators, we know we’re vastly superior to every machine translation option on the market. We’re going to combine those concepts into a monthly “beat the machine” virtual translation slam (and by that I mean slamming those machine translations into the ground!).

Every two months, I will post a French sentence with an English translation produced by a widely available machine translation engine. This will incite the faithful readers of this blog to rise to the challenge and show how much better it could be by submitting their own versions of the translated sentence. The following month, I will publish a blog post where I share some of the best submissions and discuss what makes them so good. This is a chance to show what a difference the human touch makes and improve our own translation practices in the process by seeing how other translators approach the same problem.

Sound good?

The first sentence is:

L’excellentissime pianiste classique autrichien Friedrich Gulda n’eût peut-être pas été d’accord, lui qui ne cessa de transgresser les deux grands ordres (jazz et classique) en les reprisant et déprisant dans des concerts qui filaient standards de jazz, classiques des classiques.

Fun, right? Hat tip to FLD member Beth Smith, who provided this sentence. Here is what DeepL spat out:

Perhaps the excellent Austrian classical pianist Friedrich Gulda would not have agreed, as he never stopped transgressing the two great orders (jazz and classical) by reproducing them in concerts that spun jazz standards, classics from classics.

You are no doubt chomping at the bit already to submit your much better translation of this sentence. You can do that HERE.

Submissions must be received by July 22, 2020. The follow-up blog post discussing the best solutions will be posted on or around August 1, 2020.

Please note the following:

  • Only FLD members will have their translations posted on this blog. Membership is free for current ATA members, so if you aren’t a member yet, make sure to join before you submit your translation. When you log in to your account on the ATA website, the number of divisions you belong to is listed at the top of the page. Click “Modify” to change which divisions you belong to (and add the FLD!).
  • You are free to submit your sentence anonymously, but half the fun will be crediting the creative submissions we receive by name and recognizing their authors.
  • You may submit as many times as you like, in case you have a stroke of genius after your initial submission. I will only discuss one submission per person in the review post.

Finally, we’re hoping to continue this series with all of your help! Have you come across a particularly pesky sentence you can share for this project? Please send it along! Are you interested in helping us do the same virtual translation slam, but from English to French? We’d love to have one or more volunteers to do this series, but in reverse! If you’re interested, please contact Ben Karl, the À Propos editor, or myself, Sam Mowry, to let us know!

Happy translating!

Sam Mowry is an ATA-certified French into English translator specializing in international development, medicine, official documents, and being mouthy on the internet. She can be reached by email at sam@frenchtranslation.expert or directly on Twitter at @SamTranslates.

 

 

 

 

 

Post-édition de traduction automatique : se méfier des apparences


Photo de Ramón Salinero, Unsplash

Par Guillaume Deneufbourg

Le présent article est directement inspiré d’une présentation orale donnée (en anglais) à l’occasion du Congrès annuel de l’American Translators Association, le 25 octobre 2018, à La Nouvelle-Orléans, Louisiane, USA. Le titre original de cette intervention était : « Don’t Trust the Machine : How Neural Persuasive Power Can Mislead Post-editors ».

L’arrivée de la traduction automatique neuronale (NMT) a provoqué en 2017 une mini-onde de choc dans le monde de la traduction professionnelle. Pratiquement du jour au lendemain, les traducteurs ont pris conscience que la machine pouvait, à tout le moins dans certaines combinaisons linguistiques et certains domaines, produire du contenu « utilisable ». Cette évolution a parallèlement alimenté bon nombre de fantasmes et de craintes dans le chef des « consommateurs » et des prestataires de services de traduction.

Dans le giron des associations professionnelles ou sur les réseaux sociaux, les réactions ont été – et sont encore – aussi nombreuses que passionnées. Entre commentaires alarmistes, jugements infondés et exemples confinant à l’absurde tirés de textes de Shakespeare, on constate que les professionnels de la traduction ne sont pas toujours bien informés des tenants et aboutissants de la traduction automatique et de la post-édition et que les avis émis, guidés par l’émotion, pèchent par manque d’information et de données objectives.

L’objectif de la présentation donnée lors du Congrès annuel de l’ATA en novembre 2018 à La Nouvelle-Orléans était de dépasser les attaques ad machinam que lancent les militants anti-MT sans véritable fondement et de mettre le doigt, à travers des données très concrètes, sur les avantages et les dangers du recours à la (post-édition de) traduction automatique dans un contexte professionnel. Ma présentation s’articulait en trois parties, avec une introduction sur la technologie (histoire, évolution, perception des différents acteurs du marché), la présentation des résultats de deux enquêtes menées à l’échelle européenne sur l’utilisation de la technologie, et l’exposé d’une étude de cas réalisée auprès de professionnels et d’étudiants.

Introduction

L’introduction retraçait brièvement l’histoire de la traduction automatique et présentait mon opinion personnelle sur la perception de la technologie par les différents acteurs du marché. J’ai ainsi expliqué, non sans une petite dose d’ironie et d’autodérision, les quatre « profils » que l’on retrouve sur le marché des traducteurs indépendants : 1. les partisans de la politique de l’autruche, adeptes des exemples shakespeariens évoqués plus haut, 2. les fatalistes, persuadés de la mort imminente de leur profession, 3. les fourbes, qui critiquent ouvertement la traduction automatique en public, mais qui l’utilisent en secret dans la quiétude de leur bureau (soit par facilité, soit par obligation), 4. l’utilisateur réfléchi, qui se pose systématiquement la question de la pertinence, en fonction du contexte d’utilisation (profil recommandé).

Il convient aussi de noter que les opinions sont très divergentes en fonction de la position des acteurs sur le marché. Un grand nombre de pratiques existent, allant des arnaques pures et simples des agences low-cost, qui tentent régulièrement de faire passer des textes traduits automatiquement pour des productions humaines, aux agences plus consciencieuses qui essaient de prendre le train en marche sans effrayer leurs précieuses ressources linguistiques, en passant par les étudiants et les formateurs en traduction, dont les pratiques d’apprentissage et d’enseignement sont bouleversées, doucement, mais sûrement, par l’arrivée de la technologie.

Ces constats indiquent qu’il règne une extrême confusion sur le marché, que ce soit parmi ses acteurs (traducteurs, clients, tiers) qu’au sujet du produit lui-même (confusion entre qualité du contenu brut et qualité du contenu post-édité, etc.). De cette confusion découle un grand besoin d’objectiver le débat et de pédagogie.

Quelques statistiques

La deuxième partie consistait à dispenser quelques données objectives sur l’utilisation réelle de la traduction automatique au sein du secteur. Pour ce faire, j’ai présenté les résultats de deux enquêtes menées en 2017 et 2018.

La première, « European Language Industry Survey », menée en 2017 par un ensemble d’organisations (Commission européenne (via le réseau EMT), Elia, GALA, EUATC et FIT Europe), indiquait entre autres que l’année 2017 avait été la toute première année dans l’histoire de la traduction où la proportion de professionnels (agences et traducteurs individuels) affirmant avoir déjà eu recours à la post-édition de traduction automatique avait dépassé la barre symbolique des 50%.

L’autre enquête présentée, menée par la Chambre Belge des Traducteurs et Interprètes en 2018, indiquait une réticence plus marquée des traducteurs individuels face à la technologie, mais avec un « potentiel d’évolution » non négligeable lié à la réponse « I might use it in the future ». Ces deux enquêtes montrent un recours exponentiel à la post-édition de traduction automatique par tous les acteurs du marché. Une tendance qui devrait se poursuivre à l’avenir.

Étude de cas

Après quelques rappels utiles sur les différents niveaux de post-édition (light/full) et une série d’explications sur les méthodologies employées, j’ai exposé les résultats d’une étude de cas menée auprès de 25 étudiants et de 10 professionnels, à qui j’ai présenté un discours de Barack Obama traduit avec le moteur DeepL. Les objectifs étaient : 1. aller au-delà des arguments présentés habituellement par les activistes anti-NMT, 2. analyser la qualité du contenu traduit automatiquement au moyen d’exemples concrets, 3. analyser les stratégies de post-édition employées par les étudiants et les professionnels, 4. analyser les différences d’approche vis-à-vis des deux niveaux de post-édition (Light post-editing : modification du strict nécessaire en évitant toute intervention stylistique ; Full post-editing : intervention maximale pour atteindre un niveau de qualité comparable à une traduction « humaine »).

L’espace qui m’est réservé ici ne me permettant pas de reprendre en détail les exemples présentés lors de la conférence, je me limiterai à l’exposé de deux cas jugés représentatifs.

1er exemple

Le premier exemple illustre bien la fluidité de la production NMT, avec une phrase « brute » qui semble de prime abord plutôt convaincante.

Néanmoins, on se rend compte en deuxième analyse que le passage « transformer ces réalisations en un cadre durable pour le progrès humain » ne veut pas dire grand-chose.

La logique de l’exercice de post-édition voudrait donc de laisser en l’état la phrase – qui reste compréhensible – au niveau Light post-editing (LPE), mais de la modifier au niveau Full post-editing (FPE).

L’étude de cas démontre deux phénomènes intéressants : 1. 80% des professionnels ont modifié cette phrase dès le niveau LPE, ce qui laisse penser que les professionnels, probablement moins familiarisés avec l’exercice, ne peuvent résister à la tentation de corriger une imperfection, même quand ils ne sont pas invités à le faire. À noter, à titre de comparaison, qu’aucun des étudiants n’a modifié ce segment. 2. Au niveau FPE, seuls 8% des étudiants ont modifié ce segment, alors que les objectifs de la tâche l’imposaient, puisque la phrase brute n’était pas conforme aux normes de qualité que l’on pourrait attendre d’une traduction humaine. Ce constat donne à penser que les étudiants ne sont soit pas conscients de la nécessité de modifier le segment et estiment que la traduction est suffisamment bonne, soit qu’ils en ont conscience, mais ne sont pas capables d’améliorer le texte (ou ne prennent pas la peine de le faire, se contentant du niveau produit par la machine (« we are all lazy humans »).

Ces deux tendances reviennent dans l’ensemble des segments concernés par ce cas de figure, où on constate que les étudiants interviennent beaucoup moins sur le texte, aux deux niveaux de post-édition, une attitude relativement bonne dans le cas du LPE, mais qui l’est beaucoup moins dans le cas du FPE.

2e exemple

Le deuxième exemple porte sur un segment contenant une erreur de sens (contre-sens/faux sens). Comme on peut le voir dans l’illustration qui suit, DeepL a traduit la collocation « to deliver justice to the terrorist network » par « pour rendre justice au réseau terroriste ». L’erreur vient du fait que l’expression « rendre justice » en français signifie le contraire de l’original anglais, à savoir « reconnaître les mérites de », « réparer le mal qui a été fait », etc.

L’exercice de post-édition voudrait donc qu’on modifie ici cette phrase dès le niveau Light post-editing, puisqu’il s’agit d’une erreur de sens relativement grave (même si nous sommes conscients que le contexte d’énonciation ne laisse planer aucun doute sur les intentions de Barack Obama). Nous dégageons à nouveau deux phénomènes : 1. Un seul étudiant sur les 25 a pris la peine de modifier cette phrase au niveau LPE, ce qui semble très peu compte tenu des objectifs précités. 2. 20% des professionnels ont laissé cette erreur au niveau Full post-editing (et 28% d’étudiants), ce qui semble élevé compte tenu de la gravité de l’erreur et du niveau d’expertise des post-éditeurs.

Ces deux données nous amènent à penser que les deux profils de traducteurs (étudiants et professionnels) ont été « trompés » par l’apparente fluidité du texte traduit automatiquement et sont ainsi passés à côté de cette erreur grossière.

À noter également que nous avions demandé à un « groupe contrôle » de 5 traducteurs professionnels de traduire un extrait de ce texte sans recourir à la NMT et qu’aucun n’a commis d’erreur de sens sur ce passage (ni d’ailleurs sur l’ensemble de l’extrait). Il semblerait donc que l’apparente fluidité d’une production automatique induise une sorte d’excès de confiance dans le chef des traducteurs, toutes expériences confondues, et favorise donc la présence résiduelle d’erreurs de sens moins visibles.

Conclusions

L’analyse de l’ensemble du texte nous permet de dégager les tendances et constats suivants. Tout d’abord, une différence très faible entre les deux niveaux de post-édition, ce qui indiquerait que les étudiants sont potentiellement de « meilleurs » candidats pour une tâche de LPE, mais qu’ils peinent en revanche à s’élever au niveau Full post-editing.

À l’inverse, les professionnels semblent potentiellement être de « meilleurs » candidats pour une tâche de FPE, mais interviennent de façon excessive lors de l’étape Light post-editing. De façon plus générale, on note ainsi que tous les traducteurs rencontrent des difficultés à faire la distinction entre les deux niveaux de post-édition, chacun à leur échelle. Ils semblent en outre induits en erreur par le pouvoir persuasif de la NMT et se laissent plus facilement tromper par l’apparente fluidité des traductions, même lorsque la machine commet de lourdes erreurs de sens.

Nous émettons également, dans nos conclusions, l’hypothèse d’un rapport généralement inversement proportionnel entre la gravité des erreurs commises par la machine et l’effort cognitif nécessaire pour les corriger.

Ainsi, pour prendre un exemple volontairement caricatural, un contre-sens (gravité élevée) qui serait lié à l’oubli d’une négation pourra se corriger en quelques secondes en ajoutant les mots « ne… pas » à la phrase (effort faible). En revanche, des phrases bancales sur le plan stylistique (gravité faible) nécessiteront le plus souvent une reformulation de l’ensemble de la phrase (effort élevé). Cette tendance pourrait selon nous encourager les post-éditeurs à laisser les phrases en l’état lorsqu’elles sont borderline. Cette hypothèse pourrait faire l’objet d’une prochaine étude de cas.

Conclusions générales

S’agissant des conclusions générales de la présentation, j’ai souhaité insister sur les éléments suivants, en guise de takeaways. 1. Un recours exponentiel sur l’ensemble du secteur à la (post-édition de) traduction automatique, qui a véritablement le vent en poupe ; une tendance qui ne devrait pas faiblir. D’aucuns prédisent ainsi que d’ici 2030, seuls 20% de tout le volume de traduction généré à l’échelle mondiale ne passeront pas par un moteur de traduction automatique. Une prévision que je ne partage pas personnellement et qui peut sembler excessive. 2. Les post-éditeurs de toutes générations ont parfois tendance à faire aveuglément confiance à la machine, sans doute en raison de la fluidité des traductions produites. 3. Une grande confusion subsiste quant à la technologie et à son adoption par le marché, ce qui devrait inciter les traducteurs à faire preuve d’ouverture et de pédagogie vis-à-vis des utilisateurs et des « consommateurs ». Il s’agit selon moi d’un impératif pour éviter des désillusions et des grincements de dents à l’avenir, surtout chez les clients finaux, qui voient la traduction automatique comme le Saint Graal. Bien que la NMT évolue constamment – à l’heure où j’écris ces lignes, deepL ne commet déjà plus certaines des erreurs détectées lors de l’étude de cas – je reste convaincu qu’il demeurera un simple outil d’aide à la traduction, certes très utile dans certaines circonstances, mais dont l’usage doit être réservé à des utilisateurs expérimentés, formés et avertis de ses dangers.

Guillaume Deneufbourg travaille comme traducteur indépendant EN-NL>FR depuis 2002. Titulaire d’un Master en Traduction de l’Université de Mons (Belgique), il l’est aussi d’un Master spécialisé en linguistique appliquée et traductologie (ULB, Bruxelles). Guillaume enseigne la traduction à l’Université de Mons et à l’Université de Lille depuis 2010. Résident en Belgique, à quelques kilomètres de la frontière française, il est membre de l’ATA, de la SFT et de la CBTI. Plus d’infos ici.