Welcome to the 15th episode of the French Language Division’s Continuing Education Series. In today’s episode, André Racicot joins Angela Benoit to discuss the translation of toponyms.
André Racicot is a retired English to French translator, editor, terminologist, and trainer from the Translation Bureau of the Government of Canada. He holds a master’s degree in political science and a certificate in German studies. He focused on translation of foreign geographical names. He published a List of Names for Countries, Capitals and Inhabitants in 2000. This list was integrated into the style guide of the Canadian Department of Foreign Affairs. You can find him on Twitter at @AndrRacicot or contact him through his website.
HOW TO LISTEN
SOUNDCLOUD: You may listen to or download Episode 15, and our previous episodes, on Soundcloud here.
ITUNES: This episode, and our previous episodes are available on iTunes here. You can subscribe or listen online.
For SoundCloud and iTunes:
Welcome to the 15th episode of the French Language Division’s Continuing Education Series. In today’s episode, André Racicot joins Angela Benoit to discuss the translation of toponyms. For more information about our podcast, please visit the French Language Division’s website here: www.ata-divisions.org/FLD/category/podcast.
Le présent article est directement inspiré d’une présentation orale donnée (en anglais) à l’occasion du Congrès annuel de l’American Translators Association, le 25 octobre 2018, à La Nouvelle-Orléans, Louisiane, USA. Le titre original de cette intervention était : « Don’t Trust the Machine : How Neural Persuasive Power Can Mislead Post-editors ».
L’arrivée de la traduction automatique neuronale (NMT) a provoqué en 2017 une mini-onde de choc dans le monde de la traduction professionnelle. Pratiquement du jour au lendemain, les traducteurs ont pris conscience que la machine pouvait, à tout le moins dans certaines combinaisons linguistiques et certains domaines, produire du contenu « utilisable ». Cette évolution a parallèlement alimenté bon nombre de fantasmes et de craintes dans le chef des « consommateurs » et des prestataires de services de traduction.
Dans le giron des associations professionnelles ou sur les réseaux sociaux, les réactions ont été – et sont encore – aussi nombreuses que passionnées. Entre commentaires alarmistes, jugements infondés et exemples confinant à l’absurde tirés de textes de Shakespeare, on constate que les professionnels de la traduction ne sont pas toujours bien informés des tenants et aboutissants de la traduction automatique et de la post-édition et que les avis émis, guidés par l’émotion, pèchent par manque d’information et de données objectives.
L’objectif de la présentation donnée lors du Congrès annuel de l’ATA en novembre 2018 à La Nouvelle-Orléans était de dépasser les attaques ad machinam que lancent les militants anti-MT sans véritable fondement et de mettre le doigt, à travers des données très concrètes, sur les avantages et les dangers du recours à la (post-édition de) traduction automatique dans un contexte professionnel. Ma présentation s’articulait en trois parties, avec une introduction sur la technologie (histoire, évolution, perception des différents acteurs du marché), la présentation des résultats de deux enquêtes menées à l’échelle européenne sur l’utilisation de la technologie, et l’exposé d’une étude de cas réalisée auprès de professionnels et d’étudiants.
Introduction
L’introduction retraçait brièvement l’histoire de la traduction automatique et présentait mon opinion personnelle sur la perception de la technologie par les différents acteurs du marché. J’ai ainsi expliqué, non sans une petite dose d’ironie et d’autodérision, les quatre « profils » que l’on retrouve sur le marché des traducteurs indépendants : 1. les partisans de la politique de l’autruche, adeptes des exemples shakespeariens évoqués plus haut, 2. les fatalistes, persuadés de la mort imminente de leur profession, 3. les fourbes, qui critiquent ouvertement la traduction automatique en public, mais qui l’utilisent en secret dans la quiétude de leur bureau (soit par facilité, soit par obligation), 4. l’utilisateur réfléchi, qui se pose systématiquement la question de la pertinence, en fonction du contexte d’utilisation (profil recommandé).
Il convient aussi de noter que les opinions sont très divergentes en fonction de la position des acteurs sur le marché. Un grand nombre de pratiques existent, allant des arnaques pures et simples des agences low-cost, qui tentent régulièrement de faire passer des textes traduits automatiquement pour des productions humaines, aux agences plus consciencieuses qui essaient de prendre le train en marche sans effrayer leurs précieuses ressources linguistiques, en passant par les étudiants et les formateurs en traduction, dont les pratiques d’apprentissage et d’enseignement sont bouleversées, doucement, mais sûrement, par l’arrivée de la technologie.
Ces constats indiquent qu’il règne une extrême confusion sur le marché, que ce soit parmi ses acteurs (traducteurs, clients, tiers) qu’au sujet du produit lui-même (confusion entre qualité du contenu brut et qualité du contenu post-édité, etc.). De cette confusion découle un grand besoin d’objectiver le débat et de pédagogie.
Quelques statistiques
La deuxième partie consistait à dispenser quelques données objectives sur l’utilisation réelle de la traduction automatique au sein du secteur. Pour ce faire, j’ai présenté les résultats de deux enquêtes menées en 2017 et 2018.
La première, « European Language Industry Survey », menée en 2017 par un ensemble d’organisations (Commission européenne (via le réseau EMT), Elia, GALA, EUATC et FIT Europe), indiquait entre autres que l’année 2017 avait été la toute première année dans l’histoire de la traduction où la proportion de professionnels (agences et traducteurs individuels) affirmant avoir déjà eu recours à la post-édition de traduction automatique avait dépassé la barre symbolique des 50%.
L’autre enquête présentée, menée par la Chambre Belge des Traducteurs et Interprètes en 2018, indiquait une réticence plus marquée des traducteurs individuels face à la technologie, mais avec un « potentiel d’évolution » non négligeable lié à la réponse « I might use it in the future ». Ces deux enquêtes montrent un recours exponentiel à la post-édition de traduction automatique par tous les acteurs du marché. Une tendance qui devrait se poursuivre à l’avenir.
Étude de cas
Après quelques rappels utiles sur les différents niveaux de post-édition (light/full) et une série d’explications sur les méthodologies employées, j’ai exposé les résultats d’une étude de cas menée auprès de 25 étudiants et de 10 professionnels, à qui j’ai présenté un discours de Barack Obama traduit avec le moteur DeepL. Les objectifs étaient : 1. aller au-delà des arguments présentés habituellement par les activistes anti-NMT, 2. analyser la qualité du contenu traduit automatiquement au moyen d’exemples concrets, 3. analyser les stratégies de post-édition employées par les étudiants et les professionnels, 4. analyser les différences d’approche vis-à-vis des deux niveaux de post-édition (Light post-editing : modification du strict nécessaire en évitant toute intervention stylistique ; Full post-editing : intervention maximale pour atteindre un niveau de qualité comparable à une traduction « humaine »).
L’espace qui m’est réservé ici ne me permettant pas de reprendre en détail les exemples présentés lors de la conférence, je me limiterai à l’exposé de deux cas jugés représentatifs.
1er exemple
Le premier exemple illustre bien la fluidité de la production NMT, avec une phrase « brute » qui semble de prime abord plutôt convaincante.
Néanmoins, on se rend compte en deuxième analyse que le passage « transformer ces réalisations en un cadre durable pour le progrès humain » ne veut pas dire grand-chose.
La logique de l’exercice de post-édition voudrait donc de laisser en l’état la phrase – qui reste compréhensible – au niveau Light post-editing (LPE), mais de la modifier au niveau Full post-editing (FPE).
L’étude de cas démontre deux phénomènes intéressants : 1. 80% des professionnels ont modifié cette phrase dès le niveau LPE, ce qui laisse penser que les professionnels, probablement moins familiarisés avec l’exercice, ne peuvent résister à la tentation de corriger une imperfection, même quand ils ne sont pas invités à le faire. À noter, à titre de comparaison, qu’aucun des étudiants n’a modifié ce segment. 2. Au niveau FPE, seuls 8% des étudiants ont modifié ce segment, alors que les objectifs de la tâche l’imposaient, puisque la phrase brute n’était pas conforme aux normes de qualité que l’on pourrait attendre d’une traduction humaine. Ce constat donne à penser que les étudiants ne sont soit pas conscients de la nécessité de modifier le segment et estiment que la traduction est suffisamment bonne, soit qu’ils en ont conscience, mais ne sont pas capables d’améliorer le texte (ou ne prennent pas la peine de le faire, se contentant du niveau produit par la machine (« we are all lazy humans »).
Ces deux tendances reviennent dans l’ensemble des segments concernés par ce cas de figure, où on constate que les étudiants interviennent beaucoup moins sur le texte, aux deux niveaux de post-édition, une attitude relativement bonne dans le cas du LPE, mais qui l’est beaucoup moins dans le cas du FPE.
2e exemple
Le deuxième exemple porte sur un segment contenant une erreur de sens (contre-sens/faux sens). Comme on peut le voir dans l’illustration qui suit, DeepL a traduit la collocation « to deliver justice to the terrorist network » par « pour rendre justice au réseau terroriste ». L’erreur vient du fait que l’expression « rendre justice » en français signifie le contraire de l’original anglais, à savoir « reconnaître les mérites de », « réparer le mal qui a été fait », etc.
L’exercice de post-édition voudrait donc qu’on modifie ici cette phrase dès le niveau Light post-editing, puisqu’il s’agit d’une erreur de sens relativement grave (même si nous sommes conscients que le contexte d’énonciation ne laisse planer aucun doute sur les intentions de Barack Obama). Nous dégageons à nouveau deux phénomènes : 1. Un seul étudiant sur les 25 a pris la peine de modifier cette phrase au niveau LPE, ce qui semble très peu compte tenu des objectifs précités. 2. 20% des professionnels ont laissé cette erreur au niveau Full post-editing (et 28% d’étudiants), ce qui semble élevé compte tenu de la gravité de l’erreur et du niveau d’expertise des post-éditeurs.
Ces deux données nous amènent à penser que les deux profils de traducteurs (étudiants et professionnels) ont été « trompés » par l’apparente fluidité du texte traduit automatiquement et sont ainsi passés à côté de cette erreur grossière.
À noter également que nous avions demandé à un « groupe contrôle » de 5 traducteurs professionnels de traduire un extrait de ce texte sans recourir à la NMT et qu’aucun n’a commis d’erreur de sens sur ce passage (ni d’ailleurs sur l’ensemble de l’extrait). Il semblerait donc que l’apparente fluidité d’une production automatique induise une sorte d’excès de confiance dans le chef des traducteurs, toutes expériences confondues, et favorise donc la présence résiduelle d’erreurs de sens moins visibles.
Conclusions
L’analyse de l’ensemble du texte nous permet de dégager les tendances et constats suivants. Tout d’abord, une différence très faible entre les deux niveaux de post-édition, ce qui indiquerait que les étudiants sont potentiellement de « meilleurs » candidats pour une tâche de LPE, mais qu’ils peinent en revanche à s’élever au niveau Full post-editing.
À l’inverse, les professionnels semblent potentiellement être de « meilleurs » candidats pour une tâche de FPE, mais interviennent de façon excessive lors de l’étape Light post-editing. De façon plus générale, on note ainsi que tous les traducteurs rencontrent des difficultés à faire la distinction entre les deux niveaux de post-édition, chacun à leur échelle. Ils semblent en outre induits en erreur par le pouvoir persuasif de la NMT et se laissent plus facilement tromper par l’apparente fluidité des traductions, même lorsque la machine commet de lourdes erreurs de sens.
Nous émettons également, dans nos conclusions, l’hypothèse d’un rapport généralement inversement proportionnel entre la gravité des erreurs commises par la machine et l’effort cognitif nécessaire pour les corriger.
Ainsi, pour prendre un exemple volontairement caricatural, un contre-sens (gravité élevée) qui serait lié à l’oubli d’une négation pourra se corriger en quelques secondes en ajoutant les mots « ne… pas » à la phrase (effort faible). En revanche, des phrases bancales sur le plan stylistique (gravité faible) nécessiteront le plus souvent une reformulation de l’ensemble de la phrase (effort élevé). Cette tendance pourrait selon nous encourager les post-éditeurs à laisser les phrases en l’état lorsqu’elles sont borderline. Cette hypothèse pourrait faire l’objet d’une prochaine étude de cas.
Conclusions générales
S’agissant des conclusions générales de la présentation, j’ai souhaité insister sur les éléments suivants, en guise de takeaways. 1. Un recours exponentiel sur l’ensemble du secteur à la (post-édition de) traduction automatique, qui a véritablement le vent en poupe ; une tendance qui ne devrait pas faiblir. D’aucuns prédisent ainsi que d’ici 2030, seuls 20% de tout le volume de traduction généré à l’échelle mondiale ne passeront pas par un moteur de traduction automatique. Une prévision que je ne partage pas personnellement et qui peut sembler excessive. 2. Les post-éditeurs de toutes générations ont parfois tendance à faire aveuglément confiance à la machine, sans doute en raison de la fluidité des traductions produites. 3. Une grande confusion subsiste quant à la technologie et à son adoption par le marché, ce qui devrait inciter les traducteurs à faire preuve d’ouverture et de pédagogie vis-à-vis des utilisateurs et des « consommateurs ». Il s’agit selon moi d’un impératif pour éviter des désillusions et des grincements de dents à l’avenir, surtout chez les clients finaux, qui voient la traduction automatique comme le Saint Graal. Bien que la NMT évolue constamment – à l’heure où j’écris ces lignes, deepL ne commet déjà plus certaines des erreurs détectées lors de l’étude de cas – je reste convaincu qu’il demeurera un simple outil d’aide à la traduction, certes très utile dans certaines circonstances, mais dont l’usage doit être réservé à des utilisateurs expérimentés, formés et avertis de ses dangers.
Guillaume Deneufbourg travaille comme traducteur indépendant EN-NL>FR depuis 2002. Titulaire d’un Master en Traduction de l’Université de Mons (Belgique), il l’est aussi d’un Master spécialisé en linguistique appliquée et traductologie (ULB, Bruxelles). Guillaume enseigne la traduction à l’Université de Mons et à l’Université de Lille depuis 2010. Résident en Belgique, à quelques kilomètres de la frontière française, il est membre de l’ATA, de la SFT et de la CBTI. Plus d’infos ici.
The FLD is thrilled to share the professional accomplishments and updates of its members.
Naomi Norberg was sworn in as an expert près la cour d’appel de Bourges with a specialty in translation (more commonly known as a traductrice assermentée) in December 2018.
If you have a professional update you would like to share, please email it to the division at divisionfld@atanet.org.
