Found in Translation is an interactive, immersive installation for the exhibition "Understanding Misunderstanding" at 21_21 Design Sight in Tokyo. Using their own spoken sentences, visitors viscerally experience the process of machine translation. Visualizations show how the machine learning model clusters words from different languages by semantic similarity, and translations are presented typographically and auditorily across 24 languages.

Found in Translation ist eine interaktive, immersive Installation für die Ausstellung "Understanding Misunderstanding" im 21_21 Design Sight in Tokio. Der Prozess der maschinellen Übersetzung wird mit der eigenen gesprochenen Sprache erfahrbar gemacht. Visualisierungen zeigen, wie das Machine-Learning-Modell die Wörter aus verschiedenen Sprachen nach semantischer Ähnlichkeit gruppiert. Übersetzungen werden typografisch und auditiv in 24 Sprachen präsentiert.

The spatial environment consists of 24 screen panels and 24 audio speakers distributed across the room. The panels are organized and color-coded by language family, and each panel represents one language in text, diagrams and sound. In the center of the room is a microphone on a pedestal. When a visitor approaches the microphone the center panel shows a question as a prompt. Once an answer is spoken into the microphone a visualization shows the multi-lingual machine learning model that is used for translations. Word by word and sentence by sentence it becomes apparent which words from which languages are clustered together. The visualizations travel across the entire room, showing a spatialized version of a small multiple diagram across the room. Each diagram in turn animates into the text version of the translation, as the translated text is spoken in voice.

ie räumliche Installation besteht aus 24 Screens und 24 Lautsprechern, die im Raum verteilt sind. Die Tafeln sind nach Sprachfamilien organisiert und farblich kodiert, und jede Tafel stellt eine Sprache in Text, Diagrammen und Ton dar. In der Mitte des Raums befindet sich ein Mikrofon auf einem Podest. Wenn Besucher*innen sich dem Mikrofon nähern, zeigt der zentrale Screen eine Frage als Aufforderung. Sobald eine Antwort ins Mikrofon gesprochen wird, zeigt eine Visualisierung das mehrsprachige Machine-Learning-Modell, das für Übersetzungen verwendet wird. Wort für Wort und Satz für Satz wird deutlich, welche Wörter aus welchen Sprachen gruppiert sind. Die Visualisierungen durchqueren den gesamten Raum und zeigen eine verräumlichte Version eines Small-Multiple-Diagramms. Jedes räumliche Diagramm wird wiederum in die Textversion der Übersetzung animiert, während der übersetzte Text gesprochen wird.