Fortsetzung des kroatischen Sprachsynthesemodells. Diesmal habe ich ein einziges kleines Modell Kroatisch, Japanisch und Englisch sprechen lassen. Anschließend habe ich verglichen, wie groß die Unterschiede bei jeweils 10, 5 und 3 Stunden Trainingsdaten pro Sprache sind.

Zuerst das Fazit.

• Ob 10, 5 oder 3 Stunden pro Sprache: Am Ende gab es kaum Unterschiede. Die Zeichenfehlerrate zum jeweils besten Zeitpunkt betrug bei allen drei 0,7 % (28 von 32 Sätzen stimmten vollständig überein)
• Auch der Trainingsverlauf war nahezu gleich. Japanisch und Englisch konnten alle Modelle nach 3.000–5.000 Schritten lesen, Kroatisch nach 10.000 Schritten ebenfalls fast genau nach Skript
• Nur die 3-Stunden-Version behielt eine Zeit lang die Angewohnheit, „Bok! (Hallo)“ fälschlich als „Blok“ zu lesen. Es dauerte etwas länger, bis sie ihren besten Zustand erreichte
• Auch bei Sätzen voller Fachbegriffe zeigte sich kein Unterschied. Ich hatte vermutet, dass die 10-Stunden-Version einen größeren Wortschatz beherrscht, doch alle drei waren fast gleich
• Bei Fachbegriffen traten bei den drei Modellen bei denselben Wörtern dieselben Fehllesungen auf. Im Englischen lag die Ursache nicht im Modell, sondern in dem Teil, der Buchstaben in Lautschrift umwandelt (dem Wörterbuch)

Was ich gemacht habe

Modell: Wie beim letzten Mal Matcha-TTS (etwa 18,3 Millionen Parameter) und Vocos (etwa 13,5 Millionen Parameter) zur Rückumwandlung in Wellenformen. Sprecher ist ein Mann in seinen Zwanzigern.

Trick für drei Sprachen: Die Eingabe des Modells besteht aus Lautschrift (IPA), die allen drei Sprachen gemeinsam ist. Gleiche Laute, die sprachübergreifend vorkommen, etwa „ʦ“ und „ʨ“, teilen sich dasselbe Symbol. Welche Sprache gesprochen werden soll, wird angegeben, indem eine Nummer, die ursprünglich zum Wechseln des Sprechers gedacht war, als „Sprachnummer“ verwendet wird.

• Kroatisch: Da diese Sprache fast so gelesen wird, wie sie geschrieben wird, werden die Buchstaben einfach eins zu eins in Lautschrift umgewandelt
• Japanisch: Mit OpenJTalk wurden Aussprache und Akzent extrahiert und Markierungen für ansteigende und fallende Tonhöhe gesetzt
• Englisch: Mit g2p_en (dem CMU-Aussprachewörterbuch und einem kleinen Modell, das die Aussprache nicht im Wörterbuch enthaltener Wörter schätzt) wurde die Lautschrift erzeugt

Trainingsdaten: Aufnahmen desselben Mannes, der Dialogzeilen in den drei Sprachen vorliest. Nach dem Abgleich mit dem Skript mittels Spracherkennung und dem Ausschluss von Fehllesungen blieben 9,4 Stunden Kroatisch, 9,7 Stunden Japanisch und 8,3 Stunden Englisch übrig (insgesamt etwa 27 Stunden). Diese Version nenne ich „10-Stunden-Version“.

Daraus wurden für die „5-Stunden-Version“ zufällig genau 5 Stunden pro Sprache entnommen (insgesamt 15 Stunden); für die „3-Stunden-Version“ jeweils 3 Stunden (insgesamt 9 Stunden, etwa 5.800 Aufnahmen). Alle anderen Einstellungen (Modellgröße, Batch-Größe, 60.000 Schritte) blieben gleich. Da die Anzahl der Schritte identisch ist, sieht das Modell bei weniger Daten dieselben Aufnahmen häufiger (bei der 3-Stunden-Version etwa dreimal so oft wie bei der 10-Stunden-Version).

Das Training lief auf einer RTX 4090 und dauerte pro Durchlauf 6 bis 8,5 Stunden.

Stimmen während des Trainings vergleichen

Die folgenden Sätze, die nicht in den Trainingsdaten enthalten waren, wurden mit Modellen in verschiedenen Trainingsphasen synthetisiert.

• Englisch: Tomorrow we're going to the seaside, and the day after we'll visit my grandma in Split.
• Japanisch: 明日は海に行って、あさってはおばあちゃんの家に遊びに行く予定です。
• Kroatisch: Sutra idemo na more, a prekosutra ćemo posjetiti baku u Splitu.

Von links nach rechts: 10-Stunden-Version, 5-Stunden-Version, 3-Stunden-Version.

Schritt	10-Stunden-Version	5-Stunden-Version	3-Stunden-Version
1.000	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch
2.000	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch
3.000	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch
4.000	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch
5.000	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch
10.000	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch
20.000	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch
30.000	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch
40.000	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch
50.000	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch

Nach meinem Höreindruck waren bei 1.000 Schritten alle Versionen noch undeutlich. Beim Englischen konnte man aber bereits ungefähr verstehen, was gesagt wurde. Beim Japanischen gab es je nach Version Unterschiede: Die 5-Stunden-Version wurde schon bei 1.000 Schritten für diesen Satz Wort für Wort korrekt transkribiert. Die 10-Stunden-Version dagegen ergab „Bitte kümmern Sie sich darum“, die 3-Stunden-Version „Bis morgen mit dem Medik…“ – also völlig andere Sätze.

Bei 3.000–5.000 Schritten konnten alle Versionen Japanisch und Englisch skriptgetreu lesen. Kroatisch folgte etwas später: Dass das erste „Sutra“ („morgen“) als „Sve“, „Straj“, „Satra“ und Ähnliches verstanden wurde, blieb noch bis etwa 5.000–10.000 Schritte bestehen. Ab 20.000 Schritten waren die Unterschiede zwischen den drei Versionen beim Hören kaum noch feststellbar.

In Zahlen

Die Testsätze (14 kroatische, 9 japanische und 9 englische Sätze, alle außerhalb der Trainingsdaten) wurden mit Whisper large-v3 transkribiert und die Zeichenfehlerrate (CER) gegenüber dem Skript gemessen. Japanisch wurde vor dem Vergleich in Katakana-Lesungen umgewandelt, damit unterschiedliche Kanji-Schreibweisen, etwa „あさって“ und „明後日“, nicht als Fehler zählen.

Zunächst der Durchschnitt über alle 32 Sätze in den drei Sprachen. Die Zahl in Klammern gibt die Anzahl vollständiger Übereinstimmungen an.

Schritte	10-Stunden-Version	5-Stunden-Version	3-Stunden-Version
1.000	43,8 %（2）	41,9 %（2）	43,8 %（1）
2.000	16,6 %（7）	17,7 %（12）	17,6 %（9）
3.000	7,7 %（16）	6,2 %（16）	9,9 %（14）
4.000	5,9 %（21）	3,7 %（19）	2,7 %（25）
5.000	2,1 %（23）	3,3 %（20）	4,5 %（23）
10.000	1,4 %（24）	1,1 %（23）	1,7 %（24）
15.000	0,8 %（26）	0,7 %（26）	2,0 %（24）
20.000	0,7 %（27）	0,8 %（26）	0,9 %（25）
30.000	0,7 %（28）	0,8 %（26）	1,7 %（26）
40.000	1,2 %（25）	1,7 %（26）	0,7 %（26）
45.000	3,9 %（25）	0,7 %（28）	0,7 %（27）
50.000	0,7 %（28）	0,7 %（26）	0,7 %（28）
60.000	1,8 %（26）	0,8 %（27）	1,9 %（25）

Nach Sprachen aufgeschlüsselt ergibt sich Folgendes (Kroatisch / Japanisch / Englisch).

Schritte	10-Stunden-Version	5-Stunden-Version	3-Stunden-Version
5.000	2,8 / 1,2 / 1,8 %	6,5 / 1,2 / 0,3 %	2,0 / 1,8 / 11,1 %
10.000	2,2 / 1,2 / 0,3 %	1,7 / 1,2 / 0,3 %	2,9 / 1,2 / 0,3 %
20.000	0,8 / 1,2 / 0,0 %	0,9 / 1,2 / 0,0 %	0,8 / 1,8 / 0,3 %
30.000	0,7 / 1,2 / 0,0 %	1,1 / 1,2 / 0,0 %	3,2 / 1,2 / 0,0 %
50.000	0,7 / 1,2 / 0,0 %	0,9 / 1,2 / 0,0 %	0,7 / 1,2 / 0,0 %

• Am besten schnitten die 10-Stunden-Version bei 30.000 und 50.000 Schritten, die 5-Stunden-Version bei 45.000 Schritten und die 3-Stunden-Version bei 50.000 Schritten ab. Alle erreichten insgesamt 0,7 % und bei 28 von 32 Sätzen eine vollständige Übereinstimmung – alle drei kamen am selben Punkt an
• An den Stellen, an denen die Werte zwischendurch sprunghaft steigen, handelt es sich fast immer um den Unterschied eines einzelnen Wortes. Beispielsweise wurde „Bok!“ („Hallo!“) als „Bog“ und „Hi!“ als „Bye.“ verstanden; bei kurzen Sätzen mit ein bis zwei Wörtern lässt bereits ein einziges abweichendes Zeichen die Fehlerrate stark ansteigen
• Bei der 3-Stunden-Version lag Kroatisch zwischen 15.000 und 35.000 Schritten im Bereich von 3 %. Beim Blick auf die Details war fast immer derselbe Satz die Ursache: „Bok!“ wurde als „Blok“ gelesen. Bei 50.000 Schritten war das behoben. Mit weniger Daten scheint es länger zu dauern, bis sich solche Eigenheiten bei kurzen Sätzen verlieren
• Die 1,2 % im Japanischen gehen jedes Mal nur auf einen Satz zurück, bei dem „しーっ“ aus „しーっ、静かに。“ als „し“ transkribiert wird. Es ist eine Frage, wie weit der lange Vokal ausgeschrieben wird; beim Hören sagt das Modell eindeutig „しーっ“
• Die verbleibenden kroatischen Fehler sind fast ausschließlich Eigenheiten der Transkription, etwa dass „prekosutra“ („übermorgen“) als zwei Wörter, „preko sutra“, geschrieben wird

Der Unterschied zwischen 10, 5 und 3 Stunden lag innerhalb der Fehlertoleranz. Zumindest dafür, ob die Sätze skriptgetreu gelesen werden können, reichten drei Stunden je Sprache aus. Die 3-Stunden-Version brauchte jedoch länger, bis sie sich stabilisierte, daher sollte sie mehr als 40.000 Schritte trainiert werden.

Vergleich mit Sätzen voller Fachbegriffe

Für alltägliche Gespräche mögen auch weniger Daten ausreichen, aber sind Modelle mit mehr Daten nicht stärker bei schwierigen Wörtern, die in den Trainingsdaten kaum vorkommen? Deshalb habe ich zehn Sätze mit Fachbegriffen aus Medizin, IT, Recht, Chemie, Finanzen und weiteren Bereichen erstellt und sie in drei Sprachen lesen lassen. Für alle Modelle wurde der Stand bei 50.000 Schritten verwendet.

1. Da der Verdacht auf einen Herzinfarkt besteht, bereiten Sie bitte umgehend eine Koronarangiographie und eine thrombolytische Therapie vor.
   • Wir vermuten einen Myokardinfarkt; bitte bereiten Sie daher umgehend eine Koronarangiographie und eine thrombolytische Therapie vor.
   • Wir vermuten einen Myokardinfarkt; bereiten Sie deshalb sofort eine Koronarangiographie und eine thrombolytische Therapie vor.
2. Dieser Algorithmus kombiniert ein Convolutional Neural Network mit einer rekurrenten Architektur.
   • Dieser Algorithmus kombiniert ein Convolutional Neural Network mit einer rekurrenten Architektur.
   • Dieser Algorithmus kombiniert ein konvolutionales neuronales Netzwerk mit einer rekurrenten Architektur.
3. Der Verteidiger des Angeklagten beantragte im Berufungsverfahren einen Freispruch wegen der rechtswidrigen Beschaffung von Beweismitteln.
   • Der Anwalt des Angeklagten plädierte im Berufungsverfahren auf Freispruch und verwies auf die rechtswidrige Beschaffung von Beweismitteln.
   • Der Verteidiger des Angeklagten beantragte im Berufungsverfahren wegen rechtswidrig erlangter Beweismittel einen Freispruch.
4. Bei der Photosynthese arbeitet die Elektronentransportkette in der Thylakoidmembran des Chloroplasten, und Adenosintriphosphat wird synthetisiert.
   • Bei der Photosynthese erzeugt die Elektronentransportkette in der Thylakoidmembran des Chloroplasten Adenosintriphosphat.
   • Bei der Photosynthese erzeugt die Elektronentransportkette in der Thylakoidmembran des Chloroplasten Adenosintriphosphat.
5. Quanten-Schlüsselverteilung auf Grundlage von Verschränkung kann prinzipiell jedes Abhören erkennen.
   • Quanten-Schlüsselverteilung auf Grundlage von Verschränkung kann prinzipiell jedes Abhören erkennen.
   • Eine auf Verschränkung basierende Quanten-Schlüsselverteilung kann grundsätzlich jedes Abhören erkennen.
6. Angesichts der steigenden Inflationsrate beschloss die Zentralbank, den Leitzins anzuheben und mit quantitativer Straffung zu beginnen.
   • Als Reaktion auf die steigende Inflation beschloss die Zentralbank, die Zinssätze anzuheben und mit quantitativer Straffung zu beginnen.
   • Wegen der steigenden Inflation beschloss die Zentralbank, die Zinssätze anzuheben und mit quantitativer Straffung zu beginnen.
7. Bei Patienten mit Kniearthrose werden intraartikuläre Hyaluronsäure-Injektionen mit Physiotherapie kombiniert.
   • Patienten mit Kniearthrose erhalten intraartikuläre Hyaluronsäure-Injektionen in Kombination mit Physiotherapie.
   • Patienten mit Kniearthrose erhalten intraartikuläre Injektionen von Hyaluronsäure zusammen mit Physiotherapie.
8. Diese Brücke trägt eine Stahlbetonfahrbahnplatte auf Trägern aus Spannbeton.
   • Diese Brücke trägt eine Stahlbetonfahrbahnplatte auf Spannbetonträgern.
   • Diese Brücke trägt eine Stahlbetonplatte auf vorgespannten Betonträgern.
9. Die Kryptowährungsbörse prüft die Integrität ihres verteilten Hauptbuchs mit einem Konsensalgorithmus.
   • Die Kryptowährungsbörse prüft die Integrität ihres verteilten Hauptbuchs mit einem Konsensalgorithmus.
   • Die Kryptowährungsbörse prüft die Integrität des verteilten Hauptbuchs mithilfe eines Konsensalgorithmus.
10. Der übermäßige Einsatz von Antibiotika führt zum Auftreten multiresistenter Bakterien und erhöht das Risiko nosokomialer Infektionen.

• Übermäßiger Einsatz von Antibiotika führt zu multiresistenten Bakterien und erhöht das Risiko nosokomialer Infektionen.
• Übermäßiger Einsatz von Antibiotika führt zu multiresistenten Bakterien und erhöht das Risiko von Krankenhausinfektionen.

Satz	10-Stunden-Version	5-Stunden-Version	3-Stunden-Version
1. Da der Verdacht auf einen Herzinfarkt besteht, bereiten Sie bitte umgehend eine Koronarangiographie und eine Thrombolysetherapie vor.	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch
2. Dieser Algorithmus kombiniert ein Convolutional Neural Network mit einem rekurrenten Netzwerk.	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch
3. Der Anwalt des Angeklagten beantragte im Berufungsverfahren wegen der rechtswidrigen Beweiserhebung einen Freispruch.	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch
4. Bei der Photosynthese arbeitet die Elektronentransportkette in den Thylakoidmembranen der Chloroplasten, wodurch Adenosintriphosphat synthetisiert wird.	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch
5. Die auf Quantenverschränkung basierende Verteilung kryptografischer Schlüssel kann Abhörversuche prinzipbedingt erkennen.	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch
6. Angesichts der steigenden Inflationsrate beschloss die Zentralbank, den Leitzins anzuheben und ihre Geldpolitik quantitativ zu straffen.	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch
7. Bei Patienten mit Kniearthrose kombinieren wir intraartikuläre Hyaluronsäure-Injektionen mit Physiotherapie.	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch
8. Bei dieser Brücke wird eine Stahlbetonfahrbahnplatte von Spannbetonträgern getragen.	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch
9. Kryptowährungsbörsen überprüfen die Integrität dezentraler Hauptbücher mithilfe von Konsensalgorithmen.	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch
10. Eine übermäßige Gabe von Antibiotika begünstigt das Auftreten multiresistenter Bakterien und erhöht das Risiko nosokomialer Infektionen.	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch	Englisch Japanisch Kroatisch

Ergebnisse.

	Kroatisch	Japanisch	Englisch	Vollständige Übereinstimmungen von 30 Sätzen
10-Stunden-Version	0,6 %	1,5 %	4,6 %	17
5-Stunden-Version	0,3 %	1,0 %	3,9 %	20
3-Stunden-Version	0,5 %	1,0 %	4,1 %	18

Es zeigte sich nicht, dass die 10-Stunden-Version stärker wäre. Alle drei waren ungefähr gleich gut; die 5-Stunden-Version war sogar leicht besser. Sicherheitshalber wurden die 10- und die 5-Stunden-Version auch mit Modellen nach 60.000 Schritten gemessen: Die 10-Stunden-Version erreichte 1,9 %, die 5-Stunden-Version 2,0 %, also war die Reihenfolge umgekehrt. Das heißt: Dieser Unterschied ist zufällige Schwankung, und man kann nicht sagen, welche besser ist. Nur die 3-Stunden-Version wurde auf der CPU synthetisiert und transkribiert, weil die GPU gerade mit anderer Arbeit belegt war. Dadurch waren die Bedingungen geringfügig anders.

Interessant war der Inhalt der Fehler.

• Das englische „cryptocurrency“ wurde bei allen drei Modellen als etwas wie „Kripke-Kunershi“, „Kripke-Kinoshi“ oder „Kripik-Innershi“ erkannt
• Auch „intra-articular“, „multidrug-resistant“ und „angiography“ wurden von allen drei Modellen auf ähnliche Weise verfälscht
• Das japanische „冠動脈造影“ wurde bei allen dreien als „〜増え“ und „床版“ bei allen dreien als „障板“ transkribiert
• Das kroatische „pooštravanje (Verschärfung)“ wurde von allen Modellen als „poštravanje“ erkannt

Modelle mit unterschiedlich großen Datenmengen machen bei denselben Wörtern ähnliche Fehler. Beim Englischen war die Ursache eindeutig: nicht das Modell, sondern der Teil, der Zeichen in phonetische Symbole umwandelt.

Das Modell liest die Zeichen nicht direkt, sondern phonetische Symbole. Bei englischen Wörtern, die nicht im Wörterbuch stehen, schätzt g2p_en die Aussprache. Bei einer Überprüfung wurde „cryptocurrency“ in phonetische Symbole umgewandelt, die einer Aussprache wie „Kuripakyunāshi“ nahekommen, und bei „angiography“ enthielten die phonetischen Symbole mittendrin ein n. Das Modell setzt lediglich die ihm gegebenen phonetischen Symbole in Stimme um; deshalb macht es an denselben Stellen Fehler, unabhängig davon, ob die Trainingsdaten 10 oder 3 Stunden umfassen.

Im Japanischen ist die Lage etwas anders. Die Lesungen von OpenJTalk waren bei „床版（ショーバン）“ und „冠動脈造影（カンドーミャクゾーエー）“ korrekt. Dass „床版“ zu „障板“ wurde, liegt daran, dass es sich um andere Kanji mit derselben Lesung handelt; als Aussprache ist es korrekt. Ob „造影“ zu „増え“ wurde, weil Whisper ein seltenes Wort an ein vertrautes Wort angeglichen hat oder weil die Aussprache des Modells nicht präzise genug war, lässt sich mit dieser Messmethode nicht unterscheiden. Aber auch hier machten alle drei Modelle ähnliche Fehler.

Das heißt: In diesem System wird die Stärke bei englischen Fachbegriffen zumindest nicht durch die Menge der Trainingsdaten, sondern durch das Aussprachewörterbuch bestimmt. Wenn Fachbegriffe besser beherrscht werden sollen, ist es schneller, Wörter im Wörterbuch zu registrieren, als mehr Daten hinzuzufügen.

Zusammenfassung

• Es war möglich, drei Sprachen von einem einzigen kleinen Modell (insgesamt rund 32 Millionen Parameter) sprechen zu lassen
• Bei den Trainingsdaten war die Lesegenauigkeit pro Sprache letztlich fast gleich, unabhängig davon, ob 10, 5 oder 3 Stunden verwendet wurden. Die 3-Stunden-Version braucht etwas länger, bis sie sich stabilisiert
• Auch bei Fachbegriffen gab es keinen Unterschied. Die Fehler entstehen auf Seiten des Aussprachewörterbuchs und lassen sich nicht durch mehr Daten beheben

Das Erstellen der Daten kostet Zeit und Geld. Daher scheint es sinnvoll, zunächst mit drei Stunden pro Sprache zu beginnen und bei Bedarf mehr hinzuzufügen. Als Nächstes sollen auf Grundlage dieses Ergebnisses zehn Sprachen ausprobiert werden. Gemessen wurde diesmal allerdings nur, „was gesagt wird“. Bei Aspekten, die sich nicht mit der Zeichenfehlerrate messen lassen – etwa Natürlichkeit der Stimme oder Bandbreite der Emotionen –, könnten mehr Daten vorteilhaft sein. Das möchte ich mit den Ohren überprüfen.