Lyra Speech Codec

Beschreibung

Lyra ist ein bahnbrechender Sprachkompressionscodec, der entwickelt wurde, um eine qualitativ hochwertige Sprachkommunikation selbst unter den eingeschränktesten Netzwerkbedingungen zu ermöglichen. Lyra wurde von Google entwickelt und löst die langjährige Herausforderung, Sprachverständlichkeit und Natürlichkeit bei extrem niedrigen Bitraten aufrechtzuerhalten, eine Leistung, die historisch zu roboterhafter oder beeinträchtigter Sprache führte.

Die Kerninnovation von Lyra liegt in seinem hybriden Ansatz, der traditionelle Codec-Techniken mit fortschrittlichem maschinellem Lernen kombiniert. Der Codec extrahiert alle 40 Millisekunden charakteristische Sprachmerkmale, sogenannte Features. Diese Features, die als log-mel-Spektrogramme dargestellt werden, werden dann für die Übertragung komprimiert. Am Empfänger rekonstruiert ein generatives Modell, inspiriert von Modellen wie DeepMinds WaveNet, das Sprachsignal anhand dieser komprimierten Features. Diese Methode ermöglicht es Lyra, die für parametrische Codecs charakteristischen niedrigen Bitraten zu erreichen und gleichzeitig eine Audioqualität zu liefern, die mit modernsten Wellenform-Codecs vergleichbar ist.

Im Gegensatz zu herkömmlichen Wellenform-Codecs, die Audio Sample für Sample komprimieren und höhere Bitraten erfordern, ist Lyras generativer Ansatz effizienter. Ein Hauptanliegen bei generativen Modellen ist die Rechenkomplexität, aber Lyra mildert dies durch den Einsatz eines kostengünstigen rekurrenten generativen Modells, einer Variante von WaveRNN. Dieses Modell arbeitet mit einer niedrigeren Rate, generiert aber mehrere Signale parallel über verschiedene Frequenzbereiche, die dann zu einem einzigen Ausgabesignal kombiniert werden. Diese Optimierung ermöglicht es Lyra, nicht nur auf Cloud-Servern, sondern auch in Echtzeit auf mittelklasse Mobilgeräten mit einer Verarbeitungs­latenz von 90 ms zu funktionieren, was den Industriestandards entspricht.

Lyra ist darauf ausgelegt, mit einer Ziel­bitrate von 3 kbps zu arbeiten und übertrifft bestehende Codecs auf diesem Niveau deutlich. Hörtests zeigen, dass Lyra im Vergleich zu Opus bei 8 kbps gut abschneidet, was einer Bandbreitenreduzierung von über 60 % entspricht. Dies macht Lyra zu einer idealen Lösung für Umgebungen, in denen die Bandbreite für Codecs mit höherer Bitrate nicht ausreicht oder in denen bestehende Optionen mit niedriger Bitrate keine ausreichende Qualität liefern. Der Codec wurde auf Tausenden von Stunden an Sprachdaten in über 70 Sprachen trainiert, um Robustheit und Fairness für eine globale Nutzerbasis zu gewährleisten. Google rollt Lyra aktiv in seine Produkte wie Duo aus, um die Audio­anruf­qualität und -zuverlässigkeit bei Verbindungen mit geringer Bandbreite zu verbessern, und forscht kontinuierlich an weiterer Leistungs­optimierung und Erweiterung auf Anwendungsfälle für Nicht-Sprach­audio.

Lyra Speech Codec im Überblick

• Hochwertige Sprachkompression bei sehr niedrigen Bitraten

• Nutzt maschinelles Lernen und generative Modelle zur Sprachrekonstruktion

• Betrieb bei einer Ziel­bitrate von 3 kbps

• Erreicht eine Bandbreitenreduzierung von über 60 % im Vergleich zu Opus bei 8 kbps

• Echtzeit­leistung auf mittelklasse Mobilgeräten

• Verarbeitungs­latenz von 90 ms

• Trainiert auf Tausenden von Stunden an Sprachdaten in über 70 Sprachen

• Hybrider Ansatz, der traditionelle Codec-Techniken mit ML kombiniert

• Verwendet eine kostengünstige WaveRNN-Variante für die generative Modellierung

• Ermöglicht Sprachkommunikation in langsamen und überlasteten Netzwerken

• Entwickelt für effiziente Datenübertragung und Speicherung von Sprachsignalen

Erste Schritte mit Lyra Speech Codec

1. 1

   Modell zugreifen: Integrieren Sie Lyra in Ihre Anwendung oder Ihren Dienst.

2. 2

   Umgebung einrichten: Stellen Sie sicher, dass die erforderlichen Rechenressourcen verfügbar sind.

3. 3

   Integration über API: Nutzen Sie die Lyra API zum Kodieren und Dekodieren von Sprachsignalen.

4. 4

   Optimieren: Feinabstimmen Sie Parameter für spezifische Netzwerkbedingungen und gewünschte Qualitätsstufen.

Lyra Speech Codec's Anwendungsfälle

• Kommunikation mit geringer Bandbreite
• Mobile Sprachanrufe
• Schwellenländer
• Echtzeit­zusammenarbeit
• VoIP-Anwendungen
• Videokonferenzen

FAQ von Lyra Speech Codec

• Was ist Lyra und welches Problem löst es?

  Lyra ist ein Sprachcodec mit sehr niedriger Bitrate, der von Google entwickelt wurde und maschinelles Lernen nutzt, um auch in langsamen Netzwerken eine qualitativ hochwertige Sprachkommunikation zu ermöglichen und das Problem der beeinträchtigten Audioqualität bei niedrigen Bitraten zu lösen.

• Wie erreicht Lyra hohe Qualität bei niedrigen Bitraten?

  Lyra extrahiert Sprachmerkmale, komprimiert sie und verwendet dann ein generatives ML-Modell, um das Sprachsignal zu rekonstruieren und Natürlichkeit und Verständlichkeit im Gegensatz zu traditionellen parametrischen Codecs zu erhalten.

• Was ist die Ziel­bitrate für Lyra?

  Lyra ist für den Betrieb bei einer Ziel­bitrate von 3 kbps konzipiert.

• Wie schneidet Lyra im Vergleich zu anderen Codecs wie Opus ab?

  Lyra bei 3 kbps schneidet im Vergleich zu Opus bei 8 kbps gut ab und bietet eine signifikante Bandbreitenreduzierung von über 60 % bei vergleichbarer oder besserer Audioqualität.

• Kann Lyra auf Mobilgeräten ausgeführt werden?

  Ja, Lyra ist optimiert, um dank seines effizienten generativen Modells in Echtzeit auf mittelklasse Mobiltelefonen zu laufen.

• Was ist die Verarbeitungs­latenz von Lyra?

  Lyra hat eine Verarbeitungs­latenz von 90 ms, was im Einklang mit anderen traditionellen Sprachcodecs steht.

• Auf welcher Art von Daten wurde Lyra trainiert?

  Lyra wurde auf Tausenden von Stunden an Sprachdaten von Sprechern in über 70 Sprachen trainiert, um eine breite Anwendbarkeit und Fairness zu gewährleisten.

• Was sind die potenziellen Anwendungsfälle von Lyra?

  Lyra kann in Sprach- und Videoanrufen, Echtzeit­kommunikations­frameworks wie WebRTC und überall dort eingesetzt werden, wo hochwertige Audio­übertragung in bandbreiten­beschränkten Netzwerken benötigt wird.

• Ist Lyra Open-Source?

  Der Artikel erwähnt, dass Lyra ein neuer Codec ist und in Produkte wie Duo integriert wird, gibt aber nicht explizit an, ob er Open-Source ist.

• Kann Lyra für Musik oder andere Nicht-Sprach­audios verwendet werden?

  Derzeit konzentriert sich Lyra auf die Sprachkompression. Es wird daran geforscht, sein Potenzial für einen universellen Audio­codec zu untersuchen, der Musik und andere Anwendungsfälle verarbeiten könnte.