Beitragsseiten

1.2 Time-Frequency Masking

There are numerous experiments and publications on simultaneous or temporal masking, but most of them are strictly limited to time or frequency. Therefore the effect of auditory masking in the time-frequency plane is not well-known. Because there is a big difference between representations in the frequency-domain (for example via the Fourier transformation) and in the time-frequency domain, an investigation of these effects seems interesting and worthwhile.
 
Gibt es einen anderen Maskierungs-Effekt in der Zeit-Frequenz Ebene als eine Überlagerung von zeitlicher und simultaner Maskierung? Mit welchen psychoakustischen Experimenten kann diese Frage am besten untersucht werden? Wie kann die gewonnene Freiheit für einen Maskierungs-Algorithmus genützt werden, die man gewinnt, wenn man von einer orthonormalen Basis zum "Frame" der Zeit-Frequenz-Ebene wechselt, von einer eindeutigen Darstellung zu einer, die mehr Optionen zulässt. Durch die Auseinandersetzung mit der Zeit-Frequenz-Maskierung kann in diesem Projekt ein besseres Verständnis der auditorischen Wahrnehmung und darüber, wie eine Repräsentation minimiert und trotzdem (nach einer Resynthese) perzeptiv nicht vom Originalsignal unterschieden werden kann, erwartet werden. Letzteres muss und wird mittels Hörversuchen überprüft werden.
Neben einer Literaturrecherche konnten erste Ideen entwickelt werden:

 

1. wie ein Experiment überprüfen kann, ob es in der Zeit-Frequenz Ebene einen anderen Effekt als die Überlagerung von Simultan- und zeitlicher Maskierung gibt. Die Grundstruktur dieses Experiments wurde erarbeitet.

TFMaskierungsExperiment

Abbildung 1: Grundidee des Experiments: Sweep (C) im breitbandigem weißen Rauschen (D) und Vergleich zu Sinustönen (A) und (B).

2. Wie ein Algorithmus arbeiten kann, der die Maskierung auf der Zeit-Frequenz implementiert. Hier wurde die Grundstruktur erarbeitet, wobei ausgenutzt wird, dass die simultane Maskierung als mehr peripher und die zeitliche Maskierung als mehr zentraler Effekt angesehen werden kann. Dieser Algorithmus ist insbesondere für die Anwendung bei jeder nicht linearen Zeit-Frequenz Darstellungen wie Wavelet-Analyse oder Ordnungsanalyse interessant. (siehe Zeichnung 2.) Dieser Algorithmus wird als irregulärer Gabor-Multiplier implementiert.
TFMaskierung
Abbildung 2: Grundidee für einen Algorithmus zur Zeit-Frequenz Maskierung: Zuerst simultan Maskierung (durch Faltung), dann zeitliche Maskierung (ebenso)


Die beiden vorangegangenen Ideen müssen noch weiter ausformuliert und psychoakustischen Tests unterzogen werden.

Das erfolgreiche und in S_Tools-STx implementierte Eckel-Modell der Simultan-Maskierung kann noch verbessert werden.

  • Mathematische Formulierung und Verbesserung des Eckel-Modells: Test ob eine (mathematische) Projektion vorliegt und so Parameter schätzen (2005)
    • energieäquivalente Umrechnung auf Bark
    • irreguläre Sampling-Theorie verwenden um zu entscheiden, ob Auflösung der linearen Skala nicht geringer gewählt werden kann
    • Frequenz-Schätzung durch PhasenVocoder verwenden (für Bark-Skala)
  • Neue psychoakustische Erkenntnisse einfließen lassen
    • Übertragungsfunktion des äußeren Gehörgangs und des Mittelohrs verwenden (Laback)
    • absolute Hörschwelle als internes Rauschen (2006)
    • Pegelabhängigkeit der auditorischen Filter berücksichtigen, entsprechend dem Bandpegel eines um die Frequenz des Maskierers zentrierten ERB (Bark)-Bande
    • Nichtlineare Additivität der Maskierung in Abhängigkeit der Tonalität des Maskierers: starke Tonalität: lineare Addition; mehr Rauschhaftigkeit: nicht-lineare Addition, entsprechend Power-Law Transformation nach Lutfi
    • moderne psychoakustische Testmethoden, um Parameter des Originalparameter besser schätzen zu können (2007) beziehungsweise die neuen Methoden testen (2008)

Literaturhinweis:

  • B. Moore, An Introduction to the Psychology of Hearing, Academic Press Limited London (1989)
  • G. Eckel, Ein Modell der Mehrfachverdeckung für die Analyse musikalischer Schallsignale, Dissertation, Universität Wien (1989)
  • B. Laback, Effekte der Simultanmaskierung auf die Musikperzeption bei sensorineuralen Hörschäden und ihre Anwendung für Signalverarbeitungsalgorithmen in Hörgeräten, Dissertation, Wien (1998). [PDF-FILE]

Dokumente:

Kooperationen:

Links: