abwlogo

Die Technologie

Das Sensorium® basiert auf einem von Prof. Hinterberger 2004 entwickelten Echtzeit-Sonifikationssystem. Die Echtzeit-Klangerzeugung wurde durch die Entwicklung der Software „POSER“ ermöglicht, die als Zusatzmodul zur Gehirn-Computer Schnittstelle „Thought Translation Device“ (TTD) realisiert wurde (Hinterberger & Baier, 2004). Das TTD ist ein Gehirn-Computer Kommunikationssystem, mit dem vollständig gelähmte Menschen über die Selbststeuerung ihrer Hirnsignale kommunizieren konnten (Birbaumer et al., 1999). Das TTD wurde in zahlreichen Studien zur direkten Gehirn-Computer Interaktion und Neurofeedback eingesetzt (Hinterbeger et al., 2004, 2005, 2007, 2008). POSER bedeutet „Parametric Orchestral Sonification of EEG in Real-Time”. „Parametrisch“ heißt hier, dass das Gehirnsignal (EEG), das als ein Gemisch unterschiedlichster Frequenzen und Rhythmen gesehen werden kann, in die einzelnen Frequenzbänder unterteilt wird und verschiedene Parameter, wie Schwingungsdauer und Amplitude zur rhythmischen und melodiösen Wiedergabe genutzt werden. „Orchestral“ bedeutet, dass jede Frequenz und jeder Rhythmus, der aus dem physiologischen Signal extrahiert wird, einem oder mehreren Instrumenten zugeordnet werden kann und damit eine vielstimmige Sonifikation (Hörbarmachung) der Gehirnaktivität ermöglicht wird. Real-Time heißt, dass dies mit Verzögerungszeiten von nur wenigen Millisekunden möglich ist. Das Gehirn gleicht damit einem Orchester, wobei der Computer die Musikinstrumente und die Wellenzüge der Gehirnsignale die Partitur bereitstellen. Seit den 70er Jahren wurde immer wieder versucht, auf unterschiedliche Weise Gehirnsignale hörbar zu machen, jedoch war eine orchestrale Echtzeitsonifikation in dieser Weise und in dieser Authentizität noch nie realisiert worden.

Die Software zur Echtzeitsonifikation wurde 2009 gründlich überarbeitet und erweitert, so dass zusätzlich zur Klangerzeugung mittels verschiedener physiologischer Signale auch die Steuerung von Lichtanlagen ermöglicht wurde.

Schematischer Aufbau der Sensorium-Technologie. Je nach System können unterschiedliche physiologi-sche Messgrößen erfasst und in Echtzeit multimedial präsentiert werden. Die Filter- und Sonifikationsalgorithmen erlauben über eine Vielzahl von Parametern eine Vielfalt unterschiedlicher Licht- und Klangeindrücke. Die ausgewählten Settings sind per Mausklick aufrufbar



Home

Projekt

Forschungsbereich

Partner

Kontakt

Technologie
Historie
Studien
Vision
Referenzen