Infrarot-basierte Gestensteuerung

Leap Motion

Infrarot-basierte Gestensteuerung mit Controllern wie Leap Motion ermöglicht es ohne physische Berührung eines Gerätes, durch Gesten und Handbewegungen digitale Instrumente zu spielen und Audio-Parameter in Echtzeit zu modulieren. Sie können bei der Produktion und bei Live-Performances in diversen Settings (unter anderem im Inklusionskontext) eingesetzt werden.

1. Vorbereitung

In dieser Anleitung wird erläutert, wie Sie den infrarot-basierten Leap-Motion-Controller so einrichten können, dass Sie mit Gesten verschiedene Funktionen in MIDI-Learn-fähigen DAWs ansteuern können. Dafür benötigen wir 3 verschiedene Programme:

1. Eine MIDI-Learn-fähige DAW: In unserem Fall verwenden wir Ableton, alternativ können aber auch DAWs wie Apple Logic Pro, die Browserversion von BandLab oder Audiotool eingesetzt werden. Die beiden letztgenannten DAWs verfügen über kostenlose Versionen, erfordern aber in jedem Fall die Erstellung eines Benutzerkontos, um verwendet werden zu können. Hinweis: GarageBand unterstützt zum aktuellen Zeitpunkt (Frühjahr 2025) keine MIDI-Learn-Funktion und kann daher nicht verwendet werden. 

2. Ultraleap Control Panel: Dieses Programm wird benötigt, damit die Software Glover die Signale des Leap-Motion-Controllers auslesen kann. Hinweis: Diese Software ist im Gemini-Software-Bundle des Herstellers enthalten und kann kostenlos (nach Erstellung eines Benutzerkontos) heruntergeladen werden.

3. Glover: Diese kostenpflichtige Software ermöglicht es, die Sensordaten des Leap-Motion-Controllers MIDI-Signalen zuzuordnen, die dann in DAWs verwendet werden können.

In Abschnitt 2 "Gesten trainieren" zeigen wir zunächst, wie Sie dem Leap-Motion-Controller Gesten “beibringen” können, sodass diese erkannt werden.


In Abschnitt 3 "Gesten zuweisen" zeigen wir Ihnen dann die einzelnen Schritte, die nötig sind, um eine Geste Ihrer Wahl in ein MIDI-Signal umzuwandeln, womit Sie dann mithilfe der MIDI-Learn-Funktion und MIDI-Mapping in einer DAW ihrer Wahl verschiedene Parameter ansteuern und manipulieren können.

2. Gesten trainieren

Schritt 1: Achten Sie darauf, dass auch die Software Ultraleap Control Panel geöffnet ist und Ihre Hände erkennt; ohne diese kann Glover nicht auf die Funktionen des Leap-Motion-Controllers zugreifen.
Schritt 1: Achten Sie darauf, dass auch die Software Ultraleap Control Panel geöffnet ist und Ihre Hände erkennt; ohne diese kann Glover nicht auf die Funktionen des Leap-Motion-Controllers zugreifen.
Öffnen Sie anschließend Glover und fügen Sie den Leap-Motion-Controller hinzu.
Öffnen Sie anschließend Glover und fügen Sie den Leap-Motion-Controller hinzu.
Schritt 2: Eine Geste (z. B. geschlossene Faust) in verschiedenen Varianten (z.B. leicht gedreht, leicht geneigt usw.) vormachen und jeweils mit einem Klick auf das entsprechende Feld abspeichern. So “lernt” der Leap-Motion-Controller, wie die Geste aussehen kann. Je mehr unterschiedliche Varianten abgespeichert werden, desto zuverlässiger kann der Leap-Motion-Controller diese später wiedererkennen. Die Felder “Posture 5” und “Posture 6” sind für eigene Gesten gedacht und können nach Belieben belegt werden.
Schritt 2: Eine Geste (z. B. geschlossene Faust) in verschiedenen Varianten (z.B. leicht gedreht, leicht geneigt usw.) vormachen und jeweils mit einem Klick auf das entsprechende Feld abspeichern. So “lernt” der Leap-Motion-Controller, wie die Geste aussehen kann. Je mehr unterschiedliche Varianten abgespeichert werden, desto zuverlässiger kann der Leap-Motion-Controller diese später wiedererkennen. Die Felder “Posture 5” und “Posture 6” sind für eigene Gesten gedacht und können nach Belieben belegt werden.
Schritt 3: Wichtig: Sobald alle Gesten trainiert wurden, müssen diese noch manuell abgespeichert werden, bevor der Leap-Motion-Controller diese nutzen kann.
Schritt 3: Wichtig: Sobald alle Gesten trainiert wurden, müssen diese noch manuell abgespeichert werden, bevor der Leap-Motion-Controller diese nutzen kann.

2. Gesten zuweisen

Schritt 1: Input- und Output-Node anlegen und miteinander verbinden. Hinweis: Es können beliebig viele Kombinationen aus Input- und Output-Nodes angelegt und miteinander verbunden werden.
Schritt 1: Input- und Output-Node anlegen und miteinander verbinden. Hinweis: Es können beliebig viele Kombinationen aus Input- und Output-Nodes angelegt und miteinander verbunden werden.
Schritt 2: Input-Node auswählen und eine Kombination aus Handhaltung (“Qualifi er”, grün) und Bewegung (“Movement”, rosa) oder Ereignis (“Event”, blau) festlegen. Der Unterschied zwischen Bewegungs- und Ereignis-Parametern besteht darin, dass Bewegungsparameter relative Werte (zwischen 0 und 127) ausgeben, während Ereignis-Parameter einmalig den Maximalwert (127) ausgeben. Daher eignen sich Bewegungsparameter beispielsweise für das Steuern von Dreh- oder Schiebereglern in den DAWs, während Ereignis-Parameter z. B. eher für das Starten einer Aufnahme etc. geeignet sind.
Schritt 2: Input-Node auswählen und eine Kombination aus Handhaltung (“Qualifi er”, grün) und Bewegung (“Movement”, rosa) oder Ereignis (“Event”, blau) festlegen. Der Unterschied zwischen Bewegungs- und Ereignis-Parametern besteht darin, dass Bewegungsparameter relative Werte (zwischen 0 und 127) ausgeben, während Ereignis-Parameter einmalig den Maximalwert (127) ausgeben. Daher eignen sich Bewegungsparameter beispielsweise für das Steuern von Dreh- oder Schiebereglern in den DAWs, während Ereignis-Parameter z. B. eher für das Starten einer Aufnahme etc. geeignet sind.
Bild 7
Schritt 3: Art des Outputs festlegen. In unserem Fall kann hier ausnahmslos “MIDI” ausgewählt werden. Achten Sie darauf, dass Sie nicht aus Versehen mehrere MIDI-Outputs mit der gleichen Identifi kationsnummer anlegen.
Schritt 3: Art des Outputs festlegen. In unserem Fall kann hier ausnahmslos “MIDI” ausgewählt werden. Achten Sie darauf, dass Sie nicht aus Versehen mehrere MIDI-Outputs mit der gleichen Identifi kationsnummer anlegen.
Schritt 4: MIDI-Output, der zugewiesen werden soll, isolieren (auf Solo stellen).
Schritt 4: MIDI-Output, der zugewiesen werden soll, isolieren (auf Solo stellen).
Schritt 5: In die DAW (hier: Ableton) wechseln, MIDI-Learn-Modus aktivieren (1), Parameter auswählen, dem eine Geste zugeordnet werden soll, und die Geste einmal ausführen (2) und abschließend den MIDI-Learn-Modus wieder deaktivieren (3). Vergessen Sie anschließend nicht, die anderen MIDI-Outputs in Glover wieder zu aktivieren.
Schritt 5: In die DAW (hier: Ableton) wechseln, MIDI-Learn-Modus aktivieren (1), Parameter auswählen, dem eine Geste zugeordnet werden soll, und die Geste einmal ausführen (2) und abschließend den MIDI-Learn-Modus wieder deaktivieren (3). Vergessen Sie anschließend nicht, die anderen MIDI-Outputs in Glover wieder zu aktivieren.

Projektbeteiligte

Logo Universität Bayreuth
Wappen Bayern

Gefördert vom