Thema und Motivation

Klangio GmbH bietet in Karlsruhe eine Master's Thesis mit dem Titel „Multi-Instrument Music Transcription with Source Separation and End-to-End Models“ an. Ziel der Arbeit ist die Untersuchung von Methoden zur Transkription mehrerer Instrumente in klassischer Musik oder Rock. Dabei werden sowohl Ansätze betrachtet, die zunächst Source Separation einsetzen, um einzelne Instrumentenspuren zu isolieren, als auch End-to-End-Modelle, die aus einem gemischten Audiosignal unmittelbar symbolische Beschreibungen erzeugen.

Die Arbeit bearbeitet eine wissenschaftlich und praktisch relevante Forschungsfrage an der Schnittstelle von Signal Processing, Machine Learning und Automatic Music Transcription. Die Stellenanzeige ist dem Institut für Industrielle Informationstechnik der KIT – Die Forschungsuniversität in der Helmholtz-Gemeinschaft – zugeordnet.

Forschungs- und Studienkontext

Die Master's Thesis ist folgenden Research Areas zugeordnet:

• Music Information Retrieval
• Signal Processing
• Deep Learning
• Source Separation
• Automatic Music Transcription

Sie kann in folgenden Degree Programs durchgeführt werden:

• Electrical Engineering and Information Tech
• Computer Science
• Music Informatics (HfM Karlsruhe)

Zu den vorgesehenen Schwerpunkten gehören:

• Signal Analysis
• Modeling
• Implementation

Der Start ist sofort möglich. Die Anzeige verweist außerdem auf eine Staff Page, einen Klangio-Link und eine Project Page.

Aufgaben und Bearbeitung

Im Rahmen der Master's Thesis werden zunächst bestehende Methoden der Multi-Instrumenten-Transkription recherchiert und analysiert. Dabei werden insbesondere Pipeline-Ansätze auf Basis von Source Separation sowie moderne End-to-End-Modelle für die direkte Transkription komplexer Musiksignale betrachtet. Je nach Schwerpunkt der Arbeit kann der Fokus auf klassischer Musik oder auf Rock liegen.

Anschließend wird ein geeignetes methodisches Konzept entwickelt und in der Praxis umgesetzt. Dabei können beispielsweise folgende Ansätze miteinander kombiniert oder miteinander verglichen werden:

• Kombination eines Source-Separation-Moduls mit instrumentenspezifischen Transkriptionsmodellen
• Bewertung eines End-to-End-Ansatzes auf geeigneten Datensätzen
• Untersuchung und Vergleich geeigneter Audiodarstellungen
• Untersuchung und Vergleich unterschiedlicher Modellarchitekturen
• Untersuchung und Vergleich verschiedener Trainingsstrategien

Evaluation des entwickelten Systems

Das entwickelte System wird abschließend mit geeigneten Datensätzen bewertet. Die Qualität der Transkription wird anhand etablierter Metriken beurteilt. Anschließend werden die Stärken und Schwächen der untersuchten Ansätze im Hinblick auf unterschiedliche Instrumentierungen, musikalische Stile und instrumentenspezifische Herausforderungen diskutiert.

Profil und Voraussetzungen

Für die Bearbeitung der Master's Thesis werden folgende Voraussetzungen genannt:

• Sehr gute Programmierkenntnisse in Python
• Grundkenntnisse in Machine Learning oder Deep Learning
• Interesse an Signal Processing, Audio Analysis oder Music Information Retrieval
• Freude an wissenschaftlicher Arbeit

Kontakt

Die Master Thesis ist dem Institut für Industrielle Informationstechnik der KIT – Die Forschungsuniversität in der Helmholtz-Gemeinschaft – zugeordnet:

Institut für Industrielle Informationstechnik

Hertzstraße 16, Geb. 06.35

76187 Karlsruhe

www.iiit.kit.edu

Für Rückfragen zur Master's Thesis ist M. Sc. Sebastian Murgul erreichbar:

sebastian.murgul@klangio.com

Tel.: (0721) 276604 20