Αναγνώριση Ήχων Κρουστών μέσω Μηχανικής Μάθησης με Αυτοματοποιημένο Σύστημα Παραγωγής Ήχων (3D Auto-Drum Machine)

Περιγραφή

Η έρευνα στοχεύει στη γεφύρωση του χάσματος μεταξύ των φυσικών χαρακτηριστικών των μουσικών οργάνων και του ήχου που παράγουν. Τα παραδοσιακά κρουστά όργανα, όπως τα πιατίνια, παράγουν πολύπλοκους ήχους που εξαρτώνται από το υλικό, το σχήμα και τον τρόπο κρούσης. Για να μελετήσουμε αυτή τη σχέση, αναπτύχθηκε ένα ρομποτικό σύστημα ακριβείας, το οποίο μπορεί να χτυπά μια επιφάνεια σε προκαθορισμένα σημεία με ελεγχόμενη δύναμη. Το σύστημα καταγράφει ταυτόχρονα τον ήχο που εκπέμπεται, τη δύναμη κρούσης και τις ακριβείς συντεταγμένες του σημείου κρούσης.

Με αυτό τον τρόπο, δημιουργήσαμε μια βάση δεδομένων με ηχητικά δείγματα από διαφορετικά υλικά (αλουμίνιο, κράμα MS63, κράμα B8) και διαφορετικές γεωμετρίες (επίπεδο φύλλο, πιατίνι). Στη συνέχεια, χρησιμοποιήσαμε ένα προ-εκπαιδευμένο μοντέλο βαθιάς μάθησης (DistilHuBERT) για να αναλύσουμε τα ηχητικά δείγματα. Τα αποτελέσματα έδειξαν ότι τα δείγματα από διαφορετικά υλικά/γεωμετρίες είναι διαχωρίσιμα, ενώ οι επαναλήψεις των μετρήσεων ήταν συνεπείς, επιβεβαιώνοντας την αξιοπιστία της μεθόδου. Η δυνατότητα αυτή ανοίγει το δρόμο για τη δημιουργία μεγάλων βάσεων δεδομένων που θα επιτρέψουν την εκπαίδευση μοντέλων για την πρόβλεψη του ήχου νέων υλικών και σχεδίων, μειώνοντας την ανάγκη για χρονοβόρες και δαπανηρές κατασκευές.

Δημοσιεύσεις

Brezas, S., Skoulakis, A., Kaliakatsos-Papakostas, M., Sarantis-Karamesinis, A., Orphanos, Y., Tatarakis, M., Papadogiannis, N.A., Bakarezos, M., Kaselouris, E., Dimitriou, V. (2024). Audio Recognition of the Percussion Sounds Generated by a 3D Auto-Drum Machine System via Machine Learning. Electronics, 13(9), 1787. https://doi.org/10.3390/electronics13091787