Research on surface-EMG Gesture Recognition Algorithm Based on Deep Learning and Edge Computing
Tian, Junwen (2020-01-27)
Research on surface-EMG Gesture Recognition Algorithm Based on Deep Learning and Edge Computing
Tian, Junwen
(27.01.2020)
Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
suljettu
Julkaisun pysyvä osoite on:
https://urn.fi/URN:NBN:fi-fe202003319811
https://urn.fi/URN:NBN:fi-fe202003319811
Tiivistelmä
The hand is the most flexible body of human beings. Using gestures to complete daily activities and transmit information is an efficient and intuitive method. At the same time, in the fields of sports medicine, rehabilitation medicine, prosthetic control, and other fields, the gesture is a significant method of human-computer interaction. Therefore, gesture recognition has become the focus of researchers in these fields. The surface electromyography (sEMG) signal is the superposition of motor unit action potential in time and space, which directly reflects the behavior intention of the human body, and has the advantages of non-invasive, wearable, and strong resistance to environmental interference. Gesture recognition methods based on sEMG signals have been most widely used in the above research fields. However, the following problems are still faced: 1. At present, many papers have fewer classification categories of gestures. For example, in the task of 50 gesture recognition, the recognition rate is still unsatisfactory. 2. the current gesture recognition based on sparse channel sEMG signals is still not high. The traditional machine learning method relies too much on feature extraction, which is time-consuming and laborious. 3. The current deep learning gesture recognition algorithm has high complexity and limited application potential on edge computing devices.
Based on the above background and a series of still existing problems, this paper makes a series of related explorations and attempts in the frame of deep learning. The main research contents and innovations include:
(1) Using sEMG datasets NinaPro DB2 and DB3 which contain 50 rich gestures for simulation experiment. For the pre-processing section, we apply normalization, downsampling, bandpass filtering to reduce the complexity of subsequent calculations and filter out noise. Through the sliding window sampling and segmentation method, the original sEMG signal is directly converted into the end-to-end image. Then the time-frequency analysis method of Hilbert-Huang transform (HHT) is innovatively applied to obtain the sEMG image which has both the time domain and the frequency domain information. The HHT-based sEMG image provides a new input mode for the gesture recognition algorithm based on convolutional neural networks (CNN).
(2) On the basis of completing the expression of two sEMG images, a gesture recognition model based on CNN is established for different image representation methods. Then we implement end-to-end gesture recognition algorithm, spatial multi-stream input based on HHT sEMG image and decision layer fusion recognition algorithm, both of them are tuned on the DB2 and DB3 datasets to complete the actual gesture recognition simulation experiment.
(3) Based on the edge computing, we study the deep learning model compression, and apply the depthwise separable convolution instead of the standard convolution method to further process the CNN model of the above simulation experiment. Experiments have shown that depthwise separable convolution can greatly reduce the model's trainable parameters and storage size while still maintaining a high recognition accuracy. Käsi on joustavin ihmisruumiin osa. Eleiden käyttäminen päivittäisten toimintojen suorittamiseen ja tiedon siirtoon on tehokas ja intuitiivinen menetelmä. Samaan aikaan urheilulääketieteen, kuntoutuslääketieteen, proteesien hallinnan ja muilla aloilla ele on merkittävä menetelmä ihmisen ja tietokoneen vuorovaikutukseen. Siksi eleiden tunnistamisesta on tullut tutkijoiden painopiste näillä aloilla. Pinta-elektromiografia (sEMG) -signaali on motorisen yksikön toimintapotentiaalin superpositio ajassa ja tilassa, mikä heijastaa suoraan ihmiskehon käyttäytymis aikomusta ja jolla on ei-invasiivisen, puettavan ja voimakkaan ympäristövaikutuksen vastustuskyvyn edut. Näitä sEMG-signaaleihin perustuvia eleiden tunnistusmenetelmiä on käytetty laajimmin edellä mainituilla tutkimusalueilla. Seuraavat ongelmat kohtaavat kuitenkin edelleen: 1. Tällä hetkellä monissa kirjoituksissa on vähemmän eleiden luokitteluluokkia. Esimerkiksi 50:n eleen tunnistuksen tehtävässä tunnistusnopeus on edelleen epätyydyttävä. 2. nykyinen vähäkanavaisiin SEMG-signaaleihin perustuva eleiden tunnistus ei ole vielä korkea. Perinteinen koneoppimismenetelmä luottaa liikaa ominaisuuksien uuttamiseen, mikä on aikaa vievää ja työlästä. 3. Nykyisellä syvän oppimisen eleiden tunnistusalgoritmilla ovat monimutkaisia ja rajallinen sovelluspotentiaali reunalaskentalaitteissa.
Edellä mainitun taustan ja edelleen olemassa olevien ongelmien perusteella tässä artikkelissa tehdään sarja tähän liittyviä tutkimuksia ja yrityksiä syvän oppimisen puitteissa. Tutkimuksen pääsisältö ja innovaatiot ovat:
(1)Käytetään sEMG-tietoaineistoja NinaPro DB2 ja DB3, jotka sisältävät 50 monimutkaista elettä simulointikokeeseen. Esikäsittelyossa käytämme normalisointia, näytteenottoa alaspäin, kaistanpäästösuodattamista myöhempien laskelmien monimutkaisuuden vähentämiseksi ja kohinan suodattamiseksi. Liukuvan ikkunan näytteenotto- ja segmentointimenetelmän avulla alkuperäinen sEMG-signaali muunnetaan suoraan lopusta loppuun -kuvaan. Sitten Hilbert-Huang-muunnoksen (HHT) aikataajuusanalyysimenetelmää käytetään innovatiivisesti sEMG-kuvan saamiseksi, jossa on sekä aika-alue että taajuusalueen informaatio. Tämä HHT-pohjainen sEMG-kuva tarjoaa uuden syöttötavan eleiden tunnistusalgoritmille, joka perustuu konvoluutiohermoverkkoihin (CNN).
(2) Kahden sEMG-kuvan ilmaisun suorittamisen perusteella perustetaan CNN: ään perustuva eleiden tunnistusmalli erilaisille kuvanesitysmenetelmille. Sitten toteutamme eleiden tunnistamisalgoritmi lopusta loppuun, HHT: n SEMG-kuvaan perustuva spatiaalinen monivirratulo ja päätöksentekokerroksen fuusion tunnistusalgoritmi, molemmat viritetään DB2: n ja DB3: n tietojoukkoihin todellisen eleiden tunnistuksen simulointikokeen suorittamiseksi.
(3) Reunalaskennan perusteella tutkimme syvän oppimisen mallin pakkausta ja sovellamme syvällisesti erotettavissa olevaa konvoluutiota vakiokonvoluutiomenetelmän sijasta yllä olevan simulointikokeen CNN-mallin prosessoimiseksi edelleen. . Kokeet ovat osoittaneet, että syvästi erotettavissa oleva konvoluutio voi merkittävästi vähentää mallin jäljitettäviä parametreja ja tallennuskokoa säilyttäen samalla korkean tunnistustarkkuuden.
Based on the above background and a series of still existing problems, this paper makes a series of related explorations and attempts in the frame of deep learning. The main research contents and innovations include:
(1) Using sEMG datasets NinaPro DB2 and DB3 which contain 50 rich gestures for simulation experiment. For the pre-processing section, we apply normalization, downsampling, bandpass filtering to reduce the complexity of subsequent calculations and filter out noise. Through the sliding window sampling and segmentation method, the original sEMG signal is directly converted into the end-to-end image. Then the time-frequency analysis method of Hilbert-Huang transform (HHT) is innovatively applied to obtain the sEMG image which has both the time domain and the frequency domain information. The HHT-based sEMG image provides a new input mode for the gesture recognition algorithm based on convolutional neural networks (CNN).
(2) On the basis of completing the expression of two sEMG images, a gesture recognition model based on CNN is established for different image representation methods. Then we implement end-to-end gesture recognition algorithm, spatial multi-stream input based on HHT sEMG image and decision layer fusion recognition algorithm, both of them are tuned on the DB2 and DB3 datasets to complete the actual gesture recognition simulation experiment.
(3) Based on the edge computing, we study the deep learning model compression, and apply the depthwise separable convolution instead of the standard convolution method to further process the CNN model of the above simulation experiment. Experiments have shown that depthwise separable convolution can greatly reduce the model's trainable parameters and storage size while still maintaining a high recognition accuracy.
Edellä mainitun taustan ja edelleen olemassa olevien ongelmien perusteella tässä artikkelissa tehdään sarja tähän liittyviä tutkimuksia ja yrityksiä syvän oppimisen puitteissa. Tutkimuksen pääsisältö ja innovaatiot ovat:
(1)Käytetään sEMG-tietoaineistoja NinaPro DB2 ja DB3, jotka sisältävät 50 monimutkaista elettä simulointikokeeseen. Esikäsittelyossa käytämme normalisointia, näytteenottoa alaspäin, kaistanpäästösuodattamista myöhempien laskelmien monimutkaisuuden vähentämiseksi ja kohinan suodattamiseksi. Liukuvan ikkunan näytteenotto- ja segmentointimenetelmän avulla alkuperäinen sEMG-signaali muunnetaan suoraan lopusta loppuun -kuvaan. Sitten Hilbert-Huang-muunnoksen (HHT) aikataajuusanalyysimenetelmää käytetään innovatiivisesti sEMG-kuvan saamiseksi, jossa on sekä aika-alue että taajuusalueen informaatio. Tämä HHT-pohjainen sEMG-kuva tarjoaa uuden syöttötavan eleiden tunnistusalgoritmille, joka perustuu konvoluutiohermoverkkoihin (CNN).
(2) Kahden sEMG-kuvan ilmaisun suorittamisen perusteella perustetaan CNN: ään perustuva eleiden tunnistusmalli erilaisille kuvanesitysmenetelmille. Sitten toteutamme eleiden tunnistamisalgoritmi lopusta loppuun, HHT: n SEMG-kuvaan perustuva spatiaalinen monivirratulo ja päätöksentekokerroksen fuusion tunnistusalgoritmi, molemmat viritetään DB2: n ja DB3: n tietojoukkoihin todellisen eleiden tunnistuksen simulointikokeen suorittamiseksi.
(3) Reunalaskennan perusteella tutkimme syvän oppimisen mallin pakkausta ja sovellamme syvällisesti erotettavissa olevaa konvoluutiota vakiokonvoluutiomenetelmän sijasta yllä olevan simulointikokeen CNN-mallin prosessoimiseksi edelleen. . Kokeet ovat osoittaneet, että syvästi erotettavissa oleva konvoluutio voi merkittävästi vähentää mallin jäljitettäviä parametreja ja tallennuskokoa säilyttäen samalla korkean tunnistustarkkuuden.