Algorithmic trading on Finnish stock market using Deep Reinforcement Learning

Abstract

The advancement in machine learning due to increased computational capacity and novel algorithms have resulted in copious amount of research done on financial markets where machine learning is harnessed for stock market trading. The promising results of deep learning in many fields have encouraged researchers and practitioners to utilize this novel technique to come up with ground-breaking algorithmic trading strategies that could consistently generate excessive returns. The merits of deep learning are extensive, such as its ability for feature learning, scalability, flexibility, and adaptability, which all are relevant features when considering financial markets. One of the deep learning approaches is deep reinforcement learning, which trains the algorithm by giving feedback for its actions in given environment. The algorithm aims to maximize the feedback it receives, thus convergencing to an optimal trading strategy. This study aims to come up with an algorithmic trading strategy that can consistently outperform benchmark strategies by using Deep Q-Networks, a type of deep reinforcement learning. Additionally, the effect of introducing dynamic stop loss and take profit levels in feedback mechanism is studied. The research is conducted between the beginning of 2022 and the end of 2023 on three individual stocks on Finnish stock market and a broader market index. The information provided for the deep neural network are daily open price, lowest and highest price of the day, closing price, and trading volume of the day. The model performance is evaluated, such as its ability to learn over time, and ultimately the proposed trading strategy is benchmarked against other trading strategies. The model performance analysis suggested that the complexity of stock market leads to large variations in model practicality. Although some improvement was detected where the average reward and Sharpe ratio increased over time, most circumstances indicated high fluctuation and randomness in the model. The proposed trading strategy did outperform benchmark strategies in multiple simulations, but also underperformed considerably in many other scenarios. Therefore, the results show that this strategy can not be used to consistently outperform the benchmark. Furthermore, the use of stop loss and take profit limits to guide the trading algorithm towards optimal trading policy was studied. Contrary to guiding the agent, the trading boundaries further contributed to the complexity of trading environment making the model performance more volatile. This was since crossing stop loss or take profit level triggered relatively large on-off reward which complicated the trading environment to a greater degree. The algorithm was able to generate higher average rewards, but at the cost of stability. Therefore, the application of trading limits into the feedback function did not enhance the performance of the deep q-network strategy.

Koneoppimisen kehitys lisääntyneen laskentatehon ja uusien algoritmien ansiosta on johtanut runsaaseen määrään tutkimuksia, joissa koneoppimista hyödynnetään osakemarkkinoiden kaupankäynnissä. Syväoppimisen positiiviset tulokset monilla aloilla ovat rohkaisseet tutkijoita ja ammattilaisia hyödyntämään tätä uutta tekniikkaa kehittääkseen uusia algoritmisia kaupankäyntistrategioita, jotka kykenevät johdonmukaisesti tuottamaan ylituottoa. Syväoppimisen hyödyt ovat laajat, kuten sen kyky ominaisuuksien oppimiseen, skaalautuvuus, joustavuus ja sopeutumiskyky, jotka kaikki ovat olennaisia ominaisuuksia finanssimarkkinoiden kannalta. Yksi syväoppimisen lähestymistavoista on syvävahvistusoppiminen, jossa algoritmia koulutetaan antamalla palautetta sen toiminnasta tietyssä ympäristössä. Algoritmi pyrkii maksimoimaan saamansa palautteen ja siten löytämään optimaalisen kaupankäyntistrategian. Tämä tutkimus pyrkii kehittämään algoritmisen kaupankäyntistrategian, joka voi johdonmukaisesti suoriutua paremmin kuin vertailustrategiat käyttämällä syviä Q-verkkoja, joka on yksi syvävahvistusoppimisen menetelmistä. Lisäksi tutkielmassa tutkitaan dynaamisien stop loss ja take profit -tasojen käytön vaikutusta palautemekanismissa. Tutkimus tehdään vuoden 2022 alusta vuoden 2023 loppuun kolmella yksittäisellä osakkeella Suomen osakemarkkinoilla sekä laajemmalla markkinaindeksillä. Syvälle neuroniverkolle annettu tieto sisältää päivittäisen avauskurssin, päivän alimman ja korkeimman hinnan, päätöskurssin ja päivän kaupankäyntivolyymit. Mallin suorituskykyä arvioidaan, kuten sen kykyä oppia ajan myötä, ja lopulta kehitettyä kaupankäyntistrategiaa vertaillaan muihin kaupankäyntistrategioihin. Mallin suorituskyvyn analysointi osoittaa, että osakemarkkinoiden monimutkaisuus johtaa suuriin vaihteluihin mallin toimivuudessa. Vaikka kehitystä havaittiin, kun keskimääräinen palkkio ja Sharpe-luku kasvoivat ajan myötä, useimmissa tilanteissa mallissa ilmeni kuitenkin suurta vaihtelua ja satunnaisuutta. Kehitetty kaupankäyntistrategia suoriutui paremmin kuin vertailustrategiat useissa eri simuloinneissa, mutta myös alisuoriutui merkittävästi monissa muissa skenaarioissa. Tulokset osoittavat, että tätä strategiaa ei voida käyttää johdonmukaisesti tuottamaan ylituottoja verrattuna vertailustrategioihin. Lisäksi stop loss ja take profit -rajatasojen käyttöä algoritmin tueksi tutkittiin. Päinvastoin kuin että rajatasot olisivat ohjanneet algoritmia, kaupankäyntirajojen käyttö lisäsi kaupankäyntiympäristön monimutkaisuutta, mikä teki mallin suorituskyvystä entistä epävakaampaa. Tämä johtui siitä, että stop loss tai take profit -tason ylittäminen laukaisi suhteellisen suuren kertaluonteisen palkkion, joka monimutkaisti kaupankäyntiympäristöä entisestään. Algoritmi pystyi tuottamaan korkeampia keskimääräisiä palkkioita, mutta tämä heikensi mallin vakautta. Näin ollen kaupankäynnin rajojen soveltaminen palautemekanismiin ei parantanut syvää Q-verkkoa hyödyntävän strategian suorituskykyä