Construction and Performance of an NLP–Neural Network Hybrid for Predicting Direction of the EUR/USD : Directional Signals from the Federal Open Market Committee’s Statements and Minutes

Abstract

Development of transformer-based technologies such as generative Artificial Intelligence (AI) brought about by the seminal work of Vaswani et al. (2017). This presents opportunities for various markets to incorporate unstructured text data to make informed predictions and discover appropriate market prices at profound speed. Research on intraday EUR/USD predictions using machine learning (ML) based sentiment analysis of the Federal Open Market Committee’s (FOMC) statements and minutes releases is relatively nascent and shows promise (Osowska & Wójcik 2024). In light of these developments, this thesis incorporates FOMC-specific BERT models (Gössi et al. 2023; Shah et al. 2023) to predict direction of intraday 5-minute returns during FOMC release events. Both a hawkishness score and topic modelling-based topic-sentiment scores, inspired by previous research (Jegadeesh & Wu 2017; Aattouchi & Kerroum 2022; Shah et al. 2023), are implemented. However, as stated by Osowska and Wójcik (2024, 166-167), the time horizon for predicting EUR/USD returns using BERT-based FOMC sentiment-scores appear brief, while reliable sentiment-score impacts are assessed to be marginal. To address these issues with prediction reliability, this thesis turned towards implementing hybrid ensemble models. This was motivated by ML research (i.e. Breiman 2001) and FX forecasting research on vote-tallying hybrid composite models for predicting the EUR/USD (Ling et al. 2021; Guyard & Deriaz 2024). Four intraday artificial neural networks and two FOMC-specific sentiment models were employed as component models. Two vote-tallying hybrid models were tested and benchmarked on these component models to understand their ability to predict 5-minute direction of the EUR/USD. Results of this thesis suggest that rather than producing definite accuracy gains over their component models, hybrid models, especially with an equal weighting vote-tallying scheme, offer more consistent forecasting performance during market environments observed at the time of release of FOMC statement and minutes. Additionally, the overall sentiment and hybrid model performance observed at the time of release of FOMC statement and minutes might imply local market inefficiency as FOMC sentiment is slowly absorbed by the EUR/USD spot market. AI disclaimer: Generative AI was used to assist with both the research for and writing of this thesis, as well as to review and generate draft project code. Scopus AI, Perplexity, and Gemini 3 were used to assist in finding suitable academic literature. While no sentence of this thesis was written by AI, Chat-GPT and Gemini 3 were used extensively to assist in clarifying statements and reviewing grammatical errors. Additionally, project code, particularly as it relates to the figures presented in this thesis, Chat-GPT was used to review code and generate preliminary snippets which were reviewed, tested, and edited by the author before implementation. DeepL was used to assist in translating this abstract from English to Finnish.

Vaswani et al. (2017) työstä alkanut Transformer-mallipohjaisten teknologioiden, kuten generatiivisen tekoälyn (AI), kehitys tarjoaa markkinoille mahdollisuuksia hyödyntää tekstidataan perustuvia ennusteita sekä löytää informaatiotehokkaita hintatasoja ennennäkemättömällä nopeudella. Tämän teknologiapohjaisen kehityksen pohjalta on syntynyt uusi rahoitustieteelle relevantti tutkimusalue, joka käsittelee päivänsisäistä EUR/USD-valuuttaparin ennustamista hyödyntämällä koneoppimispohjaista (ML) liittovaltion avomarkkinakomitean (FOMC) lausuntojen ja pöytäkirjojen sentimenttianalyysiä. Tämä tieteenalue on suhteellisen uusi, mutta lupaava (Osowska & Wójcik 2024). Näiden kehitysten valossa tämä opinnäytetyö hyödyntää muun muassa FOMC:n sisältöjä varten suunnattuja BERT-malleja (Gössi ym. 2023; Shah et al. 2023), joilla ennustetaan EUR/USD-kurssin päivänsisäisten 5 minuutin tuottojen suuntia FOMC:n julkaisutapahtumien aikana. Tutkimuksessa sovelletaan Hawkishness- sekä aihemallintamiseen perustuvaa aihe-sentimentti-pisteytysjärjestelmää aiemman tutkimuksen inspiroimana (Jegadeesh & Wu 2017; Aattouchi & Kerroum 2022; Shah et al. 2023). Osowska ja Wójcik (2024, 166–167) toteavat, että aikajänne EUR/USD-tuottojen ennustamiseen BERT- pohjaisilla FOMC-sentimenttipisteillä vaikuttaa lyhyeltä ja, että luotettavien sentimenttipisteiden vaikutusten arvioidaan olevan marginaalisia. Mahdollisten ennusteluotettavuuteen liittyvien ongelmien ratkaisemiseksi tässä työssä siirrytään käyttämään hybridejä ensemble-malleja, joita motivoi koneoppimistutkimus (esim. Breiman 2001), sekä EUR/USD-parin ennustamista koskeva valuuttamarkkinatutkimus, jossa on käytetty ääntenlaskuun perustuvia hybridejä, eli yhdistelmämalleja (Ling et al. 2021; Guyard & Deriaz 2024). Neljä päivänsisäistä neuroverkkoennustemallia ja kaksi FOMC-julkaisuihin räätälöityä sentimenttiperusteista ennustemallia koulutettiin komponenttimalleiksi. Näiden avulla testattiin ja vertailtiin kahden äänestysperustusteisen hybridimallin kykyä ennustaa EUR/USD-valuuttakurssin viiden minuutin suuntaa. Tämän tutkielman tulokset viittaavat siihen, että nämä hybridimallit eivät niinkään paranna komponenttimalliensa ennustetarkkuutta, vaan erityisesti tasapainotetut hybridimallit tarjoavat luotettavamman ennustuskyvyn FOMC:n lausuntojen ja pöytäkirjojen julkaisemiseen liittyvissä markkinaympäristöissä. Lisäksi havaitut yleiset sentimentti- ja hybridiennustetulokset saattavat viitata hetkelliseen lokaaliin markkinatehottomuuteen FOMC-sentimentin vaikutusten suhteen. Tekoälyseloste: Generatiivista tekoälyä käytettiin tämän opinnäytetyön tutkimuksen ja kirjoittamisen apuna sekä alustavan projektikoodin tarkistamiseen sekä sen luomiseen. Scopus AI:ta, Perplexityä ja Gemini 3 käytettiin tutkimuskirjallisuuden etsimiseen. Vaikka tekoäly ei ole kirjoittanut kokonaisia lauseita tähän opinnäytetyöhön, Chat-GPT:tä ja Gemini 3:a käytettiin erityisen paljon apuna lauseiden selkeyttämiseen ja kielioppivirheiden tarkistamiseen. Lisäksi projektikoodia, erityisesti tämän opinnäytetyön kuvioihin liittyvää koodia, tarkistettiin sekä alustavia koodinpätkiä luotiin Chat-GPT:n avulla. Tämän tutkielman kirjoittaja tarkisti, testasi ja korjasi koodinpätkät ennen niiden käyttöönottoa. DeepL-palvelua käytettiin apuna tämän tiivistelmän kääntämiseen englannista suomeksi.