Bayesian Modeling of Ordinal Survey Data : A Live Music Census Case Study

Abstract

Surveys are a widely used method for collecting information across many fields, and they often include ordinal variables. Ordinal variables are a type of categorical data in which the categories have a natural order but the distances between them are not assumed to be equal. To appropriately analyze such data, statistical models specifically designed to account for these characteristics are often employed.

The cumulative logistic regression model is one of the most commonly used methods for analyzing ordinal data. It accounts for the specific structure of ordinal variables by modeling a latent continuous variable, which is partitioned into observed categories through threshold parameters. In the cumulative logistic model, the logit link function is used to map the latent variable to category probabilities.

Bayesian modeling provides an alternative to the classical frequentist framework by treating model parameters as random variables. The inference is based on the parameters posterior distributions, which combine prior beliefs with observed data. This enables more flexible and informative modeling, particularly in small-sample or hierarchical settings. Bayesian models are typically estimated using sampling methods such as Hamiltonian Monte Carlo.

This thesis compares Bayesian and frequentist approaches through a simulation study, including scenarios with small sample sizes, categories with low response probabilities, and hierarchical data structures. The Bayesian models, in general, showed better performance in estimating category probabilities and model parameters.

The methods were also applied to a live music audience census dataset collected across several European cities. The ordinal variables in this dataset exhibited challenges such as sparse data and categories with no responses. The data were split into training and test sets to evaluate out-of-sample performance. The Bayesian model outperformed the frequentist model in estimating category probabilities for the test set.

Kyselyt ovat laajasti käytetty tiedonkeruumenetelmä monilla eri aloilla, ja ne sisältävät usein järjestysasteikollisia muuttujia. Järjestysasteikolliset muuttujat ovat luokitteluasteikollisia muuttujia, joiden kategorioilla on luonnollinen järjestys, mutta niiden välisten etäisyyksien ei oleteta olevan yhtä suuria.

Yksi yleisimmistä järjestysasteikollisten muuttujien analyysimenetelmistä on kumulatiivinen logistinen regressiomalli. Malli huomioi muuttujien rakenteen mallintamalla jatkuvaa piilomuuttujaa, joka jaetaan havaittuihin kategorioihin kynnysarvojen avulla. Kumulatiivisessa logistisessa mallissa käytetään logit-linkkifunktiota, jonka avulla piilomuuttujan arvot muutetaan kategorioiden todennäköisyyksiksi.

Bayesiläinen mallinnus tarjoaa vaihtoehdon perinteiselle frekventistiselle lähestymistavalle käsittelemällä mallin parametreja satunnaismuuttujina. Päättely perustuu parametrien posteriorijakaumiin, jotka yhdistävät ennakkotiedon ja havainnot. Tämä mahdollistaa joustavamman ja informatiivisemman mallinnuksen erityisesti pienillä otoskoilla ja hierarkkisissa tapauksissa. Bayesiläisten mallien estimoimiseen käytetään tyypillisesti otantamenetelmiä, kuten Hamiltonian Monte Carlo -algoritmia.

Tässä tutkielmassa bayesiläistä ja frekventista menetelmiä vertaillaan simulaatiotutkimuksen avulla. Simulaatiot kattavat tilanteita, joissa otoskoko on pieni, joidenkin kategorioiden vastaustodennäköisyys on alhainen tai aineisto on hierarkkisesti jäsennelty. Bayesiläiset mallit suoriutuivat johdonmukaisesti paremmin kategorioiden todennäköisyyksien ja mallien parametrien estimoinnissa.

Menetelmiä sovellettiin myös elävän musiikin kyselyaineistoon, joka kerättiin useissa eurooppalaisissa kaupungeissa. Aineiston järjestysasteikolliset muuttujat sisälsivät haasteita, kuten pieniä otoskokoja ja tyhjiä vastauskategorioita. Aineisto jaettiin opetus- ja testiaineistoon mallien suorituskyvyn arvioimiseksi. Bayesiläinen malli antoi testiaineistossa tarkempia ennusteita kategorioiden todennäköisyyksistä kuin frekventistinen malli.