DRIVE-T: A Methodology for Discriminative and Representative Data Viz Item Selection for Literacy Construct and Assessment
2508.04160v1
cs.HC, cs.CV, K.3; K.3.2
2025-08-09
Авторы:
Angela Locoro, Silvia Golia, Davide Falessi
Резюме на русском
Одной из основных проблем в измерении литературы данных визуализаций является недостаточность определения прогрессии сложности в конструктах измерения и тестах. Это может ограничить выразительность тестов в проектировании и повторном использовании. Для решения этой проблемы предлагается методология DRIVE-T (Discriminating and Representative Items for Validating Expressive Tests), которая ориентирована на построение и оценку задач для оценки литературы визуализаций данных. Методология включает в себя три шага: (1) меткивание задач-отдельных элементов в зависимости от визуализации данных, (2) оценку сложности этих задач независимыми оценщиками, (3) анализ результатов с использованием модели Many-Facet Rasch Measurement. Это позволяет выявить уровни сложности, основанные на различимости и представительности задач, и расположить их по уровням конструкта. Демонстрация DRIVE-T проводилась на банке задач, имитирующем сложность измерительного конструкта литературы визуализаций данных, основанный на семиотических понятиях. Результаты представляют собой промежуточный этап в формировании индивидуальных конструктов измерения в пост-дизайнной фазе.
Abstract
The underspecification of progressive levels of difficulty in measurement
constructs design and assessment tests for data visualization literacy may
hinder the expressivity of measurements in both test design and test reuse. To
mitigate this problem, this paper proposes DRIVE-T (Discriminating and
Representative Items for Validating Expressive Tests), a methodology designed
to drive the construction and evaluation of assessment items. Given a data
vizualization, DRIVE-T supports the identification of task-based items
discriminability and representativeness for measuring levels of data
visualization literacy. DRIVE-T consists of three steps: (1) tagging task-based
items associated with a set of data vizualizations; (2) rating them by
independent raters for their difficulty; (3) analysing raters' raw scores
through a Many-Facet Rasch Measurement model. In this way, we can observe the
emergence of difficulty levels of the measurement construct, derived from the
discriminability and representativeness of task-based items for each data
vizualization, ordered into Many-Facets construct levels. In this study, we
show and apply each step of the methodology to an item bank, which models the
difficulty levels of a measurement construct approximating a latent construct
for data visualization literacy. This measurement construct is drawn from
semiotics, i.e., based on the syntax, semantics and pragmatics knowledge that
each data visualization may require to be mastered by people. The DRIVE-T
methodology operationalises an inductive approach, observable in a post-design
phase of the items preparation, for formative-style and practice-based
measurement construct emergence. A pilot study with items selected through the
application of DRIVE-T is also presented to test our approach.