Resumen: Toward a Framework for Evaluating Ubiquitous Computing Applications

Toward a Framework for Evaluating Ubiquitous Computing Applications

por Jean Scholtz , Sunny Consolvo

El documento habla sobre un framework de áreas de evaluación y métricas las cuales llaman "áreas de evaluación del cómputo obicuo" (UEA's por sus siglas en inglés ubiquitous computing evaluation areas), que fueron organizadas a partir de experiencias personales, datos sobre proyectos de colegas y literatura.

El framework presenta dos términos: métricas y medida conceptual. Las primeras asocian un significado de valor aplicando el juicio humano, mientras wque las segundas son un valor observable. Un evaluador determinado que use este framework debe decidir como recolectar medidas conceptuales, dependiendo de su implementación específica de su sistema. Para usar el framework los evaluadores identifican grupos de usuarios que serían afectados por la aplicación, directa o indirectamente. También deben decidir si se necesita establecerr un grupo de control, que pueda ayudar a los usuarios a comparar la tecnología a evaluar con su ambiente normal.

En el caso de las evaluaciones de usabiliadad en aplicaciones de escritorio, las mediciones de efectividad, eficiencia y satisfacción del usuario no son igualmente importantes. Si la discreción es necesaria, la énfasis podría ser la satisfacción del usuario; si requiere de procesamientos rápidos, optimizar la eficiencia debería ser prioridad; cuando los errores no son aceptables, la efectividad es lo más importante. Sin embargo, en el caso del cómputo obiquo, se requieren mediciones más comprensivas. Por ejemplo:

• Sistemas que se usan al caminar deben tener tanto buena interacción con el usuario como modelos conceptuales.
• El procesamiento de información personal debería tener un alto puntaje en confianza.
• Aplicaciones dependientes del contexto, pueden ser malas prediciendo y con modelos conceptuales, pero deben tener buena eficiencia y efectividad.

El Framework, con las métricas  medidas conceptuales, propone las siguientes:

Atención	Concentración	Número de veces que un usuario debe cambiar su concentración debido a la tecnología
	Sobrecarga	Porcentaje de tiempo que gasta el usuario cambiando de punto de concentración
Adopción	Tasa	Razonamento del usuario para usar la aplicación sobre otra ya existente (medida en tiempo o cantidad de usuarios nuevos)
	Valor	Cambios en la productividad, costo/beneficio percibido
	Costo	Deseo del usuario para comprar el producto
	Disponibilidad	Número actual de usuaros de cada tipo de grupo de usuarios. Categoría de usuarios post implementación
	Flexibilidad	Número de tareas que el usuario puede hacer que no estaban pensadas originalmente
Confianza	Privacidad	Tipo de información que el usuario tiene que divulgar para el funcionamiento de la aplicación
	Consciencia	Fácil coordinación con otros en aplicaciones multi-uso
	Control	Habilidad para los usuarios para manejar como y por quién son usados sus datos
Modelos Conceptuales	Predictibilidad del comportamiento de la aplicación	Grado de acierto entre el usuario modelo y el comportamiento de la aplicación
	Consciencia de las capacdades de la aplicación	Grado de acierto entre el entendimiento de las responsabilidades del usuario, las del sistema, y la situación actual
	Consciencia del vocabulario	Grado de acierto entre el usuario modelo y la sintáxis usada por la aplicación
Interacción	Efectividad	Porcentaje de terminación de tareas
	Eficiencia	Tiempo que toma completar una tarea
	Satisfacción del usuario	Calificación del usuario al realizar la tarea
	Distracción	Tiempo quitado de la tarea primaria de la aplicación
	Transparencia de interacción	Comparación efectiva entre diferentes tipos de dispositivos E/S
	Escalabilidad	Efectividad de interacciones con un gran número de entidades de usuarios
	Interacción Colaborativa	Número de conflictos, porcentaje de conflictos resueltos por la aplicación, sentir del usuario acerca de como se resolvió el problema
Invisibilidad	Inteligibilidad	Entendimiento del usuario acerca de la explicación del sistema
	Control	Efectividad de interacciones proporcionadas para el control de la iniciativa del sistema
	Precisión	Acierto entre el modelo contextual del sistema y la situación actual
	Personalización	Tiempo que se tarda en ingresar explícitamente información de personalización
Impacto y efectos secundarios	Utilidad	Cambios en la productividad o desempeño
	Cambios en el comportamiento	Voluntad para cambiar el comportamiento o tareas para usar la aplicación
	Aceptación Social	Requerimientos puestos en el usuario fuera de las normas sociales
	Cambios en el ambiente	Voluntad del usuario para modificar su ambiente para acomodar la aplicación
Atracción	Diversión	Nivel de gozo del usuario al usar la aplicación
	Estética	Calificaciones a la visualización de la aplicación
	Estatus	Orgullo al usar y poseer la aplicación
Robustez de aplicación	Robustez	Porcentaje de faltas transientes invisibles al usuario
	Velocidad de desempeño	Tiempo desde la interacción del usuario hasta la retroalimentación obtenida por el sistema.
	Volatibilidad	Medidas de las interrupciones.

Ejemplo de aplicación de métricas en proyectos:

Campus Aware System

Guía de tours en un campus que rastrea la posición del usuario y provee información de sus alrededores. La aplicación diseñada para visitantes, pensando en prospectos a estudiantes de ese campus, muestra notas en un mapa que fueron colocadas por otros alumnos en esa zona. La evaluación se concentró en las características de las anotaciones y el balance de atención entre el dispositivo y el ambiente físico. Las evaluaciones que realizaron, recalcando las métricas que aplican son:

• Los dispositivos distraían. Los usuarios observaban más el dispositivo que sus alrededores(Atención - Concentración  - Distracción).
• Los usuarios contribuían un promedio de 3.7 notas (Adopción - valor).
• Los usuarios contribuían por ser fácil y porque encontraban valor en la información. Pero no todas las notas eran precisas o usables (Adopción - valor, Interacción - efectividad y satisfacción del usuario).
• Los usuarios querían mayor funcionalidad. Por ejemplo, direcciones a otros lugares del campus (Adopción - valor).
• La aplicación no siempre medía la localización de forma precisa, lo que causaba confusión entre la información y el lugar donde aparecía (Invisibilidad - precisión). 

Referencia:

• http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=1316826