mdh.sePublikationer
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Towards a Multi-OS Architecture for Consistent User Interface Experience
Mälardalens högskola, Akademin för innovation, design och teknik, Inbyggda system. Hochschule Darmstadt. (Ubiquitous Computing)ORCID-id: 0000-0001-6020-1785
2016 (Engelska)Licentiatavhandling, sammanläggning (Övrigt vetenskapligt)Alternativ titel
På väg mot en Multi-OS arkitektur för konsekvent användarupplevelse (Svenska)
Abstract [en]

Vehicles have greatly changed over the last decades. Originally, they were used as a means of transportation, and their drivers were solely engaged in the driving task. In modern cars the user, i.e. the former driver, has to interact with many different systems, which provide access to different domains, such as vehicle functions (monitoring speed, fuel consumption), safety related features, comfort and infotainment. Advancements in technologies make it possible to cope with the increasing amount of features, as for example the introduction of input and output modalities that allow new ways of interaction, such as touch(-screens), voice control or gesture recognition. In the end a user has to interact with all systems through the overall user-interface. This requires a high usability and a consistent look and feel in order to provide a consistent user experience.

On the technology side, developers have to cope with rising complexity, dependencies and inter-connections of about 80 different embedded systems in a premium car. The introduction of multi-core systems opened the way for new approaches, like Multi-OS environments. There multiple operating systems are consolidated onto a single hardware platform by the use of hardware/software virtualization. This allows for example to run real-time operating systems (RTOS) for safety critical cluster applications next to a general purpose operating system (GPOS) for infotainment applications. This also poses new challenges, such as the contradiction between a clear separation meant to reduce complexity, dependencies and to mitigate the risk of interferences, and interconnections that are required to create a composited user-interface.

In this thesis, the challenges of compositing heterogeneous systems in an automotive context are explored. Current approaches are studied and the contradiction of separation and interconnection is explained. Based on this, concepts are introduced and software architectures are proposed, which can be used to implement composited user interfaces for Multi-OS environments. Furthermore, an application prototype that is used to verify the proposed software architecture in regard of graphical user-interfaces, called HTML-UI-Compositor, has been implemented. The HTML-UI-Compositor also provides a simple way of compositing graphical user-interfaces through the adaptation of a web browser engine, which allows well-known standard web development tools and languages to be used to create composited user-interfaces. Those are the first steps towards a Multi-OS architecture that supports a consistent user interface experience.

Abstract [sv]

Bilen har förändrats mycket under de senaste decennierna. Ursprungligen användes den som ett transportmedel och dess förare var enbart engagerad i att köra fordonet. I moderna bilar måste användaren, det vill säga den tidigare omnämnde föraren, interagera med många olika system, som ger tillgång till olika domäner, såsom fordonsfunktioner (exempelvis övervakning av hastighet och bränsleförbrukning), säkerhetsrelaterade funktioner, komfort funktioner samt information och underhållningssystem (infotainment). Tekniska framsteg gör det möjligt att hantera den ökande mängden funktioner, exempelvis införandet inmatnings- och presentationsmodeller som möjliggör nya sätt att interagera, såsom pek (-skärmar), röststyrning eller rörelsedetektering. Användaren får slutligen interagera med de olika systemen via ett övergripande användargränssnitt . Detta kräver en hög användbarhet samt en enhetlighet i utseende och känsla för att ge en konsistent användarupplevelse.

På den tekniska sidan måste utvecklare klara av ökande komplexitet, beroenden och sammanlänkning av olika inbyggda system, cirka 80 i en premiumbil. Införandet av multi-core system öppnade vägen för nya metoder, som Multi-OS miljöer. I dessa miljöer har flera operativsystem konsoliderats till en enda hårdvaruplattform med hjälp av hårdvaru- och mjukvaru-virtualisering. Detta gör det exempelvis möjligt att exekvera realtidsoperativsystem (RTOS) för säkerhetskritiska klusterapplikationer parallellt med ett generellt operativsystem (GPOS) för infotainmentapplikationer. Det innebär också nya utmaningar, såsom motsättningen emellan en tydlig separation, tänkt att minska komplexiteten och risken för störningar, samt de beroenden och sammankopplingar som krävs för att skapa ett sammansatt användargränssnitt.

Denna avhandling utforskar utmaningarna för sammansatta heterogena system i en fordonsmiljö. Nuvarande metoder studeras och motsättningen mellan separation och sammankoppling förtydligas. Baserat på detta introduceras koncept samt förslag på mjukvaruarkitekturer som kan användas för att implementera sammansatta användargränssnitt för Multi-OS-miljöer. Vidare har en prototyp, kallad HTML-UI-Compositor, utvecklats för att verifiera den föreslagna mjukvaruarkitekturen, med avseende på grafiska användargränssnitt. Genom en anpassad webbläsarmotor tillhandahåller HTML-UI-Compositor dessutom ett enkelt sätt att sammanfoga grafiska användargränssnitt, vilket gör det möjligt att använda välkända standardverktyg och språk för webbutveckling för att skapa sammansatta användargränssnitt. Dessa är de första stegen mot en Multi-OS arkitektur med stöd för en konsekvent användarupplevelse.

Ort, förlag, år, upplaga, sidor
Västeras: Mälardalen University Press , 2016.
Serie
Mälardalen University Press Licentiate Theses, ISSN 1651-9256 ; 248
Nationell ämneskategori
Programvaruteknik Människa-datorinteraktion (interaktionsdesign)
Forskningsämne
datavetenskap
Identifikatorer
URN: urn:nbn:se:mdh:diva-33538ISBN: 978-91-7485-303-2 (tryckt)OAI: oai:DiVA.org:mdh-33538DiVA, id: diva2:1045837
Presentation
2016-12-16, Paros, Mälardalen University, Västerås, 13:00 (Engelska)
Opponent
Handledare
Tillgänglig från: 2016-11-11 Skapad: 2016-11-09 Senast uppdaterad: 2018-01-13Bibliografiskt granskad
Delarbeten
1. Current challenges in compositing heterogeneous user interfaces for automotive purposes
Öppna denna publikation i ny flik eller fönster >>Current challenges in compositing heterogeneous user interfaces for automotive purposes
2015 (Engelska)Ingår i: Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), Springer, 2015, Vol. 9170, s. 531-542Konferensbidrag, Publicerat paper (Refereegranskat)
Abstract [en]

Composition (i.e. merging distinct parts to form a new whole) of user interfaces from different providers or devices is popular in many areas. Current trends in the automotive area show, that there is a high interest in compositing interfaces from mobile devices into automotive user interfaces. “Apple CarPlay” and “Android Auto” are concrete examples of such compositions. However composition is addressed with challenges, especially if the parts are originally designed for different purposes. This paper presents the problem statement of compositing heterogeneous devices. Furthermore, it presents a layer model showing architectural levels, where compositions can take place and for each of these layers challenges have been identified.

Ort, förlag, år, upplaga, sidor
Springer, 2015
Nyckelord
Composition, Design, Heterogeneous, Human factors, Hypervisor, Platforms, Ubiquitous interoperability, User interface, Virtualization, Chemical analysis, Human computer interaction, Human engineering, Mobile devices, Architectural levels, Heterogeneous devices, Heterogeneous users, Problem statement, Virtualizations, User interfaces
Nationell ämneskategori
Elektroteknik och elektronik
Identifikatorer
urn:nbn:se:mdh:diva-29378 (URN)10.1007/978-3-319-20916-6_49 (DOI)2-s2.0-84944213227 (Scopus ID)9783319209159 (ISBN)
Konferens
2 August 2015 through 7 August 2015
Tillgänglig från: 2015-10-23 Skapad: 2015-10-23 Senast uppdaterad: 2018-01-03Bibliografiskt granskad
2. Contradiction of separation through virtualization and inter virtual machine communication in automotive scenarios
Öppna denna publikation i ny flik eller fönster >>Contradiction of separation through virtualization and inter virtual machine communication in automotive scenarios
2015 (Engelska)Ingår i: ACM International Conference Proceeding Series, 2015, artikel-id Article number a4Konferensbidrag, Publicerat paper (Refereegranskat)
Abstract [en]

A trend in automotive infotainment software is to create a separation of components based on di-erent domains (e.g. Navigation, Radio, etc.). This intends to limit susceptibility to errors, simplify maintainability and to organize development based on domains. Multi-OS environments create another layer of separation through hardware/software virtualization. Using a hypervisor for virtualization allows the development of mixed critical systems. However, we see a contradiction in current architectures, which on one side aim to separate everything into virtual machines (VMs), while on the other side allow inter-VM-connectivity. In the end all applications are composited into one homogeneous UI and the previous intent of separation is disregarded. In this paper we investigate current architectures for invehicle infotainment systems (IVIS), i.e. mixed critical systems for automotive purposes, and show that regulations and/or requirements break the previous intents of the architecture.

Nyckelord
Composition, Heterogeneous Platforms, Hypervisor, Ubiquitous Interoperability, User Interface, Virtualization
Nationell ämneskategori
Elektroteknik och elektronik
Identifikatorer
urn:nbn:se:mdh:diva-31243 (URN)10.1145/2797433.2797437 (DOI)2-s2.0-84958527563 (Scopus ID)9781450333931 (ISBN)
Externt samarbete:
Konferens
European Conference on Software Architecture Workshops, ECSAW 2015, 7 September 2015 through 11 September 2015
Tillgänglig från: 2016-03-03 Skapad: 2016-03-03 Senast uppdaterad: 2016-12-22Bibliografiskt granskad
3. Towards an architecture for an UI-Compositor for Multi-OS environments
Öppna denna publikation i ny flik eller fönster >>Towards an architecture for an UI-Compositor for Multi-OS environments
2016 (Engelska)Ingår i: Software Architecture: 10th European Conference, ECSA 2016, Copenhagen, Denmark, November 28 - December 2, 2016. Proceedings, 2016, s. 138-147Konferensbidrag, Publicerat paper (Refereegranskat)
Abstract [en]

Separation through hardware/software virtualization on operating system (OS) layer reduces complexity in automotive software. Automotive software is categorized into domains (e.g. comfort, safety related features, driver assistance) and each domain is handled by a separate OS, which contains domain-specific applications. A common user interface (UI) for all applications from all domains is created through an UI-Compositor, which composites and manages the different input/output modalities.

While interactions with a single OS with multiple applications and input/output modalities are well known, we find that a composition of applications from different OSs or a composition of multiple OSs into a single UI is challenging. In this paper we investigate architectural patterns for an UI-Compositor for Multi-OS environments and suggest a new architecture that supports the concept of separation.

Nationell ämneskategori
Människa-datorinteraktion (interaktionsdesign) Programvaruteknik
Forskningsämne
datavetenskap
Identifikatorer
urn:nbn:se:mdh:diva-33537 (URN)10.1007/978-3-319-48992-6_10 (DOI)000389510500010 ()2-s2.0-84998879951 (Scopus ID)978-3-319-48991-9 (ISBN)
Konferens
10th European Conference on Software Architecture
Tillgänglig från: 2016-11-09 Skapad: 2016-11-09 Senast uppdaterad: 2018-01-13Bibliografiskt granskad
4. Towards a HTML-UI-compositor by introducing the wayland-protocol into a browser-engine
Öppna denna publikation i ny flik eller fönster >>Towards a HTML-UI-compositor by introducing the wayland-protocol into a browser-engine
2016 (Engelska)Ingår i: Proceedings - 2016 13th Working IEEE/IFIP Conference on Software Architecture, WICSA 2016, 2016, s. 192-200Konferensbidrag, Publicerat paper (Refereegranskat)
Abstract [en]

There is a trend in automotive software to separate components based on domains. Current approaches create a separation through hardware/software virtualization, i.e., different VMs for each domain. However, each domain includes one or more applications and services, and therefore a special component called «compositor» is necessary to composite and provide a homogeneous UI to the user. In this paper we present a software architecture and the results of a prototype implementation, which is based on the browser-engine WebKit and the Wayland protocol. We extended a browser-engine through plug-ins to allow native applications from different domains to be used and displayed in a UI-Compositor. This shows that it is possible to composite native applications (e.g., from different VMs) seamlessly into a HTML based GUI.

Nyckelord
Browser, Composition, Design, Graphical User Interface, HTML, Human Factors, Platform, Qt5, Ubiquitous Interoperability, Wayland, WYSIWYG, Chemical analysis, Engines, Graphical user interfaces, Human engineering, Software architecture, User interfaces, Automotive software, Different domains, Hardware/software, Prototype implementations, Network architecture
Nationell ämneskategori
Data- och informationsvetenskap
Identifikatorer
urn:nbn:se:mdh:diva-33112 (URN)10.1109/WICSA.2016.30 (DOI)000390838900024 ()2-s2.0-84983283119 (Scopus ID)9781509021314 (ISBN)
Konferens
13th Working IEEE/IFIP Conference on Software Architecture, WICSA 2016, 5 April 2016 through 8 April 2016
Tillgänglig från: 2016-09-08 Skapad: 2016-09-08 Senast uppdaterad: 2018-01-10Bibliografiskt granskad

Open Access i DiVA

fulltext(913 kB)297 nedladdningar
Filinformation
Filnamn FULLTEXT01.pdfFilstorlek 913 kBChecksumma SHA-512
9f63b847934daddcb17f1338aea4b841c0fa83bcf097c8bbd63fef56fef8ea25534de55680b83fc6841c3edce47dc56e63a933848055cca996a01977a02fb017
Typ fulltextMimetyp application/pdf

Sök vidare i DiVA

Av författaren/redaktören
Holstein, Tobias
Av organisationen
Inbyggda system
ProgramvaruteknikMänniska-datorinteraktion (interaktionsdesign)

Sök vidare utanför DiVA

GoogleGoogle Scholar
Totalt: 297 nedladdningar
Antalet nedladdningar är summan av nedladdningar för alla fulltexter. Det kan inkludera t.ex tidigare versioner som nu inte längre är tillgängliga.

isbn
urn-nbn

Altmetricpoäng

isbn
urn-nbn
Totalt: 426 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf