Innlegget “Flere får gjort det de skal” (12. mars 2016) handler om resultatene fra vår siste brukerundersøkelse og utviklingen over tid fra gammelt til nytt nettsted. I etterkant er det stilt kritiske spørsmål knyttet til en del av undersøkelsen som antyder liten endring i brukeropplevelsen på nettstedet. 

I kommentarfeltet på innlegget er det kommet spørsmål som tar utgangspunkt i at vi i en del av rapporten fra undersøkelsen sier at det er svak endring i brukeropplevelsen. Spørsmålene handler om hvordan vi, etter 3 år med prosjekt for å endre kommunens nettsted, ikke kan vise til en endring på nettstedet.

Før vi svarer på dette, er det noen endringer vi vil trekke frem. Vi forstår at ikke alle har fått dette med seg.

Viktige forbedringer

17 % flere får løst det de kommer for!

Det er ingen hemmelighet at vi som jobber med nettstedet er i overkant opptatt av at de som besøker nettstedet skal få løst oppgaven de kom for å gjøre. Derfor beskriver vi tidlig i rapporten fra brukerundersøkelsen den klare forbedringen i oppgavegjennomføringen på nettstedet. Fra 58 % på gammelt nettsted til 68 % på nytt nettsted. Det er en forbedring på 17 % (eller 10 prosentpoeng)!

 

Graf suksessprosent 58-68

Grafen viser en positiv utvikling av oppgavegjennomføringen. Fra 58% i 2013 til 68% i år, en forbedring på hele 10 prosentpoeng.

 

I rapporten skriver vi også at 10% ikke finner innhold som vi allerede har på nettstedet. Arbeidet med å identifisere hva som er årsaken til dette er allerede i gang og det gir håp om at vi i løpet av året skal kunne nå 80% oppgavegjennomføring.

Vårt mål er 85 % oppgavegjennomføring. Vi skulle ønske at vi var enda nærmere dette målet, men det er altså en ikke ubetydelig endring og vi har stø kurs mot målet.

Nettsidene er tilgjengelige på mobile plattformer

Å kunne bruke nettsidene på mobil er heller ingen ubetydelig endring. Google sjef i Norge, Jan Grønbeck, uttalte i 2013 til 100 web- og kommunikasjonsansatte i kommunen:

“Oslo kommune har verdens dårligste sider for mobil. Jeg tuller ikke!»

Mellom 40 og 50 % av de som besøker nettstedet kommer fra mobil eller nettbrett, i helgene er andelen nesten 60 %. Tendensen er økende.

Nettsidene er universelt utformet

Vi har lagt ned mye arbeid i å sikre at nytt nettsted er universelt utformet. Det betyr at sidene skal være enkle å bruke for svaksynte, dyslektikere eller andre med ulike forutsetninger og behov. I en fersk rapport fra et av landets ledende selskaper på IKT og universell utforming står det følgende:

Det er tydelig at tilgjengelighet / universell utforming har hatt fokus når nettstedet til Oslo kommune ble laget. Sidene er like (konsistente), og etter MediaLTs mening er dette kanskje det aller viktigste uu-prinsippet. Bruk av overskrifter og nivåer er gjennomgående veldig bra, og semantisk sideinndeling gjør at sidene er fine å navigere med skjermleser.

Rapporten viser også til konkrete steder der vi bør forbedre oss. Rapporten vil vi dele over påske etter at den gjennomgått i prosjektet. På den måten kan andre lære av det vi har gjort riktig og de feilene vi har gjort.

Oppgavegjennomføring vs. brukeropplevelse

Vi er mest opptatt av om brukerne får gjort det de skal på nettstedet og her har vi altså gått fra 58 % oppgavegjennomføring til 68 %.

Men vi har også stilt brukerne noen spørsmål om brukeropplevelsen av nettsidene. Dette har vi gjort ved å fremlegge påstander som de svarer fra veldig enig til veldig uenig om.

Det er resultatene fra denne delen som har ført til de kritiske kommentarene i det første innlegget og det er spesielt knyttet til påstandene om at:

  • Det er enkelt å finne informasjon på Oslo kommunes nettsted
  • Informasjonen er lett å forstå. 

Fra kommentarfeltene:

Løftet som prosjekt er vel nå tre år gammelt? Hvorfor scorer dere så lavt på spørsmålene nedenfor i fra brukerundersøkelsen for februar 2016?

«Informasjonen er lett å forstå»: 2% forbedring fra 2013 i andel brukere som er veldig enig eller enig i påstanden.

«Det er enkelt å finne informasjon på Oslo kommunes nettsider»: 1% forbedring fra 2013 i andel brukere som er veldig enig eller enig i påstanden.

 

Her er de to grafene som, forståelig nok, gir inntrykk av at det ikke er skjedd en endring på nettstedet knyttet til brukeropplevelsen:

Brukeropplevelse - Det er enkelt å finne informasjon - Alle målgrupper - fra regnearket

Påstand: Det er lett å finne informasjon: Veldig enig/enig går fra 57 til 59%, en forbedring på kun 2 prosentpoeng.

Brukeropplevelse - Informasjonen er lett å forstå - Alle målgrupper - fra regnearket

Påstand: Informasjonen er lett å forstå. Veldig enig/enig går fra 73 til 75%, en forbedring på kun 2 prosentpoeng.

 

Grafene viser en minimal endring i andelen som er veldig enig eller enig i påstandene om at det er enkelt å finne og forstå informasjon på Oslo kommunes nettsider.

Er det virkelig så liten endring i hvordan brukerne opplever nettstedet?

Vi har diskutert disse resultatene mye internt i prosjektet de siste ukene. Vi valgte likevel å publisere rapporten med håp om at vårt planlagte arbeid med utfordringer knyttet til søk og navigasjon skulle gi oss mer innsikt. 

For å svare på kritikken har vi gjort en nærmere analyse og når vi ser på de ulike målgruppene ser vi interessante forskjeller!

La oss sammenligne målgruppen ansatte med målgruppen «Jeg er her i privat ærend/på vegne av familie», forenklet til «innbyggere».

Påstand: Informasjonen er lett å forstå (ansatte vs innbyggere)

Ansatte:

Brukeropplevelse - Informasjonen er lett å forstå - Ansatte - fra regnearket

Påstand: Informasjonen er lett å forstå. Målgruppe ansatte. Veldig enig/enig går fra 81 til 75%. En reduksjon på 6 prosentpoeng. 

Innbyggere:

Brukeropplevelse - Informasjonen er lett å forstå - Innbygger - fra regnearket

Påstand: Informasjonen er lett å forstå. Målgruppe: innbyggere. Veldig enig/enig går fra 70 til 76%. En forbedring på 6 prosentpoeng.

Tallene indikerer at mens innbyggere har opplevd en forbedring på 6 prosentpoeng, så har de ansatte opplevd en tilsvarende reduksjon. Det er verd å merke seg at rett etter lansering av nettstedet så var det hele 82% av innbyggerne som var veldig enig eller enig i påstanden om at informasjonen er lett å forstå. Reduksjonen vi ser frem til nå kan skyldes flere ting:

  • Ulike tidspunkt for gjennomføring av undersøkelsen (mai 2015 /februar 2016)
  • Vi har lagt til mer innhold som har en karakter av at det er mer komplisert
  • Andre tilfeldigheter.

Påstand: Det er enkelt å finne informasjonen (ansatte vs innbyggere)

Ansatte:

Brukeropplevelse - Det er enkelt å finne informasjon - Ansatte - fra regnearket

Påstand: Det er enkelt å finne informasjon. Målgruppe: ansatte. Veldig enig/enig går fra 62 til 47%. En reduksjon på 15 prosentpoeng!

Innbyggere:

Brukeropplevelse - Det er enkelt å finne informasjon - innbygger - fra regnearket

Påstand: Det er enkelt å finne informasjon. Målgruppe: innbygger.  Veldig bra/bra er gått fra 56 til 65%. En forbedring på 9 prosentpoeng.

I denne siste grafen er det verd å merke seg reduksjonen hos innbyggere som er uenig eller veldig uenig. Den er redusert fra 39% til 23%, en reduksjon på hele 16 prosentpoeng.

Konklusjon: innbyggernes opplevelse av nettstedet har gått på “bekostning” av de ansattes

Fordelingen på målgrupper gir oss svaret på hvorfor det samlet sett er liten endring i opplevelsen av nettstedet. Innbyggere/private opplever en positiv utvikling i opplevelsen av å finne frem og forstå sidene, mens de ansatte har en tilsvarende negativ utvikling.

Totalt sett så utjevner de hverandre og gir inntrykk av at det ikke har vært en utvikling.

Animerte GIFs er populære om dagen, her er en som viser endringen:

 

«Jan Johansen», «Bjørn Olsen», «Ole Larsen» og «Thomas Berg»; du/dere er selvsagt invitert opp til våre lokaler på Helsfyr etter påsken for å få en grundig gjennomgang i endringene på nettsidene til Oslo kommune. Da kan dere også se hvordan vi jobber for at nettstedet skal bidra til å møte kommunens kommunikasjonsbehov.

Med det ønsker vi alle en riktig god påske!

Kategori:
Brukertest, Statistikk og analyse, Universell utforming

Join the conversation! 12 Comments

  1. Takk for deling av data!
    Kan det hende at det er for tidlig å måle om det har blitt enklere for de ansatte å finne informasjon på de nye nettsidene? Få mennesker er særlig glad i endringer, og selv om informasjonsarkitekturen har blitt mer intuitiv, så vil den kanskje ikke oppleves slik for dem som har vært vant med å finne informasjonen et annet sted tidligere.

    God Påske!

    Likt av 1 person

    Svar
    • Takk, Asbjørn! Det kan nok stemme at det tar tid å bli vant med nytt nettsted, men samtidig vet vi at mye innhold som ansatte brukte på gammelt nettsted ikke er på nytt nettsted. Derfor er det ikke så overraskende at ansatte opplever det som vanskeligere å finne informasjon. Men vi ser også at 69 % av de ansatte som har svart på undersøkelsen oppgir at de får løst det de skal. Det er en økning på 9 prosentpoeng sammenlignet med gammelt nettsted. Riktignok er det en mindre andel ansatte (40% færre) som har svart. Vi må nok bare fortsette å grave i dataene og gjøre mer innsiktsarbeid for å finne svarene.
      God påske!

      Lik

      Svar
  2. «Informasjonen er lett å forstå»: 2% forbedring fra 2013 til 2016 i andel brukere som er veldig enig eller enig i påstanden.

    «Det er enkelt å finne informasjon på Oslo kommunes nettsider»: 1% forbedring fra 2013 til 2016 i andel brukere som er veldig enig eller enig i påstanden.

    Samlet sett for alle brukere av Oslo kommunes nettsted så er det bare 1% og 2% forbedring av hvor lett det er å finne informasjon, og å forstå den. Denne marginale forbedringen gjelder for en veldig lang periode – tre hele år.

    I en artikkel på Oslo Beta 20. mars 2014 står det følgende:
    «Med veldig forsiktige tall ser vi altså at prislappen for nettsider som ikke svarer på brukerens behov er 235.000 kroner pr dag. Ganger man dette med 365 dager pr år får vi et så høyt tall at det gir lite mening å diskutere eventuelle unøyaktigeter ved selve beregningen.»

    Med 68% løste brukeroppgaver i begynnelsen av 2016 – hvor mye taper Oslo kommune fremdeles på nettsidene sine? 175.000 kroner hver dag?

    I samme artikkel fra 20. mars 2014 står det også:
    «Et av prosjektets hovedmål er at vi innen utgangen av 1. kvartal 2015 skal ha et nettsted der minst 85% av brukerne får løst de oppgaver de kommer til nettstedet for å utføre.»

    I mai 2015 var det fremdeles bare 59% av brukerne som fikk gjennomført oppgavene sine, i følge artikkelen som ble publisert på Oslo Beta 12. mars 2016. Altså ser vi en tilbakegang på 1% fra 2013 til 2015 i andelen brukere som fikk løst sine oppgaver.

    Ove Dalen fra NetLife Research skriver på Oslo Beta at 68% løste brukeroppgaver i 2016 er bra.

    Er det virkelig bra for Oslo kommune å tape 175.000 kroner hver dag på nettsidene?

    Hvor er fokuset til Løftet-prosjektet i april 2016?

    Vil Løftet fokusere på Top Tasks (etter Gerry Mcgoverns metode) slik at kommunen slutter å tape 175.000 kroner hver dag?

    Eller vil dere velge å arbeide med perifere oppgaver i april og de nærmeste månedene – slik at vi må vente ett eller flere år før dere er oppe i 72% løste brukeroppgaver?

    Hva planlegger dere for de nærmeste månedene, Løftet?

    Gi Oslos innbyggere et tall for hvor mange kroner Løftet har brukt på konsulenter fra Netlife Research og på andre ansatte fra 2013 til 2016. Oslos innbyggere fortjener denne informasjonen.

    Gi Oslos innbyggere et tall på det budsjettet Løftet har for 2016. Oslos innbyggere fortjener denne informasjonen.

    Oslo kommunes nye nettsider er en offfentlig IT-anskaffelse. Anskaffelsen er gjennomført av Utviklings- og kompetanseetaten i Oslo kommune i samarbeid med Steria.

    Vis frem økonomi-tallene deres. Løftet er en offentlig anskaffelse.

    Lik

    Svar
  3. Hva skjer Løftet?

    Dere får en e-post hver gang det kommer en ny kommentar på Oslo Beta, men dere tar dere ikke tid til å gå i dialog.

    Dere får vel 1 kommentar i snitt i uken, så det burde ikke være vanskelig å holde dialogen i gang.

    Satser dere nå på Tiny Tasks for fullt? Fornøyd med 68% løste brukeroppgaver?

    Fornøyd med å tape 175.000 kroner hver dag? Dette tallet er basert på André Myrbråtens anslag fra 2014.

    Hvor mange millioner kroner har dere brukt opp til nå?

    17 millioner i 2016

    17 millioner i 2015.

    17 millioner i 2014.

    10 millioner i 2013

    4 millioner i 2012?

    Min antagelse er at Løftet vil ha brukt opp 65 millioner kroner ved utgangen av 2016.

    Samtidig har dere tapt 175.000 kroner i snitt hver dag. Det er litt over 319 millioner kroner totalt over fem år. Skal jeg trekke fra 2012? Da ender vi på litt over 255 millioner kroner. Jeg kan stoppe der.

    Sees på kontoret i morgen. 🙂

    Lik

    Svar
  4. Holder på å svare på innlegget ditt fra fredag «Fredrik». Ja, det hadde vært hyggelig å tatt en prat sammen om dette. Ikke nøl med å ta kontakt.
    Mvh André

    Lik

    Svar
  5. Bare for å ta en oppsummering av nøkkeltallene:

    1% forbedring fra 2013 til 2016 i hvor lett det er å finne informasjon på nettsidene til Oslo kommune samlet sett for alle brukere.

    2% forbedring fra 2013 til 2016 i hvor lett det er å forstå informasjon på nettsidene til Oslo kommune samlet sett for alle brukere.

    8% forbedring fra 2013 til 2016 i andelen brukere som får løst sine oppgaver på nettsidene til Oslo kommune:
    60% fikk løst oppgavene sine på nettsidene til Oslo kommune sommeren 2013, skriver André Myrbråten på Oslo Beta 20 mars 2014. I 2016 får 68% løst oppgavene sine. Resultatet av Løftet er en 8% forbedring over tre år. Ikke 10% som Løftet hevder i 2016.

    65 millioner kroner vil være brukt opp av Løftet ved utgangen av 2016. Pengene har gått til lønnsutgifter, etablering av testlab, programvarelisenser og innleie av konsulenter fra Netlife Research og Steria.

    255 millioner kroner er tapt på grunn av dårlige nettsider i løpet av perioden fra 2013 til og med 2016. Dette er basert på André Myrbråtens eget anslag.

    Lik

    Svar
  6. Hei! Når planlegger dere å legge ut rapporten om uu fra MediaLT?

    Lik

    Svar
  7. «Tiny tasks are a nightmare for web teams. On their own, these tasks seem innocent enough. It’s just one more page, one more link, one more graphic. But gather them up, and many a web professional has found themselves nibbled to death.

    Tiny tasks are also full of organizational ego. Often, the more important the task is to the customer, the less content is being produced for it; the less important the task is to the customer, the more content is being produced. This inverse relationship is very typical,» Gerry McGovern fra Customer Carewords på A List Apart.

    Går dere fra Top Tasks til Tiny Tasks på nettsidene?

    Ønsker dere nå å tilfredstille alt og alle? Skal absolutt alle behov – uavhengig av hvor viktig informasjonen er – dekkes hos dere i april, mai, juni og videre?

    Kommer dere til å bli værende på rundt 68% løste brukeroppgaver med den nye strategien deres?

    Hvorfor dette strategiskiftet?

    Lik

    Svar
  8. «Fredrik», dette begynner å bli litt pinlig. Det er fortsatt sol ute. Ta en pust i bakken. Så slipper vi å slå på moderering av kommentarer på bloggen bare på grunn av deg. Du skal få svar.
    Dersom du ikke kan vente, må du gjerne ringe meg.
    Mvh André

    Lik

    Svar
  9. Tusen takk for en svært nyttig blogg. Har funnet mye nyttig inspirasjon her. Mener at det tidligere i denne artikkelen eller en annen artikkel lå en live tilgang til bruksstatisitikk for nettstedet. Denne var svært nyttig. Er denne fjernet? Eventuelt hvor finner jeg den?

    Tusen takk for hjelpen

    Lik

    Svar

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s

helsenorgebeta.net

Oslo kommunes utviklingsblogg

Government Digital Service

Oslo kommunes utviklingsblogg

iAllenkelhet

Oslo kommunes utviklingsblogg

NRKbeta

NRKs sandkasse for teknologi og nye medier

BetaTrondheim

Oslo kommunes utviklingsblogg

%d bloggers like this: