Kirjastojen muuttuva toimintaympäristö haastaa perinteiset mittaustavat
Informaatioalan organisaatiot, kuten kirjastot, elävät siitä, että ne soveltavat hankittua tietoa ja kehittävät toimintojaan jatkuvasti parempaan suuntaan asiakkaittensa hyväksi. Tämä onkin juuri niitä asioita, joiden osoittaminen on niiden elossa pysymisen kannalta tärkeää.
Kulttuuri- ja sivistyspalvelujen tuottaminen on muuttanut muotoaan perinteisestä ja helposti hahmotettavasta moniulotteiseksi ja monitahoiseksi. Digitaalinen toimintaympäristö antaa suunnattoman määrän mahdollisuuksia eritellä tietoa.
Tapa tuottaa ja etsiä tietoa ja sitä myöten myös tapa tuottaa ja pitää yllä palveluja ovat muuttuneet. Kun ennen kirjastoissa oli painettuja kokoelmia, puhelimia ja kirjeitä (saapumisilmoituksia, karhukortteja), nyt on myös elektronisia aineistoja, sähköpostiviestejä ja mobiilipalveluita.
Johtamista ja päätöksentekoa varten on nykyisessä toimintaympäristössä saatavana entistä enemmän ja monipuolisempaa dataa – haasteena on löytää oleellisin tieto; se, joka parhaiten soveltuu toimintojen arviointiin ja tukee johtamista.
Toimintaympäristön muutos on vaikuttanut myös talouteen, sillä esimerkiksi elektroniset aineistot ovat näennäisesti – ja euromääräisestikin laskettuna – kalliita, mutta toisaalta myös kustannustehokas tapa tarjota tietoa tarvitsijoiden käyttöön.
Kirjastoalan mittauksen standardit
Kirjastoalan mittausta ja arviointia ohjeistetaan kansainvälisillä standardeilla. Niistä varhaisimpia on ISO 2789 (International library statistics), jonka suomennos, SFS-ISO 2789 (Kirjastojen kansainvälinen tilastostandardi) ilmestyi kesällä 2015.
Muita tärkeitä alan standardeja ovat ISO 11620 (Library performance indicators) eli mittaristandardi ja ISO 16439 (Methods and procedures for assessing the impact of libraries) kirjaston vaikuttavuuden arviointiin. Vaikuttavuuden arviointistandardi on parhaillaan suomennettavana, ja se ilmestyy vuonna 2016 standardina SFS-ISO 16439 (Kirjastojen vaikuttavuuden arvioinnin menetelmät ja toimenpiteet).
Kirjastojen arvioinnin ja kehittämisen kannalta tämä uusin standardi lienee mielenkiintoisin, sillä se sisältää selostuksen arviointiin käytettävistä menetelmistä. Standardissa käsiteltäviä teemoja ovat muun muassa vaikuttavuuden päätteleminen tai halutun sekä havaitun vaikutuksen ja vaikuttavuuden arviointi. Vaikuttavuuden arviointistandardi sisältää myös selostuksen erilaisten menetelmien käyttämisestä yhdessä sekä laadullisen ja määrällisen datan tuomisesta rinnakkain vertailtavaksi. Vaikuttavuuden arviointistandardissa käytetyt keskeiset käsitteet käyvät ilmi kuvasta 1.
ISO 16439 -standardissa esitetty idea eri lähteistä saatavan tiedon yhdistämisestä ja jalostamisesta edelleen niin sanotuin ”yhdistettyjen menetelmien” avulla käy ilmi kuvasta 2. Näkökulmasta riippuen voidaan puhua ”kovasta” ja ”pehmeästä” datasta. ”Kovaa” dataa ovat esimerkiksi tilastotiedot ja tunnusluvut sekä tietyssä mielessä myös resurssit. ”Pehmeää” dataa ovat puolestaan esimerkiksi asiakkaiden arvioinnit kokemuksestaan kirjastosta. Eri menetelmien käyttö yhdessä tuottaa uusia välineitä arvioida kirjasto- ja informaatiopalvelun toiminnan vaikuttavuutta. Nämä ”yhdistetyt menetelmät” ovat askel kohti kokonaisvaltaista vaikuttavuuden arviointia.
Ammattikorkeakoulukirjastojen menestystarina ja yliopistokirjastojen laatuhaaste
Elektronisten aineistojen käyttöä on alettu Suomen korkeakoulukirjastoissa tilastoida vuodesta 2002 lukien (Tieteellisten kirjastojen yhteistilasto). Asiakaskyselyjä on alettu tehdä koko korkeakoulusektorilla systemaattisesti vasta vuodesta 2010 lukien, mutta ammattikorkeakoulukirjastoissa jo vuodesta 2006 lukien.
Pidemmän aikasarjansa ansiosta amk-sektori tarjoaakin hyvää aineistoa elektronisten aineistojen kustannus–hyöty-analyysiä varten. Tarkastelua varten kerättiin Tieteellisten kirjastojen yhteistilastosta tiedot elektronisten aineistojen (e-lehdet, e-kirjat ja muu e-aineisto) latauksista, nimekemääristä ja kustannuksista niiltä vuosilta, joina tehtiin asiakastyytyväisyyskysely (Kuva 3).
Kyselyn koordinoi vuosina 2006 ja 2008 Ammattikorkeakoulujen kirjastoyhteistyökonsortio (AMKIT-konsortio) ja vuosina 2010 ja 2013 Kansalliskirjasto. Kyselyiden erilaisesta muotoilusta johtuen vastaukset ovat vain suuntaa-antavia, mutta silti huomionarvoisia – aineistojen käyttö on tärkeä osa asiakaskokemusta, ja sen onnistuminen ja aineistojen vastaaminen omiin tarpeisiin vaikuttaa asiakastyytyväisyyteen kokonaisuutena.
Tarkasteltaessa kuvan 3 aineistoa voidaan todeta, että elektronisten aineistojen käyttö on kasvanut valtavasti vuoden 2008 jälkeen. Tarkasteltavien muuttujien arvot käyvät ilmi taulukosta 1.
Tarkasteltavan aineiston selkeä viesti näyttää olevan elektronisten aineistojen käytön voimakas kasvu ja kustannusten pysyminen kohtuullisina suureen käyttöön nähden. Samaan aikaan asiakastyytyväisyys on pysynyt korkealla tasolla, jopa hieman kasvanut.
| Mittari | 2006 | 2008 | 2010 | 2013 |
|---|---|---|---|---|
| Asiakastyytyväisyys | 3,7 | 3,7 | 4,0 | 3,9 |
| Lataukset (milj.) | 0,5 | 1,5 | 5,5 | 9,4 |
| Nimekkeet (milj.) | 1,3 | 2,2 | 1,6 | 2,3 |
| Kustannukset (milj.) | 1,4 | 1,7 | 2,1 | 2,4 |
| Paikallislainat (milj.) | 1,8 | 1,6 | 1,4 | 1,2 |
Elektronisten aineistojen käytön huomattava kasvupiikki ammattikorkeakouluissa ansaitsee lähemmän tarkastelun. Elektronisia kirjoja on hankittu ja niiden käyttöä on tilastoitu laajamittaisesti vasta vuodesta 2009 lukien. Lähempi tarkastelu osoittaa, että latausmäärän voimakas kasvu johtuu elektronisten kirjojen käytöstä: elektronisten lehtien käytön kasvu taittui samaan aikaan elektronisten kirjojen tulon myötä, ja vuodesta 2009 aineistolatausten kasvu selittyy ensisijaisesti elektronisten kirjojen käytöllä (kuva 4).
Elektronisia aineistoja voidaan amk-sektorilla hyvällä syyllä pitää menestystarinana. Kulut ovat kasvaneet maltillisesti suhteessa käyttöön, ja voitaneen olettaa, että onnistuneilla aineiston valinnoilla on osuutensa siihen, että asiakastyytyväisyys on pysynyt korkealla tasolla, jopa hieman kasvanut. Voidaan siis puhua ”kustannustehokkaasta vaikuttavuudesta”.
Vastaavaa menestystarinaa on yliopistokirjastoissa vaikeampi osoittaa, koska vertailukelpoista dataa, jossa on mukana myös asiakastyytyväisyys, on vasta vuosilta 2010 ja 2013.
Verrattaessa vastaavia tietoja yliopistokirjastoissa vuosina 2010 ja 2013 voidaan todeta elektronisten aineistojen käytön, määrän ja kustannusten lisääntyminen, mutta asiakastyytyväisyys näihin aineistoihin oli kuitenkin vuonna 2013 hieman alemmalla tasolla kuin vuonna 2010. Toki e-aineistojen käyttö on yliopistoissakin kasvanut suhteellisesti enemmän kuin niiden kulut. (Kuva 5).
Havaittu asiakastyytyväisyyden aleneminen asteikolla 1–5 oli 0,2 pistettä, mikä indeksiksi muunnettuna merkitsee neljän pisteen alenemaa (2010 indeksi 100,0 ja 2013 indeksi 95,9). Tämä ei ole vielä aivan tilastollisesti merkitsevää, mutta on jo huomion arvoista. Käytettävissä olleista tiedoista ei käynyt ilmi, mitä käyttäjäryhmää tyytyväisyyden aleneminen mahdollisesti koski vai olivatko asiakkaat kokonaisuutena vähemmän tyytyväisiä elektronisiin aineistoihin. Asia siis vaatii jatkoselvittelyä, sillä kysymykseen kirjaston elektronisten aineistojen vastaamisesta tarpeisiin oli kuitenkin ottanut kantaa noin 5000 vastaajaa (lisäksi kantansa jätti kertomatta tuhat vastaajaa).
Johtopäätöksiä – tulevaisuus haltuun
Kirjaston toimintojen arvioinnissa tulee olla aktiivinen ote: sitä tulee tehdä oma-aloitteisesti ja jatkuvasti, ei ainoastaan ”tarvittaessa” ja reaktiivisesti. Tulee siis pyrkiä proaktiivisuuteen: oman organisaation tuntemus ja näkemys alan kehittymisestä lähitulevaisuudessa yhdistettynä käytettävissä olevaan faktatietoon (niin määrälliseen kuin laadulliseenkin) antavat eväät organisaation toimintojen kehittämiselle.
Kirjastojen toimintaympäristön muutos on vähitellen johtanut siihen, että alan suuntaus on muuttunut aiemmista kokoelmaorientoituneista palveluista kohti sitä, että kirjaston edistetään kirjaston resurssien saatavuutta ja näiden uusien palvelujen vaikuttavuuden arviointia.
Arviointi kehittyy jatkuvasti, ja siitä näyttää tulevan yhä monimutkaisempaa, sillä avoin julkaiseminen eli niin sanottu Open Access -julkaiseminen (OA) ja vaihtoehtoisesti maksumuurin takana (lisensioidut aineistot) oleva julkaiseminen tuo oman mausteensa arvioinnin ja mittauksen haasteisiin. Tulee nähtäväksi, miten OA vaikuttaa kirjaston tai sen kehysorganisaation kustannuksiin. Selvää on ainoastaan se, että ”joku maksaa aina”. OA-julkaiseminen saattaa olla käyttäjälle ja aineiston tarjoajalle ilmaista, mutta ei julkaisijalle. Onko OA-julkaisemisessa kyse vain maksumuurin siirtymisestä toiseen paikkaan?
OA-maailma tuo myös uusia ulottuvuuksia digitaalisen kirjaston mittaamiseen: on vielä arvoitus, miten saadaan luotettavasti ja yhteismitallisesti tietoa aineistojen käytöstä OA-maailmassa. Kehitys on vasta alussa, mutta jo lähiaikoina tämä vaikuttaa sekä aineistojen käytön että kirjastojen talouden tunnuslukuihin.
Tunnuslukujen kehittäminen ja niiden ajantasaisuudesta huolehtiminen onkin jatkuva prosessi. Keskeisten indikaattorien määritteleminen toiminnan raportoimiseksi ja arvioimiseksi, oikean tiedon toimittaminen oikea-aikaisesti ja riittävien tilasto- ja raportointivalmiuksien hankkiminen kouluttautumalla ovat johtamisen ja toiminnan arvioinnin työkaluja, joiden avulla hankitaan tietoa päätöksenteon pohjaksi.
Valittavien indikaattorien tulee soveltua panoksen, tuotosten ja toiminnan tehokkuuden, mutta myös laadun ja arvon mittaukseen. Kun eri lähteistä kerättävää tietoa yhdistetään, tuotetaan uutta informaatiota kirjaston vaikuttavuudesta. Sitä hyödynnetään toiminnan kehittämisessä niin kirjastossa kuin sen kehysorganisaatiossakin.
ISO 16439 -standardin määritelmä vaikuttavuudesta on vahvasti yksinkertaistettu. Todellisuudessa vaikuttavuus on paljon vaikeammin mitattava ja abstraktimpi käsite kuin standardissa esitetty – voimme mitata tarkasti esimerkiksi informaatiolukutaidon kehittymistä (yksilössä tai ryhmässä tapahtunut muutos) tekemällä testin ennen ja jälkeen valmennuksen, mutta informaatiolukutaidon paranemisen ansiosta johtuvan vaikutuksen arviointi on käytännössä jopa mahdotonta. Vaikuttavuudella tarkoitetaankin laajempaa yhteiskunnallista vaikutusta, joka on seurausta vaikutuksesta – paljonko yksilön tai ryhmän tuottavuus työelämässä parani kehittyneen IL-taidon ansiosta?
Aiheen pitäminen esillä arvioinnissa on kuitenkin tärkeää, ja siksi kirjasto- ja informaatiopalvelun tuloksen, arvon ja hyödyn osoittamisessa tulee painottaa juuri toiminnan vaikuttavuutta ja sen mittaamista ja osoittamista.
Tilastojen keruusta on jo paljon ohjeistusta, ja ehkä ylhäältä alaspäin -ohjaus on vielä nykyään voimakkaampaa kuin alhaalta ylöspäin -lähestymistapa. Itse asiassa molemmat ovat tarpeen, sillä kirjaston ja sen kehysorganisaation johto asettavat kirjaston vision ja strategian sekä määrittävät rahoituksen tason ja toiminnan puitteet. Toisaalta asiantuntemus, luovia ideoita ja aloitteita menetelmiksi, joita voisi soveltaa kirjaston suorituskyvyn kehittämisessä ja vaikutusten arvioinnin mittaamisessa, saadaan kirjaston asiantuntijatyötä tekeviltä ja muilta ammattilaisilta. Tasapaino näiden kahden lähestymistavan välillä löydetään keskustelujen avulla. Keskinäinen ymmärrys on lähtökohtana tehtäessä kirjaston toiminnan ja vaikuttavuuden arviointia.
Lähteet
- ISO 16439:2014(E): Information and documentation -Methods and procedures for assessing the impact of libraries. International Organization for Standardization. Genova 2014.
- Ollikainen, Jyrki, Janne Suhonen & Jari Tyrväinen (toim.) 2004: Risut ja ruusut – Ammattikorkeakoulukirjastojen asiakastyytyväisyyskyselyn loppuraportti. Pirkanmaan ammattikorkeakoulun julkaisuja. Sarja A. Tutkimuksia 7. Pirkanmaan ammattikorkeakoulu. Tampere 2004.
- SFS-ISO 2789:2013: Tieto ja dokumentointi – Kirjastojen kansainvälinen tilastostandardi. Suomen Standardisoimisliitto SFS ry. Helsinki 2015.
- Tieteellisten kirjastojen kansalliset käyttäjäkyselyt. http://www.kansalliskirjasto.fi/fi/kirjastoala/kayttajakyselyt.html
- Tieteellisten kirjastojen yhteistilasto (KITT) 2002–2014. Saatavilla osoitteessa https://yhteistilasto.lib.helsinki.fi
