Temat: Ocena szkolenia, raport z ankiet ewaluacyjnych
Artur Kucharski:
Mam pytanie Panowie.
Czy Wasze testy zostały zmierzone pod kątem rzetelności i trafności. Interesuje mnie ten wątek. Są to Wasze dzieła czy też testy przetłumaczone lub stworzone przez innych.
Miłego
Odpowiem najprościej jak można a ponieważ nie mam pewności, którego serwisu dotyczy pytanie, więc odniosę się do obydwu. Jestem menedżerem projektów i udziałowcem w firmie, która żyje z tworzenia usług świadczonych elektronicznie głównie na rzecz HR. Jestem projektantem dedykowanych aplikacji, a oprogramowanie do obróbki ankiet oceny z ankiet ewaluacji szkoleń tak naprawdę napisałem w 2 dni i miało ono wspierać jedną z naszych zaprzyjaźnionych firm szkoleniowych w obróbce statystycznej ocen ich trenerów. Wprawdzie fizyka komputerowa, którą kończyłem traktowana była na UMK jako odłam fizyki teoretycznej, ale doświadczenia zdobywałem w laboratoriach doświadczalnych i stąd miłość do statystyki.
1. Ocena szkolenia: Mówienie o standaryzacji nie wydaje mi się w tym przypadku zasadne, bo model sprowadza się do określenia średniej, mediany ewentualnie histogramu z rezultatów. W wersji, którą używamy w firmie nakładam na to ewolucje rezultatów w czasie. W narzędzie włożyłem prosty model stosowany przez nas, ale dostosowanie dowolnego innego to kwestia 2-3 godzin.
2. Ocena 360 stopni. Oprogramowanie rozwijam od blisko 5 lat. To już w praktyce 3 wersja. Zmiany w kolejnych wynikały z potrzeb respondentów.
W narzędziu bazodanowym osadzony dziś jest model, który używamy od początku i który systematycznie był poddawany korektom. Mniej więcej raz w roku dokonywałem oszacowania średnich wyników otrzymanych odpowiedzi z ankiet, patrzyłem na rozkład wyników i w wyniku rozmów z konsultantami merytorycznymi dokonywaliśmy korekt w treści zachowań w taki sposób, by jak najlepiej odwzorować rozkład normalny dla kompetencji (15 zachowań w kompetencji) oraz tak, by uśrednić poziom wszystkich kompetencji. Innymi słowy, standaryzacja nie przebiegała na poziomie zachowań, tylko ich agregacji (to podejście poprawiało nam statystykę rozkładów odpowiedzi z ankiet; zrobienie jej dla poszczególnych zachowań obarczone byłoby większym błędem, a wprowadzenia poprawek S.-F. przy trudno określonym poziomie ufności byłoby nieuzasadnione). Oczywiście problem pojawiał się, gdy dana firma życzyła sobie innej skali ocen (np. 7); w takim przypadku wyniki nie były brane do standaryzacji.
Wydaje się, że cel udało nam się osiągnąć. Rocznie wykonujemy kilka badań w oparciu o ten model i wyniki wydają się być spójne. Pochwalę się, że korzystają z niego m.in. firmy FMCG, których reklamy codziennie emituje TV; choćby teraz prowadzimy takie badanie.
W praktyce, gros organizacji korzysta w własnego modelu, a o ich jakości trudno mi tu dyskutować. Po prostu jako programista narzędzi bazodanowych osadzam go w systemie akwizycji danych empirycznych i następnie przetwarzam dane zgodnie z potrzebami organizacji w raporcie.
Mam nadzieję, że precyzyjnie odpowiedziałem, więcej informacji mogę podać telefonicznie (numer w profilu).
пропозиції роботи
