Ocena programu nauczania i wykładowców ma kluczowe znaczenie dla wszystkich instytucji szkolnictwa wyższego, w tym szkół medycznych.Ewaluacje uczniów dotyczące nauczania (SET) zazwyczaj przyjmują formę anonimowych kwestionariuszy i choć pierwotnie zostały opracowane w celu oceny kursów i programów, z czasem zaczęto je również wykorzystywać do pomiaru efektywności nauczania, a następnie do podejmowania ważnych decyzji związanych z nauczaniem.Rozwój zawodowy nauczyciela.Jednakże pewne czynniki i uprzedzenia mogą wpływać na wyniki SET, a efektywności nauczania nie można zmierzyć obiektywnie.Chociaż literatura na temat oceny kursów i wydziałów w ogólnym szkolnictwie wyższym jest dobrze ugruntowana, istnieją obawy dotyczące stosowania tych samych narzędzi do oceny kursów i wykładowców w programach medycznych.W szczególności metody SET w szkolnictwie wyższym nie można bezpośrednio zastosować do projektowania i wdrażania programów nauczania w szkołach medycznych.Przegląd ten zawiera przegląd możliwości ulepszenia SET na poziomie instrumentu, zarządzania i interpretacji.Ponadto w artykule wskazano, że dzięki zastosowaniu różnych metod, takich jak ocena partnerska, grupy fokusowe i samoocena w celu gromadzenia i triangulacji danych z wielu źródeł, w tym uczniów, rówieśników, kierowników programów i samoświadomości, kompleksowy system oceny może zostać zbudowane.Skutecznie mierz efektywność nauczania, wspieraj rozwój zawodowy pedagogów medycznych i podnoś jakość nauczania w szkolnictwie medycznym.
Ocena kursów i programów jest procesem wewnętrznej kontroli jakości we wszystkich uczelniach, w tym w szkołach medycznych.Ocena nauczania przez uczniów (SET) zwykle ma formę anonimowego kwestionariusza papierowego lub internetowego, w którym wykorzystuje się skalę ocen, taką jak skala Likerta (zwykle pięć, siedem lub więcej), która pozwala ludziom wskazać swoją zgodę lub stopień zgodności.Nie zgadzam się z konkretnymi stwierdzeniami) [1,2,3].Chociaż SET zostały pierwotnie opracowane w celu ewaluacji kursów i programów, z biegiem czasu zaczęto je również wykorzystywać do pomiaru efektywności nauczania [4, 5, 6].Efektywność nauczania jest uważana za ważną, ponieważ zakłada się, że istnieje pozytywny związek pomiędzy efektywnością nauczania a nauką uczniów [7].Choć w literaturze nie definiuje się jednoznacznie efektywności szkolenia, zazwyczaj określa się ją poprzez specyficzne cechy szkolenia, takie jak „interakcja w grupie”, „przygotowanie i organizacja”, „informacja zwrotna dla uczniów” [8].
Informacje uzyskane z SET mogą dostarczyć przydatnych informacji, np. czy istnieje potrzeba dostosowania materiałów dydaktycznych lub metod nauczania stosowanych w danym kursie.SET służy także do podejmowania ważnych decyzji związanych z rozwojem zawodowym nauczyciela [4,5,6].Jednak zasadność takiego podejścia budzi wątpliwości, gdy instytucje szkolnictwa wyższego podejmują decyzje dotyczące kadry, takie jak awans na wyższe stopnie akademickie (często powiązane ze stażem pracy i podwyżkami wynagrodzeń) oraz kluczowe stanowiska administracyjne w uczelni [4, 9].Ponadto instytucje często wymagają od nowych wykładowców uwzględnienia SET z poprzednich instytucji w swoich podaniach o nowe stanowiska, wpływając w ten sposób nie tylko na awanse kadry w instytucji, ale także na potencjalnych nowych pracodawców [10].
Chociaż literatura na temat programów nauczania i oceny nauczycieli jest dobrze ugruntowana w ogólnokształcącym szkolnictwie wyższym, nie jest tak w przypadku medycyny i opieki zdrowotnej [11].Program nauczania i potrzeby pedagogów medycznych różnią się od tych w szkolnictwie wyższym ogólnokształcącym.Na przykład uczenie się zespołowe jest często wykorzystywane w zintegrowanych kursach edukacji medycznej.Oznacza to, że program nauczania w szkole medycznej składa się z szeregu kursów prowadzonych przez wielu członków wydziału, którzy posiadają przeszkolenie i doświadczenie w różnych dyscyplinach medycznych.Chociaż w ramach tej struktury uczniowie korzystają z dogłębnej wiedzy ekspertów w danej dziedzinie, często stają przed wyzwaniem dostosowania się do różnych stylów nauczania każdego nauczyciela [1, 12, 13, 14].
Chociaż istnieją różnice między ogólnym szkolnictwem wyższym a wykształceniem medycznym, SET używany w tym pierwszym jest czasami używany również na kursach medycyny i opieki zdrowotnej.Jednakże wdrażanie SET w ogólnym szkolnictwie wyższym stwarza wiele wyzwań w zakresie programu nauczania i oceny kadry w programach dla pracowników służby zdrowia [11].W szczególności, ze względu na różnice w metodach nauczania i kwalifikacjach nauczycieli, wyniki oceny zajęć mogą nie uwzględniać opinii studentów na temat wszystkich nauczycieli lub klas.Badania przeprowadzone przez Uytenhaage i O'Neill (2015) [5] sugerują, że proszenie uczniów o ocenę wszystkich poszczególnych nauczycieli na koniec kursu może być niewłaściwe, ponieważ jest prawie niemożliwe, aby uczniowie zapamiętali i skomentowali oceny wielu nauczycieli.kategorie.Ponadto wielu nauczycieli edukacji medycznej to także lekarze, dla których nauczanie stanowi jedynie niewielką część ich obowiązków [15, 16].Ponieważ zajmują się przede wszystkim opieką nad pacjentami, a w wielu przypadkach badaniami, często mają mało czasu na rozwijanie swoich umiejętności dydaktycznych.Jednak lekarze jako nauczyciele powinni otrzymywać czas, wsparcie i konstruktywne informacje zwrotne od swoich organizacji [16].
Studenci medycyny to zazwyczaj osoby bardzo zmotywowane i ciężko pracujące, którym udało się dostać na studia medyczne (w drodze konkurencyjnego i wymagającego procesu o zasięgu międzynarodowym).Ponadto w trakcie studiów medycznych od studentów medycyny oczekuje się zdobycia dużej wiedzy i rozwinięcia dużej liczby umiejętności w krótkim czasie, a także pomyślnego przejścia skomplikowanych ocen wewnętrznych i kompleksowych ocen ogólnokrajowych [17,18,19 ,20].Zatem ze względu na wysokie standardy wymagane od studentów medycyny, studenci medycyny mogą być bardziej krytyczni i mieć wyższe oczekiwania co do wysokiej jakości nauczania niż studenci innych dyscyplin.Zatem studenci medycyny mogą mieć niższe oceny od swoich profesorów w porównaniu ze studentami innych dyscyplin z powodów wymienionych powyżej.Co ciekawe, wcześniejsze badania wykazały pozytywny związek między motywacją uczniów a indywidualną oceną nauczyciela [21].Ponadto w ciągu ostatnich 20 lat większość programów nauczania w szkołach medycznych na całym świecie została zintegrowana pionowo [22], dzięki czemu studenci mają kontakt z praktyką kliniczną od najwcześniejszych lat studiów.Dlatego w ciągu ostatnich kilku lat lekarze w coraz większym stopniu angażują się w kształcenie studentów medycyny, potwierdzając, już na początku swoich programów, znaczenie opracowania SET dostosowanych do konkretnych populacji wykładowców [22].
Ze względu na wspomnianą specyfikę kształcenia medycznego, SET stosowane do oceny przedmiotów ogólnokształcących na poziomie wyższym prowadzonych przez jednego pracownika wydziału powinny być przystosowane do oceny zintegrowanego programu nauczania i wydziału klinicznego programów medycznych [14].Dlatego istnieje potrzeba opracowania skuteczniejszych modeli SET i kompleksowych systemów oceny w celu skuteczniejszego zastosowania w edukacji medycznej.
W bieżącym przeglądzie opisano najnowsze postępy w wykorzystaniu SET w (ogólnym) szkolnictwie wyższym i jego ograniczenia, a następnie nakreślono różne potrzeby SET dla kursów i wykładowców edukacji medycznej.Przegląd ten dostarcza aktualnych informacji na temat możliwości ulepszenia SET na poziomie instrumentalnym, administracyjnym i interpretacyjnym i koncentruje się na celach, jakimi są opracowanie skutecznych modeli SET i kompleksowych systemów oceniania, które będą skutecznie mierzyć skuteczność nauczania, wspierać rozwój zawodowych edukatorów zdrowotnych i poprawiać jakość nauczania w kształceniu medycznym.
Niniejsze badanie jest kontynuacją badania Greena i in.(2006) [23] w celu uzyskania porady oraz Baumeister (2013) [24] w celu uzyskania porady w zakresie pisania recenzji narracyjnych.Postanowiliśmy napisać recenzję narracyjną na ten temat, ponieważ tego typu recenzja pozwala przedstawić szeroką perspektywę na ten temat.Co więcej, ponieważ recenzje narracyjne czerpią z badań zróżnicowanych metodologicznie, pomagają odpowiedzieć na szersze pytania.Ponadto komentarz narracyjny może pomóc pobudzić do myślenia i dyskusji na dany temat.
W jaki sposób SET jest wykorzystywany w edukacji medycznej i jakie są wyzwania w porównaniu z SET stosowanym w ogólnym szkolnictwie wyższym,
Przeszukano bazy danych Pubmed i ERIC, stosując kombinację wyszukiwanych haseł „ewaluacja nauczania studentów”, „efektywność nauczania”, „edukacja medyczna”, „szkolnictwo wyższe”, „ocena programów nauczania i wydziałów”, a w przypadku Peer Review 2000 – operatorów logicznych. .artykuły opublikowane w latach 2021–2021. Kryteria włączenia: Uwzględniono badania oryginalne lub artykuły poglądowe, a badania te dotyczyły obszarów objętych trzema głównymi pytaniami badawczymi.Kryteria wykluczenia: Badania w języku innym niż angielski lub badania, w których nie można było znaleźć pełnotekstowych artykułów lub które nie były istotne dla trzech głównych pytań badawczych, zostały wyłączone z niniejszego dokumentu przeglądowego.Po wybraniu publikacji podzielono je na następujące tematy i powiązane z nimi podtematy: (a) Zastosowanie SET w ogólnokształcącym szkolnictwie wyższym i jego ograniczenia, (b) Zastosowanie SET w edukacji medycznej i jego znaczenie w rozwiązywaniu problemów związanych z porównywaniem SET (c ) Doskonalenie SET na poziomie instrumentalnym, kierowniczym i interpretacyjnym w celu opracowania skutecznych modeli SET.
Rysunek 1 przedstawia schemat wybranych artykułów uwzględnionych i omówionych w bieżącej części przeglądu.
SET był tradycyjnie stosowany w szkolnictwie wyższym, a temat ten został dobrze zbadany w literaturze [10, 21].Jednakże w dużej liczbie badań zbadano ich liczne ograniczenia i wysiłki mające na celu ich zaradzenie.
Badania pokazują, że na wyniki SET wpływa wiele zmiennych [10, 21, 25, 26].Dlatego ważne jest, aby administratorzy i nauczyciele rozumieli te zmienne podczas interpretacji i wykorzystywania danych.Następna sekcja zawiera krótki przegląd tych zmiennych.Rysunek 2 przedstawia niektóre czynniki wpływające na wyniki SET, które opisano szczegółowo w kolejnych sekcjach.
W ostatnich latach wzrosło wykorzystanie zestawów internetowych w porównaniu z zestawami papierowymi.Dowody dostępne w literaturze sugerują jednak, że SET online można ukończyć bez poświęcania przez uczniów niezbędnej uwagi procesowi ukończenia.W ciekawym badaniu przeprowadzonym przez Uitdehaage i O'Neill [5] do SET dodano nieistniejących nauczycieli, a wielu uczniów przekazało uwagi [5].Co więcej, dane z literatury sugerują, że studenci często wierzą, że ukończenie SET nie prowadzi do poprawy wyników w nauce, co w połączeniu z napiętym harmonogramem studentów medycyny może skutkować niższym odsetkiem odpowiedzi [27].Choć badania pokazują, że opinie uczniów przystępujących do testu nie różnią się od opinii całej grupy, niski odsetek odpowiedzi może w dalszym ciągu skłonić nauczycieli do mniej poważnego traktowania wyników [28].
Większość zestawów SET online jest wypełniana anonimowo.Ideą jest umożliwienie uczniom swobodnego wyrażania swoich opinii, bez założenia, że ich wyrażenie będzie miało jakikolwiek wpływ na ich przyszłe relacje z nauczycielami.W badaniu Alfonso i wsp. [29] badacze wykorzystali anonimowe oceny oraz oceny, w których oceniający musieli podać swoje nazwiska (oceny publiczne), aby ocenić skuteczność nauczania kadry uczelni medycznej przez rezydentów i studentów medycyny.Wyniki pokazały, że nauczyciele na ogół osiągali niższe wyniki w anonimowych ocenach.Autorzy argumentują, że uczniowie są bardziej uczciwi w anonimowych ocenach ze względu na pewne bariery w otwartych ocenach, takie jak zerwane relacje zawodowe z uczestniczącymi nauczycielami [29].Należy jednak również zauważyć, że anonimowość często kojarzona z SET online może prowadzić do braku szacunku i odwetu niektórych uczniów wobec instruktora, jeśli wyniki ocen nie spełniają oczekiwań uczniów [30].Badania pokazują jednak, że uczniowie rzadko przekazują obraźliwe informacje zwrotne, a te ostatnie można dodatkowo ograniczyć, ucząc ich, jak przekazywać konstruktywną informację zwrotną [30].
Kilka badań wykazało, że istnieje korelacja pomiędzy wynikami uczniów w teście SET, ich oczekiwaniami dotyczącymi wyników w testach i satysfakcją z testów [10, 21].Na przykład Strobe (2020) [9] podał, że uczniowie nagradzają łatwe przedmioty, a nauczyciele słabe oceny, co może zachęcać do słabego nauczania i prowadzić do inflacji ocen [9].W niedawnym badaniu Looi i wsp.(2020) [31] Naukowcy zgłosili, że korzystniejsze SET są ze sobą powiązane i łatwiejsze do oceny.Co więcej, istnieją niepokojące dowody na to, że SET jest odwrotnie powiązany z wynikami uczniów na kolejnych kursach: im wyższa ocena, tym gorsze wyniki uczniów na kolejnych kursach.Cornell i in.(2016)[32] przeprowadzili badanie, aby sprawdzić, czy studenci uczą się stosunkowo więcej od nauczycieli, których SET ocenili wysoko.Wyniki pokazują, że w przypadku oceny uczenia się na koniec kursu nauczyciele z najwyższymi ocenami również przyczyniają się do nauki większości uczniów.Jeśli jednak naukę mierzy się wynikami w kolejnych odpowiednich kursach, najskuteczniejsi są nauczyciele, którzy uzyskują stosunkowo niskie wyniki.Badacze postawili hipotezę, że zwiększenie poziomu trudności kursu w produktywny sposób może obniżyć oceny, ale poprawić proces uczenia się.Dlatego oceny uczniów nie powinny być jedyną podstawą ewaluacji nauczania, ale powinny być uwzględniane.
Kilka badań pokazuje, że na wyniki SET wpływa sam kurs i jego organizacja.Ming i Baozhi [33] odkryli w swoim badaniu, że istnieją istotne różnice w wynikach SET wśród uczniów z różnych przedmiotów.Na przykład nauki kliniczne mają wyższe wyniki SET niż nauki podstawowe.Autorzy wyjaśnili, że dzieje się tak dlatego, że studenci medycyny są zainteresowani pracą lekarzy i dlatego mają osobiste zainteresowania i większą motywację do częstszego uczestnictwa w kursach z zakresu nauk klinicznych w porównaniu z kursami z nauk podstawowych [33].Podobnie jak w przypadku przedmiotów do wyboru, motywacja uczniów do przedmiotu również ma pozytywny wpływ na uzyskiwane wyniki [21].Kilka innych badań również potwierdza, że rodzaj kursu może wpływać na wyniki SET [10, 21].
Co więcej, inne badania wykazały, że im mniejsza liczebność klas, tym wyższy poziom SET osiągany przez nauczycieli [10, 33].Jednym z możliwych wyjaśnień jest to, że mniejsze liczebności klas zwiększają możliwości interakcji nauczyciel-uczeń.Ponadto warunki, w jakich przeprowadzana jest ocena, mogą mieć wpływ na jej wyniki.Na przykład na wyniki SET wydaje się mieć wpływ godzina i dzień zajęć, a także dzień tygodnia, w którym SET jest ukończony (np. oceny przeprowadzane w weekendy zwykle dają więcej pozytywnych wyników) niż oceny ukończone wcześniej w tym tygodniu.[10].
Ciekawe badanie przeprowadzone przez Hesslera i wsp. również kwestionuje skuteczność SET.[34].W tym badaniu przeprowadzono randomizowaną, kontrolowaną próbę na kursie medycyny ratunkowej.Studenci trzeciego roku medycyny zostali losowo przydzieleni do grupy kontrolnej lub do grupy, która otrzymała bezpłatne ciasteczka z kawałkami czekolady (grupa ciasteczek).Wszystkie grupy były prowadzone przez tych samych nauczycieli, a treść zajęć i materiały szkoleniowe były dla obu grup identyczne.Po zakończeniu zajęć wszyscy studenci zostali poproszeni o wykonanie zestawu.Wyniki pokazały, że grupa „cookie” oceniła nauczycieli znacznie lepiej niż grupa kontrolna, co podważa skuteczność SET [34].
Dowody z literatury również potwierdzają, że płeć może wpływać na wyniki SET [35,36,37,38,39,40,41,42,43,44,45,46].Na przykład niektóre badania wykazały związek między płcią uczniów a wynikami ocen: studentki uzyskały wyższe wyniki niż studenci [27].Większość dowodów potwierdza, że uczniowie oceniają nauczycielki niżej niż nauczycieli [37, 38, 39, 40].Na przykład Boring i in.[38] wykazali, że zarówno studentki, jak i studentki wierzyły, że mężczyźni mają większą wiedzę i silniejsze zdolności przywódcze niż kobiety.Fakt, że płeć i stereotypy wpływają na SET, potwierdzają także badania MacNella i in.[41], który podał, że studenci biorący udział w jego badaniu oceniali nauczycielki niżej niż nauczyciele w różnych aspektach nauczania [41].Co więcej, Morgan i wsp. [42] przedstawili dowody na to, że kobiety-lekarki otrzymywały niższe oceny w nauczaniu w czterech głównych rotacjach klinicznych (chirurgia, pediatria, położnictwo i ginekologia oraz choroby wewnętrzne) w porównaniu z lekarzami płci męskiej.
W badaniu Murraya i wsp. (2020) [43] badacze podali, że atrakcyjność wydziału i zainteresowanie studentów kursami były powiązane z wyższymi wynikami SET.I odwrotnie, trudność kursu jest powiązana z niższymi wynikami SET.Ponadto studenci przyznali wyższe wyniki w badaniu SET młodym białym nauczycielom nauk humanistycznych oraz wykładowcom posiadającym tytuł profesora zwyczajnego.Nie stwierdzono korelacji pomiędzy ocenami nauczania SET a wynikami ankiet wśród nauczycieli.Inne badania również potwierdzają pozytywny wpływ atrakcyjności fizycznej nauczycieli na wyniki ocen [44].
Clayson i in.(2017) [45] podali, że chociaż panuje powszechna zgoda co do tego, że SET daje wiarygodne wyniki i że średnie klasy i nauczycieli są spójne, w odpowiedziach poszczególnych uczniów nadal występują niespójności.Podsumowując, wyniki niniejszego raportu oceniającego wskazują, że uczniowie nie zgodzili się z tym, o co ich poproszono.Miary wiarygodności uzyskane na podstawie ocen uczniów dotyczących nauczania nie są wystarczające, aby stanowić podstawę do ustalenia ważności.Dlatego SET może czasami dostarczać informacji o uczniach, a nie o nauczycielach.
SET edukacji zdrowotnej różni się od tradycyjnego SET, ale pedagodzy często korzystają z SET dostępnego w ogólnym szkolnictwie wyższym, a nie SET specyficznego dla programów zawodów medycznych opisywanych w literaturze.Jednak badania prowadzone na przestrzeni lat zidentyfikowały kilka problemów.
Jones i in. (1994).[46] przeprowadzili badanie, którego celem było ustalenie, w jaki sposób oceniać kadrę pedagogiczną uczelni medycznych z perspektywy wykładowców i administratorów.Ogólnie rzecz biorąc, najczęściej wymieniane zagadnienia związane są z ewaluacją nauczania.Najczęstsze były ogólne skargi dotyczące nieadekwatności obecnych metod oceny wyników, przy czym respondenci zgłaszali także konkretne skargi dotyczące SET i braku uznawania nauczania w akademickich systemach nagradzania.Inne zgłaszane problemy obejmowały niespójne procedury oceny i kryteria awansów w poszczególnych działach, brak regularnych ocen oraz brak powiązania wyników ocen z wynagrodzeniami.
Royal i wsp. (2018) [11] przedstawiają niektóre ograniczenia stosowania SET do oceny programów nauczania i kadry w programach dla pracowników służby zdrowia w ogólnym szkolnictwie wyższym.Badacze podają, że SET w szkolnictwie wyższym stoi przed różnymi wyzwaniami, ponieważ nie można go bezpośrednio zastosować do projektowania programów nauczania i nauczania przedmiotów w szkołach medycznych.Często zadawane pytania, w tym pytania dotyczące prowadzącego i kursu, często są łączone w jedną ankietę, przez co studenci często mają problem z ich rozróżnieniem.Ponadto kursy w ramach programów medycznych są często prowadzone przez wielu wykładowców.Rodzi to pytania o zasadność, biorąc pod uwagę potencjalnie ograniczoną liczbę interakcji między uczniami i nauczycielami, ocenioną przez Royal i in.(2018) [11].W badaniu przeprowadzonym przez Hwanga i in.(2017) [14] badacze zbadali koncepcję, w jaki sposób retrospektywne oceny kursów kompleksowo odzwierciedlają postrzeganie przez studentów kursów różnych instruktorów.Ich wyniki sugerują, że zindywidualizowana ocena zajęć jest konieczna do zarządzania wielowydziałowymi kursami w ramach zintegrowanego programu nauczania szkoły medycznej.
Uitdehaage i O'Neill (2015) [5] zbadali, w jakim stopniu studenci medycyny celowo korzystali z SET w ramach zajęć wielowydziałowych.W każdym z dwóch kursów przedklinicznych uczestniczył fikcyjny instruktor.Studenci muszą udostępnić anonimowe oceny wszystkim instruktorom (w tym fikcyjnym instruktorom) w ciągu dwóch tygodni od ukończenia kursu, ale mogą odmówić oceny instruktora.W następnym roku sytuacja się powtórzyła, ale dołączono portret fikcyjnego wykładowcy.Sześćdziesiąt sześć procent uczniów oceniło wirtualnego instruktora bez podobieństwa, ale mniej uczniów (49%) oceniło wirtualnego instruktora, który wykazuje podobieństwo.Odkrycia te sugerują, że wielu studentów medycyny wypełnia testy SET na ślepo, nawet jeśli towarzyszą im zdjęcia, bez dokładnego rozważenia, kogo oceniają, nie mówiąc już o pracy instruktora.Utrudnia to poprawę jakości programów i może mieć szkodliwy wpływ na postępy akademickie nauczycieli.Badacze proponują ramy oferujące radykalnie odmienne podejście do SET, które aktywnie i aktywnie angażuje uczniów.
Istnieje wiele innych różnic w programie nauczania programów medycznych w porównaniu z innymi ogólnymi programami szkolnictwa wyższego [11].Edukacja medyczna, podobnie jak profesjonalna edukacja zdrowotna, jest wyraźnie nastawiona na rozwój jasno określonych ról zawodowych (praktyka kliniczna).W rezultacie programy nauczania w zakresie medycyny i zdrowia stają się bardziej statyczne, z ograniczonym wyborem kursów i wykładowców.Co ciekawe, kursy edukacji medycznej są często oferowane w formie kohortowej, gdzie wszyscy studenci biorą udział w tym samym kursie w tym samym czasie w każdym semestrze.Dlatego też zapisanie dużej liczby uczniów (zwykle n = 100 lub więcej) może mieć wpływ na format nauczania, a także na relację nauczyciel-uczeń.Co więcej, w wielu szkołach medycznych właściwości psychometryczne większości narzędzi nie są oceniane przy pierwszym użyciu, a właściwości większości narzędzi mogą pozostać nieznane [11].
Kilka badań przeprowadzonych w ciągu ostatnich kilku lat dostarczyło dowodów na to, że SET można ulepszyć poprzez uwzględnienie kilku ważnych czynników, które mogą mieć wpływ na skuteczność SET na poziomie instrumentalnym, administracyjnym i interpretacyjnym.Rysunek 3 pokazuje niektóre kroki, które można zastosować do stworzenia efektywnego modelu SET.Poniższe sekcje zawierają bardziej szczegółowy opis.
Udoskonalaj SET na poziomie instrumentalnym, kierowniczym i interpretacyjnym, aby opracować skuteczne modele SET.
Jak wspomniano wcześniej, literatura potwierdza, że uprzedzenia związane z płcią mogą wpływać na oceny nauczycieli [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46].Petersona i in.(2019) [40] przeprowadzili badanie, w którym sprawdzano, czy płeć uczniów wpływa na ich reakcje na wysiłki łagodzące uprzedzenia.W tym badaniu SET przeprowadzono w czterech klasach (dwóch prowadzonych przez nauczycieli płci męskiej i dwóch prowadzonych przez nauczycielki).W ramach każdego kursu studenci byli losowo przydzielani do otrzymania standardowego narzędzia oceny lub tego samego narzędzia, ale używającego języka zaprojektowanego w celu ograniczenia uprzedzeń związanych z płcią.Badanie wykazało, że uczniowie, którzy korzystali z narzędzi oceny przeciwdziałającej stronniczości, przyznawali nauczycielkom znacznie wyższe wyniki w badaniu SET niż uczniowie, którzy korzystali ze standardowych narzędzi oceniania.Co więcej, nie stwierdzono różnic w ocenach nauczycieli płci męskiej pomiędzy obiema grupami.Wyniki tego badania są znaczące i pokazują, jak stosunkowo prosta interwencja językowa może zmniejszyć uprzedzenia związane z płcią w ocenach nauczania przez uczniów.Dlatego dobrą praktyką jest dokładne rozważenie wszystkich SET i używanie języka w celu ograniczenia uprzedzeń związanych z płcią w ich rozwoju [40].
Aby uzyskać przydatne wyniki z dowolnego zestawu SET, ważne jest, aby z wyprzedzeniem dokładnie rozważyć cel oceny i sformułowanie pytań.Chociaż większość ankiet SET wyraźnie wskazuje sekcję dotyczącą aspektów organizacyjnych kursu, tj. „Ocenę kursu” i sekcję dotyczącą wydziału, tj. „Ocenę nauczyciela”, w niektórych ankietach różnica może nie być oczywista lub wśród studentów może wystąpić zamieszanie o tym, jak ocenić każdy z tych obszarów indywidualnie.Dlatego też projekt kwestionariusza musi być odpowiedni, wyjaśniać dwie różne części kwestionariusza i uświadamiać uczniom, co należy oceniać w każdym obszarze.Ponadto zaleca się przeprowadzenie testów pilotażowych w celu ustalenia, czy uczniowie interpretują pytania w zamierzony sposób [24].W badaniu przeprowadzonym przez Oermanna i in.(2018) [26] badacze przeszukali i zsyntetyzowali literaturę opisującą zastosowanie SET w szerokim zakresie dyscyplin w kształceniu na poziomie licencjackim i magisterskim, aby zapewnić nauczycielom wskazówki dotyczące stosowania SET w programach pielęgniarskich i innych pracowników służby zdrowia.Wyniki sugerują, że instrumenty SET należy ocenić przed użyciem, włączając w to pilotażowe testy instrumentów z uczniami, którzy mogą nie być w stanie zinterpretować elementów lub pytań instrumentu SET zgodnie z zamierzeniami instruktora.
W kilku badaniach sprawdzano, czy model zarządzania SET wpływa na zaangażowanie uczniów.
Daumier i in.(2004) [47] porównali oceny studentów dotyczące szkolenia instruktorskiego odbytego na zajęciach z ocenami zebranymi online, porównując liczbę odpowiedzi i ocen.Badania pokazują, że ankiety internetowe mają zazwyczaj niższy współczynnik odpowiedzi niż ankiety przeprowadzane w klasie.Badanie wykazało jednak, że oceny przeprowadzane online nie dawały znacząco odmiennych średnich ocen od ocen przeprowadzanych w tradycyjnych klasach.
Zgłoszono brak dwustronnej komunikacji między uczniami i nauczycielami podczas wypełniania zestawów SET dostępnych w Internecie (ale często drukowanych), co skutkowało brakiem możliwości wyjaśnienia.Dlatego znaczenie pytań, komentarzy lub ocen uczniów SET może nie zawsze być jasne [48].Niektóre instytucje rozwiązały ten problem, gromadząc uczniów razem na godzinę i przeznaczając określony czas na wypełnienie SET online (anonimowo) [49].W swoim badaniu Malone i in.(2018) [49] odbyli kilka spotkań, aby omówić ze studentami cel SET, kto będzie mógł poznać wyniki SET i sposób ich wykorzystania, a także wszelkie inne kwestie podnoszone przez uczniów.SET jest prowadzony podobnie jak grupa fokusowa: grupa zbiorowa odpowiada na pytania otwarte w drodze nieformalnego głosowania, debaty i wyjaśnień.Wskaźnik odpowiedzi wyniósł ponad 70–80%, zapewniając nauczycielom, administratorom i komisjom ds. programu nauczania obszerne informacje [49].
Jak wspomniano powyżej, w badaniu Uitdehaage i O'Neill [5] badacze podali, że uczniowie w swoim badaniu oceniali nieistniejących nauczycieli.Jak wspomniano wcześniej, jest to częsty problem na kursach w szkołach medycznych, gdzie każdego przedmiotu może prowadzić wielu wykładowców, ale studenci mogą nie pamiętać, kto przyczynił się do powstania każdego kursu lub co zrobił każdy z wykładowców.Niektóre instytucje rozwiązały ten problem, udostępniając zdjęcie każdego wykładowcy, jego imię i nazwisko oraz prezentowany temat/datę, aby odświeżyć wspomnienia uczniów i uniknąć problemów, które zagrażają skuteczności SET [49].
Być może najważniejszym problemem związanym z SET jest to, że nauczyciele nie są w stanie poprawnie zinterpretować ilościowych i jakościowych wyników SET.Niektórzy nauczyciele mogą chcieć dokonywać porównań statystycznych na przestrzeni lat, niektórzy mogą postrzegać niewielkie wzrosty/spadki średnich wyników jako znaczące zmiany, niektórzy chcą wierzyć w każde badanie, a jeszcze inni są wręcz sceptyczni w stosunku do każdego badania [45,50, 51].
Niewłaściwa interpretacja wyników lub nieuwzględnienie informacji zwrotnych od uczniów może wpłynąć na podejście nauczycieli do nauczania.Wyniki Lutovac i in.(2017) [52] Szkolenia nauczycieli wspierających są konieczne i korzystne, jeśli chodzi o przekazywanie uczniom informacji zwrotnej.Edukacja medyczna pilnie potrzebuje szkolenia w zakresie prawidłowej interpretacji wyników SET.Dlatego kadra uczelni medycznych powinna zostać przeszkolona w zakresie oceny wyników i ważnych obszarów, na których powinna się skupić [50, 51].
Zatem opisane wyniki sugerują, że SET należy starannie projektować, administrować i interpretować, aby zapewnić, że wyniki SET będą miały znaczący wpływ na wszystkich odpowiednich interesariuszy, w tym wykładowców, administratorów szkół medycznych i studentów.
Ze względu na pewne ograniczenia SET powinniśmy w dalszym ciągu dążyć do stworzenia kompleksowego systemu ewaluacji, aby zmniejszyć stronniczość w efektywności nauczania i wspierać rozwój zawodowy pedagogów medycznych.
Pełniejsze zrozumienie jakości nauczania na wydziałach klinicznych można uzyskać poprzez gromadzenie i triangulację danych z wielu źródeł, w tym studentów, współpracowników, administratorów programów i samoocen wykładowców [53, 54, 55, 56, 57].W poniższych sekcjach opisano możliwe inne narzędzia/metody, które można zastosować oprócz skutecznego SET, aby pomóc w opracowaniu bardziej odpowiedniego i pełnego zrozumienia efektywności szkolenia (Rysunek 4).
Metody, które można wykorzystać do opracowania kompleksowego modelu systemu oceny efektywności nauczania w szkole medycznej.
Grupę fokusową definiuje się jako „dyskusję grupową zorganizowaną w celu zbadania określonego zestawu zagadnień” [58].W ciągu ostatnich kilku lat uczelnie medyczne utworzyły grupy fokusowe, aby uzyskać od studentów opinie na temat jakości i zaradzić niektórym pułapkom SET online.Badania te pokazują, że grupy fokusowe skutecznie dostarczają wysokiej jakości informacji zwrotnych i zwiększają satysfakcję uczniów [59, 60, 61].
W badaniu Brundle'a i in.[59] Badacze wdrożyli proces grupowej oceny studentów, który umożliwił kierownikom kursów i studentom omawianie kursów w grupach fokusowych.Wyniki wskazują, że dyskusje w grupach fokusowych uzupełniają oceny online i zwiększają satysfakcję uczniów z ogólnego procesu oceny kursu.Studenci cenią sobie możliwość bezpośredniej komunikacji z dyrektorami kursów i wierzą, że proces ten może przyczynić się do poprawy edukacji.Mieli także poczucie, że rozumieją punkt widzenia dyrektora kursu.Oprócz studentów dyrektorzy kursów również ocenili, że grupy fokusowe ułatwiają skuteczniejszą komunikację ze studentami [59].Zatem wykorzystanie grup fokusowych może zapewnić szkołom medycznym pełniejsze zrozumienie jakości każdego kursu i efektywności nauczania na odpowiednim wydziale.Należy jednak zauważyć, że same grupy fokusowe mają pewne ograniczenia, takie jak niewielka liczba uczniów uczestniczących w nich w porównaniu z internetowym programem SET, który jest dostępny dla wszystkich studentów.Ponadto prowadzenie grup fokusowych w ramach różnych kursów może być procesem czasochłonnym dla doradców i studentów.Stwarza to znaczne ograniczenia, zwłaszcza dla studentów medycyny, którzy mają bardzo napięte harmonogramy i mogą odbywać staże kliniczne w różnych lokalizacjach geograficznych.Ponadto grupy fokusowe wymagają dużej liczby doświadczonych facylitatorów.Jednakże włączenie grup fokusowych do procesu ewaluacji może dostarczyć bardziej szczegółowych i konkretnych informacji na temat efektywności szkolenia [48, 59, 60, 61].
Schiekierka-Schwacke i in.(2018) [62] zbadali postrzeganie przez studentów i wykładowców nowego narzędzia do oceny wydajności wykładowców i efektów uczenia się studentów w dwóch niemieckich szkołach medycznych.Przeprowadzono dyskusje w grupach fokusowych i wywiady indywidualne z wykładowcami i studentami medycyny.Nauczyciele docenili osobiste informacje zwrotne dostarczane przez narzędzie oceniania, a uczniowie zgłosili, że należy stworzyć pętlę informacji zwrotnej, obejmującą cele i konsekwencje, aby zachęcić do zgłaszania danych dotyczących oceny.Wyniki tego badania potwierdzają zatem wagę zamykania obiegu komunikacji z uczniami i informowania ich o wynikach ocen.
Programy wzajemnej oceny nauczania (PRT) są bardzo ważne i wdrażane w szkolnictwie wyższym od wielu lat.PRT obejmuje wspólny proces obserwacji nauczania i przekazywania obserwatorowi informacji zwrotnej w celu poprawy efektywności nauczania [63].Ponadto ćwiczenia autorefleksji, ustrukturyzowane dyskusje uzupełniające i systematyczne przydzielanie przeszkolonych kolegów mogą pomóc w poprawie efektywności PRT i kultury nauczania na wydziale [64].Według doniesień programy te przynoszą wiele korzyści, ponieważ mogą pomóc nauczycielom w uzyskaniu konstruktywnej informacji zwrotnej od rówieśników, którzy mogli napotkać podobne trudności w przeszłości, a także mogą zapewnić większe wsparcie poprzez dostarczanie przydatnych sugestii dotyczących ulepszeń [63].Co więcej, jeśli zostanie konstruktywnie zastosowana, recenzja partnerska może ulepszyć treść kursu i metody jego realizacji, a także wesprzeć nauczycieli medycyny w poprawie jakości ich nauczania [65, 66].
Niedawne badanie Campbella i in.(2019) [67] dostarczają dowodów na to, że model wzajemnego wsparcia w miejscu pracy jest akceptowalną i skuteczną strategią rozwoju nauczycieli dla edukatorów zdrowia klinicznego.W innym badaniu Caygill i in.[68] przeprowadzili badanie, w ramach którego specjalnie zaprojektowany kwestionariusz został wysłany do edukatorów zdrowotnych na Uniwersytecie w Melbourne, aby umożliwić im podzielenie się swoimi doświadczeniami związanymi ze stosowaniem PRT.Wyniki wskazują, że zainteresowanie PRT wśród nauczycieli medycyny jest stłumione, a dobrowolna i pouczająca forma wzajemnej oceny jest uważana za ważną i cenną możliwość rozwoju zawodowego.
Warto zauważyć, że programy PRT muszą być starannie zaprojektowane, aby uniknąć tworzenia osądowego, „menedżerskiego” środowiska, które często prowadzi do zwiększonego niepokoju wśród obserwowanych nauczycieli [69].Dlatego celem powinno być staranne opracowanie planów PRT, które będą uzupełniać i ułatwiać tworzenie bezpiecznego środowiska oraz zapewniać konstruktywną informację zwrotną.Dlatego też potrzebne jest specjalne szkolenie w celu wyszkolenia recenzentów, a w programach PRT powinni brać udział wyłącznie naprawdę zainteresowani i doświadczeni nauczyciele.Jest to szczególnie ważne, jeśli informacje uzyskane z PRT zostaną wykorzystane przy podejmowaniu decyzji wydziałowych, takich jak awanse na wyższe szczeble, podwyżki wynagrodzeń czy awanse na ważne stanowiska administracyjne.Należy zauważyć, że PRT jest czasochłonne i podobnie jak grupy fokusowe wymaga udziału dużej liczby doświadczonych wykładowców, co utrudnia wdrożenie tego podejścia w szkołach medycznych o niskich zasobach.
Newmana i in.(2019) [70] opisują strategie stosowane przed, w trakcie i po szkoleniu, obserwacje podkreślające najlepsze praktyki i identyfikujące rozwiązania problemów w nauce.Badacze przedstawili recenzentom 12 sugestii, w tym: (1) mądrze dobieraj słowa;(2) pozwolić obserwatorowi określić kierunek dyskusji;(3) dbaj o poufność i sformatowanie opinii;(4) dbaj o poufność i sformatowanie opinii;Informacje zwrotne skupiają się na umiejętnościach nauczania, a nie na pojedynczym nauczycielu;(5) Poznaj swoich kolegów, (6) Uważaj na siebie i innych, (7) Pamiętaj, że zaimki odgrywają ważną rolę w przekazywaniu informacji zwrotnych, (8) Używaj pytań, aby rzucić światło na perspektywę nauczania, (10) Buduj zaufanie do procesów oraz informacje zwrotne w ramach obserwacji rówieśniczych, (11) sprawić, że obserwacja uczenia się przyniesie korzyści obu stronom, (12) stworzyć plan działania.Naukowcy badają także wpływ uprzedzeń na obserwacje oraz to, w jaki sposób proces uczenia się, obserwowania i omawiania informacji zwrotnych może zapewnić obu stronom cenne doświadczenia edukacyjne, prowadząc do długoterminowego partnerstwa i poprawy jakości edukacji.Gomaly i in.(2014) [71] podają, że jakość skutecznego feedbacku powinna obejmować (1) wyjaśnienie zadania poprzez udzielenie wskazówek, (2) zwiększoną motywację do zachęcania do większego wysiłku oraz (3) postrzeganie go przez odbiorcę jako wartościowego procesu.dostarczone przez renomowane źródło.
Chociaż kadra uczelni medycznych otrzymuje informację zwrotną na temat PRT, ważne jest przeszkolenie kadry w zakresie interpretacji informacji zwrotnej (podobnie jak w przypadku zalecenia dotyczącego odbycia szkolenia w zakresie interpretacji SET) i zapewnienie jej wystarczającej ilości czasu na konstruktywną refleksję nad otrzymaną informacją zwrotną.
Czas publikacji: 24 listopada 2023 r