Ocena programów nauczania i kadry dydaktycznej ma kluczowe znaczenie dla wszystkich instytucji szkolnictwa wyższego, w tym dla szkół medycznych. Studenckie ewaluacje nauczania (SET) zazwyczaj przybierają formę anonimowych kwestionariuszy i chociaż pierwotnie opracowano je w celu oceny kursów i programów, z czasem zaczęto je również wykorzystywać do pomiaru efektywności nauczania, a następnie do podejmowania ważnych decyzji związanych z nauczaniem. Rozwój zawodowy nauczycieli. Jednak pewne czynniki i błędy poznawcze mogą wpływać na wyniki SET, a efektywności nauczania nie da się obiektywnie zmierzyć. Chociaż literatura dotycząca ewaluacji kursów i kadry dydaktycznej w szkolnictwie wyższym jest dobrze ugruntowana, istnieją obawy dotyczące stosowania tych samych narzędzi do oceny kursów i kadry dydaktycznej w programach medycznych. W szczególności SET w szkolnictwie wyższym nie może być bezpośrednio stosowany do projektowania i wdrażania programów nauczania w szkołach medycznych. Niniejszy przegląd przedstawia przegląd możliwości udoskonalenia SET na poziomie instrumentów, zarządzania i interpretacji. Ponadto w artykule wskazano, że wykorzystując różne metody, takie jak recenzja koleżeńska, grupy fokusowe i samoocena, do gromadzenia i triangulacji danych z wielu źródeł, w tym od studentów, rówieśników, kierowników programów i samoświadomości, można zbudować kompleksowy system oceny. Skutecznie mierz efektywność nauczania, wspieraj rozwój zawodowy nauczycieli medycyny i poprawiaj jakość nauczania w edukacji medycznej.
Ocena kursów i programów jest wewnętrznym procesem kontroli jakości we wszystkich instytucjach szkolnictwa wyższego, w tym w szkołach medycznych. Studencka Ewaluacja Nauczania (SET) zazwyczaj przyjmuje formę anonimowej ankiety papierowej lub internetowej, wykorzystującej skalę ocen, taką jak skala Likerta (zwykle pięć, siedem lub więcej), która pozwala osobom wyrazić zgodę lub stopień zgody. Nie zgadzam się z konkretnymi stwierdzeniami) [1,2,3]. Chociaż SET zostały pierwotnie opracowane do oceny kursów i programów, z czasem zaczęto je również wykorzystywać do pomiaru skuteczności nauczania [4, 5, 6]. Skuteczność nauczania jest uważana za ważną, ponieważ zakłada się, że istnieje pozytywny związek między skutecznością nauczania a uczeniem się studentów [7]. Chociaż literatura nie definiuje jednoznacznie skuteczności szkolenia, zwykle jest ona określana poprzez specyficzne cechy szkolenia, takie jak „interakcja w grupie”, „przygotowanie i organizacja”, „informacja zwrotna dla studentów” [8].
Informacje uzyskane z SET mogą dostarczyć użytecznych informacji, takich jak to, czy istnieje potrzeba dostosowania materiałów dydaktycznych lub metod nauczania stosowanych w danym kursie. SET jest również wykorzystywany do podejmowania ważnych decyzji związanych z rozwojem zawodowym nauczycieli [4,5,6]. Jednakże zasadność tego podejścia jest kwestionowana, gdy instytucje szkolnictwa wyższego podejmują decyzje dotyczące kadry, takie jak awanse na wyższe stanowiska akademickie (często związane ze stażem pracy i podwyżkami wynagrodzeń) oraz kluczowe stanowiska administracyjne w instytucji [4, 9]. Ponadto instytucje często wymagają od nowych pracowników naukowych uwzględnienia SET z poprzednich instytucji w swoich aplikacjach na nowe stanowiska, wpływając w ten sposób nie tylko na awanse kadry w ramach instytucji, ale także na potencjalnych nowych pracodawców [10].
Chociaż literatura dotycząca programów nauczania i oceny nauczycieli jest dobrze ugruntowana w dziedzinie ogólnego szkolnictwa wyższego, nie jest tak w przypadku medycyny i opieki zdrowotnej [11]. Program nauczania i potrzeby edukatorów medycznych różnią się od potrzeb ogólnego szkolnictwa wyższego. Na przykład, uczenie się zespołowe jest często wykorzystywane w zintegrowanych kursach edukacji medycznej. Oznacza to, że program nauczania na studiach medycznych składa się z serii kursów prowadzonych przez szereg członków wydziału, którzy posiadają wykształcenie i doświadczenie w różnych dyscyplinach medycznych. Chociaż studenci korzystają z dogłębnej wiedzy ekspertów w tej dziedzinie w ramach tej struktury, często stają przed wyzwaniem dostosowania się do różnych stylów nauczania każdego nauczyciela [1, 12, 13, 14].
Chociaż istnieją różnice między ogólnym wykształceniem wyższym a kształceniem medycznym, SET stosowany w tym pierwszym jest czasami stosowany również w kursach medycyny i opieki zdrowotnej. Jednak wdrożenie SET w ogólnym kształceniu wyższym stwarza wiele wyzwań pod względem programu nauczania i oceny kadry w programach dla pracowników służby zdrowia [11]. W szczególności, ze względu na różnice w metodach nauczania i kwalifikacjach nauczycieli, wyniki oceny kursów mogą nie obejmować opinii studentów na temat wszystkich nauczycieli lub klas. Badania Uytenhaage i O'Neill (2015) [5] sugerują, że proszenie studentów o ocenę wszystkich nauczycieli na koniec kursu może być niewłaściwe, ponieważ jest dla studentów prawie niemożliwe, aby zapamiętać i skomentować wiele ocen nauczycieli. kategorie. Ponadto wielu nauczycieli medycyny to również lekarze, dla których nauczanie stanowi tylko niewielką część ich obowiązków [15, 16]. Ponieważ zajmują się oni przede wszystkim opieką nad pacjentem, a w wielu przypadkach badaniami, często mają mało czasu na rozwijanie swoich umiejętności dydaktycznych. Jednak lekarze jako nauczyciele powinni otrzymywać czas, wsparcie i konstruktywną informację zwrotną od swoich organizacji [16].
Studenci medycyny to zazwyczaj osoby wysoce zmotywowane i pracowite, które z powodzeniem dostają się na studia medyczne (poprzez konkurencyjny i wymagający proces na arenie międzynarodowej). Ponadto, w trakcie studiów medycznych od studentów medycyny oczekuje się nabycia dużej ilości wiedzy i rozwinięcia wielu umiejętności w krótkim czasie, a także pomyślnego przejścia złożonych wewnętrznych i kompleksowych ocen krajowych [17,18,19,20]. Zatem, ze względu na wysokie standardy oczekiwane od studentów medycyny, studenci medycyny mogą być bardziej krytyczni i mieć wyższe oczekiwania co do wysokiej jakości nauczania niż studenci innych dyscyplin. Zatem studenci medycyny mogą otrzymywać niższe oceny od swoich profesorów w porównaniu ze studentami innych dyscyplin z powodów wymienionych powyżej. Co ciekawe, wcześniejsze badania wykazały pozytywny związek między motywacją studentów a indywidualnymi ocenami nauczycieli [21]. Ponadto, w ciągu ostatnich 20 lat większość programów nauczania szkół medycznych na całym świecie stała się zintegrowana pionowo [22], dzięki czemu studenci są narażeni na praktykę kliniczną od najwcześniejszych lat studiów. W związku z tym w ciągu ostatnich kilku lat lekarze coraz częściej angażują się w kształcenie studentów medycyny, potwierdzając już na wczesnym etapie studiów, jak ważne jest opracowywanie programów nauczania dostosowanych do konkretnych grup kadry dydaktycznej [22].
Ze względu na specyfikę kształcenia medycznego, o której mowa powyżej, modele SET stosowane do oceny ogólnych kursów kształcenia wyższego prowadzonych przez jednego wykładowcę powinny zostać dostosowane do oceny zintegrowanego programu nauczania i wydziału klinicznego programów medycznych [14]. W związku z tym istnieje potrzeba opracowania bardziej efektywnych modeli SET i kompleksowych systemów oceny w celu skuteczniejszego zastosowania w kształceniu medycznym.
Niniejszy przegląd opisuje najnowsze osiągnięcia w zakresie wykorzystania SET w (ogólnym) szkolnictwie wyższym oraz jego ograniczenia, a następnie przedstawia zróżnicowane potrzeby SET dla kierunków studiów medycznych i kadry dydaktycznej. Niniejszy przegląd przedstawia aktualne informacje na temat możliwości udoskonalenia SET na poziomie instrumentalnym, administracyjnym i interpretacyjnym, a także koncentruje się na celach opracowania efektywnych modeli SET i kompleksowych systemów oceny, które będą skutecznie mierzyć efektywność nauczania, wspierać rozwój profesjonalnych edukatorów zdrowotnych oraz poprawiać jakość nauczania w edukacji medycznej.
Niniejsze badanie stanowi kontynuację badań Green i in. (2006) [23] w zakresie porad oraz Baumeistera (2013) [24] w zakresie porad dotyczących pisania recenzji narracyjnych. Zdecydowaliśmy się na napisanie recenzji narracyjnej na ten temat, ponieważ tego typu recenzje pomagają przedstawić szeroką perspektywę. Co więcej, ponieważ recenzje narracyjne opierają się na zróżnicowanych metodologicznie badaniach, pomagają one odpowiedzieć na szersze pytania. Co więcej, komentarz narracyjny może pomóc pobudzić refleksję i dyskusję na dany temat.
W jaki sposób SET jest wykorzystywany w edukacji medycznej i jakie są wyzwania w porównaniu z SET wykorzystywanym w ogólnym szkolnictwie wyższym,
Bazy danych Pubmed i ERIC przeszukano, używając kombinacji haseł wyszukiwania „student teaching evaluation”, „teaching effectiveness”, „medical education”, „higher education”, „curriculum and faculty evaluation” oraz, w przypadku Peer Review 2000, operatorów logicznych. artykuły opublikowane w latach 2021–2021. Kryteria włączenia: włączone badania były oryginalnymi badaniami lub artykułami przeglądowymi, a badania te były istotne dla obszarów trzech głównych pytań badawczych. Kryteria wykluczenia: badania, które nie były w języku angielskim lub badania, w których nie można było znaleźć artykułów w pełnym tekście lub nie były istotne dla trzech głównych pytań badawczych, zostały wyłączone z bieżącego dokumentu przeglądu. Po wybraniu publikacji, zostały one zorganizowane w następujące tematy i powiązane podtematy: (a) Wykorzystanie SET w ogólnym szkolnictwie wyższym i jego ograniczenia, (b) Wykorzystanie SET w kształceniu medycznym i jego znaczenie dla rozwiązywania problemów związanych z porównywaniem SET (c) Ulepszanie SET na poziomie instrumentalnym, zarządczym i interpretacyjnym w celu opracowania skutecznych modeli SET.
Rysunek 1 przedstawia schemat blokowy wybranych artykułów uwzględnionych i omówionych w bieżącej części przeglądu.
SET jest tradycyjnie stosowany w szkolnictwie wyższym, a temat ten został dobrze zbadany w literaturze [10, 21]. Jednakże wiele badań zbadało liczne ograniczenia tego systemu i wysiłki mające na celu ich rozwiązanie.
Badania pokazują, że istnieje wiele zmiennych wpływających na wyniki SET [10, 21, 25, 26]. Dlatego ważne jest, aby administratorzy i nauczyciele rozumieli te zmienne podczas interpretacji i wykorzystywania danych. W następnej sekcji przedstawiono krótki przegląd tych zmiennych. Rysunek 2 przedstawia niektóre czynniki wpływające na wyniki SET, które zostały szczegółowo omówione w kolejnych sekcjach.
W ostatnich latach wzrosło wykorzystanie zestawów online w porównaniu z zestawami papierowymi. Jednak dowody w literaturze sugerują, że online SET może zostać ukończony bez poświęcania przez studentów niezbędnej uwagi procesowi ukończenia. W interesującym badaniu przeprowadzonym przez Uitdehaage i O'Neill [5], nieistniejący nauczyciele zostali dodani do SET, a wielu studentów przekazało informacje zwrotne [5]. Co więcej, dowody w literaturze sugerują, że studenci często uważają, że ukończenie SET nie prowadzi do poprawy osiągnięć edukacyjnych, co w połączeniu z napiętym harmonogramem studentów medycyny może skutkować niższymi wskaźnikami odpowiedzi [27]. Chociaż badania pokazują, że opinie studentów, którzy przystępują do testu, nie różnią się od opinii całej grupy, niskie wskaźniki odpowiedzi nadal mogą sprawić, że nauczyciele będą traktować wyniki mniej poważnie [28].
Większość internetowych testów SET jest wypełniana anonimowo. Chodzi o to, aby umożliwić studentom swobodne wyrażanie swoich opinii bez założenia, że ich wyrażenie będzie miało jakikolwiek wpływ na ich przyszłe relacje z nauczycielami. W badaniu Alfonso i in. [29] badacze wykorzystali anonimowe oceny i oceny, w których oceniający musieli podać swoje imię i nazwisko (oceny publiczne), aby ocenić skuteczność nauczania kadry dydaktycznej szkoły medycznej przez rezydentów i studentów medycyny. Wyniki pokazały, że nauczyciele generalnie uzyskiwali niższe wyniki w anonimowych ocenach. Autorzy twierdzą, że studenci są bardziej szczerzy w anonimowych ocenach ze względu na pewne bariery w otwartych ocenach, takie jak uszkodzone relacje zawodowe z uczestniczącymi nauczycielami [29]. Należy jednak również zauważyć, że anonimowość często kojarzona z internetowymi testami SET może prowadzić do tego, że niektórzy studenci będą niegrzeczni i odwetowi wobec instruktora, jeśli wyniki oceny nie spełnią oczekiwań studentów [30]. Badania pokazują jednak, że studenci rzadko udzielają niegrzecznych informacji zwrotnych, a tę ostatnią można dodatkowo ograniczyć, ucząc studentów udzielania konstruktywnych informacji zwrotnych [30].
Kilka badań wykazało, że istnieje korelacja między wynikami SET uczniów, ich oczekiwaniami dotyczącymi wyników testów i ich satysfakcją z testów [10, 21]. Na przykład Strobe (2020) [9] doniósł, że uczniowie nagradzają łatwe kursy, a nauczyciele nagradzają słabe oceny, co może zachęcać do słabego nauczania i prowadzić do zawyżania ocen [9]. W niedawnym badaniu Looi i in. (2020) [31] naukowcy donieśli, że korzystniejsze SET są powiązane i łatwiejsze do oceny. Co więcej, istnieją niepokojące dowody na to, że SET jest odwrotnie proporcjonalny do wyników uczniów w kolejnych kursach: im wyższa ocena, tym gorsze wyniki uczniów w kolejnych kursach. Cornell i in. (2016) [32] przeprowadzili badanie, aby sprawdzić, czy studenci uczą się stosunkowo więcej od nauczycieli, których SET ocenili wysoko. Wyniki pokazują, że gdy nauka jest oceniana pod koniec kursu, nauczyciele z najwyższymi ocenami przyczyniają się również do nauki największej liczby uczniów. Jednakże, gdy nauka jest mierzona na podstawie wyników w kolejnych odpowiednich kursach, nauczyciele, którzy uzyskują stosunkowo niskie wyniki, są najskuteczniejsi. Naukowcy postawili hipotezę, że uczynienie kursu bardziej wymagającym w produktywny sposób może obniżyć oceny, ale poprawić proces uczenia się. Dlatego oceny studentów nie powinny być jedyną podstawą oceny nauczania, ale powinny być uznawane.
Kilka badań pokazuje, że na wyniki SET wpływa sam kurs i jego organizacja. Ming i Baozhi [33] stwierdzili w swoim badaniu, że istniały istotne różnice w wynikach SET pomiędzy studentami różnych przedmiotów. Na przykład nauki kliniczne mają wyższe wyniki SET niż nauki podstawowe. Autorzy wyjaśnili, że dzieje się tak, ponieważ studenci medycyny są zainteresowani zostaniem lekarzami i dlatego mają osobiste zainteresowanie i większą motywację do większego uczestnictwa w kursach nauk klinicznych w porównaniu z kursami nauk podstawowych [33]. Podobnie jak w przypadku przedmiotów do wyboru, motywacja studentów do przedmiotu ma również pozytywny wpływ na wyniki [21]. Kilka innych badań również potwierdza, że rodzaj kursu może wpływać na wyniki SET [10, 21].
Co więcej, inne badania wykazały, że im mniejsza liczebność klasy, tym wyższy poziom SET osiągnięty przez nauczycieli [10, 33]. Jednym z możliwych wyjaśnień jest to, że mniejsze liczebności klas zwiększają możliwości interakcji nauczyciel-uczeń. Ponadto warunki, w których przeprowadzana jest ocena, mogą wpływać na wyniki. Na przykład wyniki SET wydają się być uzależnione od pory i dnia prowadzenia kursu, a także dnia tygodnia, w którym SET jest ukończony (np. oceny przeprowadzane w weekendy mają tendencję do dawania bardziej pozytywnych wyników) niż oceny przeprowadzane wcześniej w tygodniu. [10].
Ciekawe badanie przeprowadzone przez Hesslera i in. również podważa skuteczność programu SET. [34]. W tym badaniu przeprowadzono randomizowane badanie kontrolowane na kursie medycyny ratunkowej. Studenci medycyny trzeciego roku zostali losowo przydzieleni do grupy kontrolnej lub grupy, która otrzymywała darmowe ciasteczka z kawałkami czekolady (grupa ciasteczkowa). Wszystkie grupy były prowadzone przez tych samych nauczycieli, a treści szkoleniowe i materiały szkoleniowe były identyczne dla obu grup. Po kursie wszyscy studenci zostali poproszeni o wypełnienie zestawu. Wyniki pokazały, że grupa ciasteczkowa oceniała nauczycieli znacznie lepiej niż grupa kontrolna, co podważa skuteczność programu SET [34].
Dowody w literaturze potwierdzają również, że płeć może wpływać na wyniki SET [35,36,37,38,39,40,41,42,43,44,45,46]. Na przykład niektóre badania wykazały związek między płcią uczniów a wynikami oceny: uczennice uzyskały wyższe wyniki niż uczniowie [27]. Większość dowodów potwierdza, że uczniowie niżej oceniają nauczycielki niż nauczycieli [37, 38, 39, 40]. Na przykład Boring i in. [38] wykazali, że zarówno uczniowie, jak i uczennice uważali, że mężczyźni posiadają większą wiedzę i silniejsze zdolności przywódcze niż kobiety. Fakt, że płeć i stereotypy wpływają na SET, potwierdza również badanie MacNella i in. [41], który zgłosił, że uczniowie w jego badaniu niżej oceniali nauczycielki niż nauczycieli w różnych aspektach nauczania [41]. Co więcej, Morgan i in. [42] przedstawili dowody na to, że lekarki otrzymały niższe oceny za nauczanie na czterech głównych kierunkach klinicznych (chirurgia, pediatria, położnictwo i ginekologia oraz medycyna wewnętrzna) w porównaniu z lekarzami.
W badaniu Murray i in. (2020) [43] badacze stwierdzili, że atrakcyjność kadry dydaktycznej i zainteresowanie studentów przedmiotem były związane z wyższymi wynikami testu SET. Z kolei trudność przedmiotu wiąże się z niższymi wynikami testu SET. Ponadto studenci przyznali wyższe wyniki testu SET młodym białym mężczyznom, nauczycielom nauk humanistycznych, oraz wykładowcom z tytułami profesorskimi. Nie stwierdzono korelacji między ocenami nauczania w ramach testu SET a wynikami ankiet wśród nauczycieli. Inne badania również potwierdzają pozytywny wpływ atrakcyjności fizycznej nauczycieli na wyniki oceny [44].
Clayson i in. (2017) [45] donieśli, że chociaż panuje powszechna zgoda co do wiarygodności wyników SET oraz spójności średnich ocen dla klas i nauczycieli, to w odpowiedziach poszczególnych uczniów nadal występują rozbieżności. Podsumowując, wyniki niniejszego raportu z oceny wskazują, że uczniowie nie zgadzali się z oceną, którą mieli ocenić. Miary wiarygodności uzyskane z ocen nauczania dokonanych przez uczniów są niewystarczające, aby stanowić podstawę do ustalenia trafności. W związku z tym SET może czasami dostarczać informacji o uczniach, a nie o nauczycielach.
Edukacja zdrowotna (SET) różni się od tradycyjnego SET, ale edukatorzy często korzystają z SET dostępnego w ramach ogólnego szkolnictwa wyższego, a nie z SET specyficznego dla programów zawodów medycznych, o którym mowa w literaturze. Jednak badania prowadzone na przestrzeni lat ujawniły szereg problemów.
Jones i in. (1994). [46] przeprowadzili badanie mające na celu ustalenie, jak oceniać kadrę dydaktyczną szkół medycznych z perspektywy kadry dydaktycznej i administratorów. Ogólnie rzecz biorąc, najczęściej wymieniane problemy dotyczyły oceny dydaktycznej. Najczęściej pojawiały się ogólne skargi na nieadekwatność obecnych metod oceny wyników, przy czym respondenci zgłaszali również konkretne skargi dotyczące programu SET i braku uznania nauczania w systemach nagród akademickich. Inne zgłaszane problemy obejmowały niespójne procedury oceny i kryteria awansu w różnych wydziałach, brak regularnych ocen oraz brak powiązania wyników oceny z wynagrodzeniami.
Royal i in. (2018) [11] przedstawiają pewne ograniczenia stosowania SET do oceny programu nauczania i kadry dydaktycznej w programach dla pracowników służby zdrowia w ogólnym szkolnictwie wyższym. Naukowcy zgłaszają, że SET w szkolnictwie wyższym stoi przed różnymi wyzwaniami, ponieważ nie może być bezpośrednio stosowany do projektowania programów nauczania i nauczania przedmiotów w szkołach medycznych. Często zadawane pytania, w tym pytania dotyczące instruktora i kursu, są często łączone w jeden kwestionariusz, więc studenci często mają trudności z ich rozróżnieniem. Ponadto kursy w programach medycznych są często prowadzone przez wielu członków wydziału. Rodzi to pytania o ich trafność, biorąc pod uwagę potencjalnie ograniczoną liczbę interakcji między studentami a nauczycielami ocenianych przez Royal i in. (2018) [11]. W badaniu przeprowadzonym przez Hwang i in. (2017) [14] naukowcy zbadali koncepcję, w jaki sposób retrospektywne oceny kursów kompleksowo odzwierciedlają postrzeganie przez studentów kursów różnych instruktorów. Ich wyniki sugerują, że indywidualna ocena zajęć jest niezbędna do zarządzania kursami wielowydziałowymi w ramach zintegrowanego programu nauczania szkoły medycznej.
Uitdehaage i O'Neill (2015) [5] zbadali, w jakim stopniu studenci medycyny świadomie brali udział w kursie SET w ramach zajęć prowadzonych w klasach wielowydziałowych. Każdy z dwóch kursów przedklinicznych obejmował fikcyjnego instruktora. Studenci muszą przekazać anonimowe oceny wszystkim instruktorom (w tym fikcyjnym) w ciągu dwóch tygodni od ukończenia kursu, ale mogą odmówić oceny instruktora. W następnym roku sytuacja się powtórzyła, ale uwzględniono portret fikcyjnego wykładowcy. Sześćdziesiąt sześć procent studentów oceniło wirtualnego instruktora bez podobieństwa, ale mniej studentów (49%) oceniło wirtualnego instruktora z obecnym podobieństwem. Wyniki te sugerują, że wielu studentów medycyny realizuje kursy SET w ciemno, nawet jeśli towarzyszą im zdjęcia, bez dokładnego rozważenia, kogo oceniają, nie mówiąc już o wynikach instruktora. Utrudnia to poprawę jakości programu i może mieć negatywny wpływ na postępy akademickie nauczycieli. Naukowcy proponują ramy, które oferują radykalnie odmienne podejście do kursu SET, które aktywnie i aktywnie angażuje studentów.
Istnieje wiele innych różnic w programie nauczania programów medycznych w porównaniu z innymi ogólnymi programami kształcenia wyższego [11]. Kształcenie medyczne, podobnie jak profesjonalna edukacja zdrowotna, jest wyraźnie skoncentrowane na rozwoju jasno określonych ról zawodowych (praktyka kliniczna). W rezultacie programy programów medycznych i zdrowotnych stają się bardziej statyczne, z ograniczonym wyborem kursów i wykładowców. Co ciekawe, kursy edukacji medycznej są często oferowane w formacie kohortowym, gdzie wszyscy studenci realizują ten sam kurs w tym samym czasie w każdym semestrze. Dlatego zapisanie dużej liczby studentów (zwykle n = 100 lub więcej) może mieć wpływ na format nauczania, a także na relację nauczyciel-student. Co więcej, w wielu szkołach medycznych właściwości psychometryczne większości narzędzi nie są oceniane przy pierwszym użyciu, a właściwości większości narzędzi mogą pozostać nieznane [11].
Kilka badań przeprowadzonych w ciągu ostatnich kilku lat dostarczyło dowodów na to, że model SET można udoskonalić, uwzględniając kilka istotnych czynników, które mogą wpływać na jego skuteczność na poziomie instrumentalnym, administracyjnym i interpretacyjnym. Rysunek 3 przedstawia niektóre kroki, które można wykorzystać do stworzenia efektywnego modelu SET. Poniższe sekcje zawierają bardziej szczegółowy opis.
Udoskonalanie SET na poziomie instrumentalnym, zarządczym i interpretacyjnym w celu opracowania efektywnych modeli SET.
Jak wspomniano wcześniej, literatura potwierdza, że uprzedzenia ze względu na płeć mogą wpływać na oceny nauczycieli [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. Peterson i in. (2019) [40] przeprowadzili badanie, które sprawdzało, czy płeć uczniów wpływa na ich reakcje na działania mające na celu ograniczenie uprzedzeń. W tym badaniu SET zastosowano w czterech klasach (dwie prowadzone przez nauczycieli płci męskiej i dwie przez nauczycielki). W ramach każdego kursu uczniowie zostali losowo przydzieleni do otrzymania standardowego narzędzia oceny lub tego samego narzędzia, ale z użyciem języka zaprojektowanego w celu zmniejszenia uprzedzeń ze względu na płeć. Badanie wykazało, że uczniowie, którzy korzystali z narzędzi oceny antyuprzedzeń, dawali nauczycielkom znacznie wyższe wyniki SET niż uczniowie, którzy korzystali ze standardowych narzędzi oceny. Ponadto nie było różnic w ocenach nauczycieli płci męskiej między obiema grupami. Wyniki tego badania są istotne i pokazują, jak stosunkowo prosta interwencja językowa może zmniejszyć uprzedzenia ze względu na płeć w ocenach nauczania dokonywanych przez uczniów. Dlatego dobrą praktyką jest dokładne rozważenie wszystkich SET i stosowanie języka w celu zmniejszenia uprzedzeń związanych z płcią w ich rozwoju [40].
Aby uzyskać użyteczne wyniki z dowolnego SET, ważne jest, aby dokładnie rozważyć cel oceny i sformułowanie pytań z wyprzedzeniem. Chociaż większość ankiet SET wyraźnie wskazuje sekcję dotyczącą aspektów organizacyjnych kursu, tj. „Ocena kursu”, i sekcję dotyczącą wydziału, tj. „Ocena nauczyciela”, w niektórych ankietach różnica może nie być oczywista lub studenci mogą mieć wątpliwości co do tego, jak oceniać każdy z tych obszarów indywidualnie. Dlatego projekt kwestionariusza musi być odpowiedni, wyjaśniać dwie różne części kwestionariusza i uświadamiać studentom, co powinno być oceniane w każdym obszarze. Ponadto zaleca się przeprowadzenie testów pilotażowych w celu ustalenia, czy studenci interpretują pytania w zamierzony sposób [24]. W badaniu przeprowadzonym przez Oermann i in. (2018) [26] naukowcy przeszukali i zsyntetyzowali literaturę opisującą zastosowanie SET w szerokim zakresie dyscyplin w kształceniu licencjackim i magisterskim, aby zapewnić nauczycielom wskazówki dotyczące stosowania SET w pielęgniarstwie i innych programach dla pracowników służby zdrowia. Wyniki wskazują, że narzędzia SET należy poddać ocenie przed użyciem, w tym przeprowadzić pilotażowe testy narzędzi z udziałem studentów, którzy mogą nie być w stanie zinterpretować zagadnień lub pytań narzędzia SET zgodnie z intencjami instruktora.
W kilku badaniach sprawdzano, czy model zarządzania SET wpływa na zaangażowanie studentów.
Daumier i in. (2004) [47] porównali oceny studentów dotyczące szkoleń instruktorskich ukończonych w klasie z ocenami zebranymi online, porównując liczbę odpowiedzi i ocen. Badania pokazują, że ankiety online zazwyczaj charakteryzują się niższym wskaźnikiem odpowiedzi niż ankiety przeprowadzane w klasie. Badanie wykazało jednak, że oceny online nie dawały znacząco odmiennych średnich ocen od ocen uzyskanych w tradycyjnych klasach.
Odnotowano brak dwustronnej komunikacji między studentami a nauczycielami podczas wypełniania internetowych (ale często drukowanych) testów SET, co skutkowało brakiem możliwości wyjaśnienia. Dlatego znaczenie pytań, komentarzy lub ocen studentów w ramach testów SET nie zawsze jest jasne [48]. Niektóre instytucje rozwiązały ten problem, gromadząc studentów na godzinę i przeznaczając konkretny czas na wypełnienie testu SET online (anonimowo) [49]. W swoim badaniu Malone i in. (2018) [49] zorganizowali kilka spotkań, aby omówić ze studentami cel testu SET, kto będzie widział wyniki testu SET i w jaki sposób zostaną one wykorzystane, a także wszelkie inne kwestie podniesione przez studentów. Test SET jest przeprowadzany podobnie jak grupa fokusowa: grupa zbiorowa odpowiada na pytania otwarte poprzez nieformalne głosowanie, debatę i wyjaśnienia. Wskaźnik odpowiedzi wyniósł ponad 70–80%, zapewniając nauczycielom, administratorom i komisjom ds. programów nauczania obszerne informacje [49].
Jak wspomniano powyżej, w badaniu Uitdehaage i O'Neill [5] badacze zgłosili, że studenci biorący udział w badaniu oceniali nieistniejących nauczycieli. Jak wspomniano wcześniej, jest to częsty problem na studiach medycznych, gdzie każdy przedmiot może być prowadzony przez wielu wykładowców, ale studenci mogą nie pamiętać, kto wniósł wkład w każdy przedmiot ani czym zajmował się każdy z nich. Niektóre instytucje rozwiązały ten problem, udostępniając zdjęcie każdego wykładowcy, jego/jej imię i nazwisko oraz przedstawiony temat/datę, aby odświeżyć pamięć studentów i uniknąć problemów, które osłabiają skuteczność programu SET [49].
Być może najważniejszym problemem związanym z SET jest to, że nauczyciele nie potrafią poprawnie interpretować ilościowych i jakościowych wyników SET. Niektórzy nauczyciele mogą chcieć przeprowadzać porównania statystyczne między latami, inni mogą postrzegać niewielkie wzrosty/spadki średnich wyników jako istotne zmiany, inni chcą wierzyć w każde badanie, a jeszcze inni są wręcz sceptyczni wobec każdego badania [45, 50, 51].
Nieprawidłowa interpretacja wyników lub brak przetwarzania informacji zwrotnych od studentów może wpływać na postawę nauczycieli wobec nauczania. Wyniki Lutovac i in. (2017) [52] wskazują, że wspierające szkolenia nauczycieli są niezbędne i korzystne w przekazywaniu studentom informacji zwrotnej. Edukacja medyczna pilnie potrzebuje szkoleń z zakresu prawidłowej interpretacji wyników SET. Dlatego kadra naukowa szkół medycznych powinna przejść szkolenia dotyczące oceny wyników i ważnych obszarów, na których powinna się skupić [50, 51].
Zatem opisane wyniki wskazują, że testy SET powinny być starannie projektowane, przeprowadzane i interpretowane, aby mieć pewność, że wyniki testów SET będą miały istotny wpływ na wszystkie zainteresowane strony, w tym wykładowców, administratorów szkół medycznych i studentów.
Ze względu na pewne ograniczenia SET powinniśmy nadal dążyć do stworzenia kompleksowego systemu oceny, który ograniczy stronniczość w zakresie skuteczności nauczania i wesprze rozwój zawodowy nauczycieli medycyny.
Pełniejsze zrozumienie jakości nauczania kadry klinicznej można uzyskać poprzez gromadzenie i triangulację danych z wielu źródeł, w tym od studentów, współpracowników, administratorów programów oraz samoocen kadry [53, 54, 55, 56, 57]. W poniższych sekcjach opisano możliwe inne narzędzia/metody, które można wykorzystać oprócz skutecznego SET, aby pomóc w opracowaniu bardziej odpowiedniego i kompletnego zrozumienia efektywności szkoleń (rysunek 4).
Metody, które można wykorzystać do opracowania kompleksowego modelu systemu oceny efektywności nauczania w szkole medycznej.
Grupę fokusową definiuje się jako „dyskusję grupową zorganizowaną w celu zbadania określonego zestawu zagadnień” [58]. W ciągu ostatnich kilku lat uczelnie medyczne utworzyły grupy fokusowe, aby uzyskać wysokiej jakości informacje zwrotne od studentów i omówić niektóre pułapki związane z internetowym kształceniem ustawicznym (SET). Badania te pokazują, że grupy fokusowe skutecznie dostarczają wysokiej jakości informacji zwrotnych i zwiększają satysfakcję studentów [59, 60, 61].
W badaniu Brundle i in. [59] badacze wdrożyli proces grupowej oceny studentów, który umożliwił kierownikom kursów i studentom omawianie kursów w grupach fokusowych. Wyniki wskazują, że dyskusje w grupach fokusowych uzupełniają oceny online i zwiększają zadowolenie studentów z całego procesu oceny kursu. Studenci cenią sobie możliwość bezpośredniej komunikacji z kierownikami kursów i uważają, że ten proces może przyczynić się do poprawy edukacji. Uważają również, że byli w stanie zrozumieć punkt widzenia kierownika kursu. Oprócz studentów, kierownicy kursów również ocenili, że grupy fokusowe ułatwiły skuteczniejszą komunikację ze studentami [59]. Zatem wykorzystanie grup fokusowych może zapewnić uczelniom medycznym pełniejsze zrozumienie jakości każdego kursu i skuteczności nauczania poszczególnych wykładowców. Należy jednak zauważyć, że same grupy fokusowe mają pewne ograniczenia, takie jak niewielka liczba studentów uczestniczących w nich w porównaniu z internetowym programem SET, który jest dostępny dla wszystkich studentów. Ponadto prowadzenie grup fokusowych dla różnych kursów może być procesem czasochłonnym dla doradców i studentów. Stanowi to istotne ograniczenia, szczególnie dla studentów medycyny, którzy mają bardzo napięty harmonogram i mogą odbywać praktyki kliniczne w różnych lokalizacjach geograficznych. Ponadto grupy fokusowe wymagają dużej liczby doświadczonych moderatorów. Jednak włączenie grup fokusowych do procesu ewaluacji może dostarczyć bardziej szczegółowych i konkretnych informacji na temat skuteczności szkolenia [48, 59, 60, 61].
Schiekierka-Schwacke i in. (2018) [62] zbadali postrzeganie przez studentów i wykładowców nowego narzędzia do oceny wyników pracy wykładowców i ich efektów uczenia się w dwóch niemieckich szkołach medycznych. Przeprowadzono dyskusje w grupach fokusowych i indywidualne wywiady z wykładowcami i studentami medycyny. Nauczyciele docenili osobisty feedback dostarczany przez narzędzie oceny, a studenci zgłosili, że należy stworzyć pętlę sprzężenia zwrotnego, obejmującą cele i konsekwencje, aby zachęcić do raportowania danych z oceny. Zatem wyniki tego badania potwierdzają znaczenie zamknięcia pętli komunikacji ze studentami i informowania ich o wynikach oceny.
Programy wzajemnej oceny nauczania (PRT) są bardzo ważne i są wdrażane w szkolnictwie wyższym od wielu lat. PRT obejmuje proces współpracy polegający na obserwowaniu nauczania i udzielaniu obserwatorowi informacji zwrotnej w celu poprawy skuteczności nauczania [63]. Ponadto ćwiczenia autorefleksji, ustrukturyzowane dyskusje kontrolne i systematyczne przydzielanie przeszkolonych kolegów mogą pomóc w poprawie skuteczności PRT i kultury nauczania w katedrze [64]. Donoszono, że programy te mają wiele zalet, ponieważ mogą pomóc nauczycielom w otrzymywaniu konstruktywnej informacji zwrotnej od nauczycieli rówieśniczych, którzy mogli napotkać podobne trudności w przeszłości, i mogą zapewnić większe wsparcie, dostarczając przydatnych sugestii dotyczących ulepszeń [63]. Ponadto, gdy są stosowane konstruktywnie, wzajemna ocena może poprawić treść kursu i metody realizacji oraz wesprzeć edukatorów medycznych w podnoszeniu jakości ich nauczania [65, 66].
Niedawne badanie Campbella i in. (2019) [67] dostarcza dowodów na to, że model wsparcia rówieśniczego w miejscu pracy jest akceptowalną i skuteczną strategią rozwoju nauczycieli dla edukatorów zdrowia klinicznego. W innym badaniu Caygill i in. [68] przeprowadzili badanie, w którym specjalnie opracowaną ankietę wysłano do edukatorów zdrowia na Uniwersytecie w Melbourne, aby umożliwić im podzielenie się swoimi doświadczeniami ze stosowania PRT. Wyniki wskazują na skumulowane zainteresowanie PRT wśród edukatorów medycznych oraz na to, że dobrowolny i informacyjny format recenzji rówieśniczej jest uważany za ważną i cenną okazję do rozwoju zawodowego.
Warto zauważyć, że programy PRT muszą być starannie zaprojektowane, aby uniknąć tworzenia osądzającego, „zarządczego” środowiska, które często prowadzi do zwiększonego niepokoju wśród obserwowanych nauczycieli [69]. Dlatego celem powinno być staranne opracowanie planów PRT, które będą uzupełniać i ułatwiać tworzenie bezpiecznego środowiska oraz zapewniać konstruktywną informację zwrotną. Dlatego potrzebne jest specjalne szkolenie dla recenzentów, a programy PRT powinny obejmować wyłącznie naprawdę zainteresowanych i doświadczonych nauczycieli. Jest to szczególnie ważne, jeśli informacje uzyskane z PRT są wykorzystywane w decyzjach wydziałowych, takich jak awanse na wyższe stanowiska, podwyżki wynagrodzeń i awanse na ważne stanowiska administracyjne. Należy zauważyć, że PRT jest czasochłonne i, podobnie jak grupy fokusowe, wymaga udziału dużej liczby doświadczonych członków wydziału, co utrudnia wdrożenie tego podejścia w szkołach medycznych o niskich zasobach.
Newman i in. (2019) [70] opisują strategie stosowane przed, w trakcie i po szkoleniu, obserwacje, które podkreślają najlepsze praktyki i identyfikują rozwiązania problemów w uczeniu się. Badacze przedstawili 12 sugestii recenzentom, w tym: (1) dobieraj słowa mądrze; (2) pozwól obserwatorowi określić kierunek dyskusji; (3) zachowaj poufność i sformatowanie informacji zwrotnej; (4) zachowaj poufność i sformatowanie informacji zwrotnej; Informacja zwrotna koncentruje się na umiejętnościach nauczania, a nie na indywidualnym nauczycielu; (5) Poznaj swoich kolegów (6) Bądź uważny na siebie i innych (7) Pamiętaj, że zaimki odgrywają ważną rolę w udzielaniu informacji zwrotnej, (8) Zadawaj pytania, aby rzucić światło na perspektywę nauczania, (10) Ustanów zaufanie do procesów i informacji zwrotnej w obserwacjach rówieśniczych, (11) spraw, aby obserwacja uczenia się była korzystna dla obu stron, (12) stwórz plan działania. Badacze badają również wpływ uprzedzeń na obserwacje i w jaki sposób proces uczenia się, obserwowania i omawiania informacji zwrotnej może zapewnić cenne doświadczenia edukacyjne dla obu stron, prowadząc do długoterminowych partnerstw i poprawy jakości edukacji. Gomaly i in. (2014) [71] stwierdzili, że jakość skutecznej informacji zwrotnej powinna obejmować (1) wyjaśnienie zadania poprzez podanie wskazówek, (2) zwiększoną motywację w celu zachęcenia do większego wysiłku oraz (3) postrzeganie jej przez odbiorcę jako wartościowego procesu.
Chociaż kadra naukowa szkoły medycznej otrzymuje informacje zwrotne na temat PRT, ważne jest, aby przeszkolić kadrę naukową w zakresie interpretacji informacji zwrotnych (podobnie jak zalecono odbycie szkolenia w zakresie interpretacji SET) i dać kadrze naukowej wystarczająco dużo czasu na konstruktywną refleksję nad otrzymanymi informacjami zwrotnymi.
Czas publikacji: 24-11-2023