工程教育專業(yè)認(rèn)證是提高人才培養(yǎng)質(zhì)量、推動教育改革的重要途徑,其倡導(dǎo)以學(xué)生為中心、產(chǎn)出導(dǎo)向(outcome-based education, OBE)、持續(xù)改進(jìn)的基本理念。中國工程教育專業(yè)認(rèn)證標(biāo)準(zhǔn)第4.1條標(biāo)準(zhǔn)項(xiàng)要求建立教學(xué)過程質(zhì)量監(jiān)控機(jī)制,定期開展課程質(zhì)量評價(jià),指導(dǎo)書要求自評報(bào)告的“持續(xù)改進(jìn)”部分提供2門課程的課程目標(biāo)達(dá)成情況評價(jià)報(bào)告。
評價(jià)不僅是為了反映學(xué)生的學(xué)習(xí)效果,也是實(shí)現(xiàn)教學(xué)持續(xù)改進(jìn)的關(guān)鍵反饋信息。美國工程技術(shù)評審委員會(ABET)專業(yè)認(rèn)證標(biāo)準(zhǔn)自評報(bào)告指導(dǎo)書要求:在持續(xù)改進(jìn)環(huán)節(jié)描述上一年的改進(jìn)建議如何用作持續(xù)改進(jìn)的輸入;對改進(jìn)情況進(jìn)行評估,無論是否有效,都應(yīng)描述更改的結(jié)果;根據(jù)最近的評估為下一次課程提供改進(jìn)建議;為每一個(gè)改進(jìn)計(jì)劃提供簡要的理由,指出改進(jìn)的動機(jī)。
在傳統(tǒng)教學(xué)中,課程設(shè)計(jì)缺少個(gè)性化和針對性,常與學(xué)生實(shí)際需求和發(fā)展意向相偏離。同時(shí),常規(guī)的改進(jìn)過程具有較強(qiáng)的主觀性、隨機(jī)性,需要引入更加科學(xué)先進(jìn)的方法進(jìn)行指導(dǎo)。因果推斷近年來得到快速發(fā)展,在生物醫(yī)學(xué)、經(jīng)濟(jì)學(xué)等領(lǐng)域獲得廣泛應(yīng)用。Judea Pearl教授提出因果圖模型,將科學(xué)、知識、數(shù)據(jù)等概念納入到一個(gè)具體的背景框架。通過構(gòu)建課程教學(xué)因果圖,能更深刻地認(rèn)識教學(xué)方法與學(xué)習(xí)成果之間的內(nèi)在聯(lián)系,消除混雜偏誤,從而科學(xué)有效地進(jìn)行課程教學(xué)的持續(xù)改進(jìn)。
本文提出基于學(xué)情混雜控制的持續(xù)改進(jìn)模式,以某高校通信工程專業(yè)開設(shè)的“信息安全”課程為例,首先通過多元化評價(jià)內(nèi)容,挖掘出初始績點(diǎn)和發(fā)展預(yù)期這兩個(gè)混雜因子,并進(jìn)行分層分析;然后構(gòu)建因果圖,引入后門調(diào)整法控制混雜因子,計(jì)算教學(xué)方法對學(xué)習(xí)成果的因果效應(yīng);接下來提出相應(yīng)的改進(jìn)措施,并運(yùn)用因果圖分析改進(jìn)的理由;最后,在下一學(xué)年進(jìn)行教學(xué)設(shè)計(jì)及學(xué)習(xí)效果評價(jià),由此提出未來的改進(jìn)計(jì)劃。
1.1 持續(xù)改進(jìn)現(xiàn)狀及問題
某高校的課程質(zhì)量報(bào)告模板包括三部分內(nèi)容,即上一輪課程質(zhì)量持續(xù)改進(jìn)措施和實(shí)施情況、本學(xué)期課程目標(biāo)達(dá)成情況評價(jià)分析,及下一輪課程質(zhì)量持續(xù)改進(jìn)措施。由此可見,專業(yè)認(rèn)證標(biāo)準(zhǔn)要求的持續(xù)改進(jìn)理念已得到落實(shí)。常規(guī)持續(xù)改進(jìn)模式如圖1所示,開展課程目標(biāo)達(dá)成情況評價(jià),并將評價(jià)結(jié)果切實(shí)用于課程教學(xué)各環(huán)節(jié)的持續(xù)改進(jìn)。
圖1 常規(guī)持續(xù)改進(jìn)模式
對課程目標(biāo)進(jìn)行達(dá)成評價(jià),是開展畢業(yè)要求達(dá)成評價(jià)的基礎(chǔ),也是基層教師實(shí)施教學(xué)改進(jìn)的基礎(chǔ)性工作。當(dāng)前國內(nèi)普遍采用的平均分算分法和15%分位法,都可以在一定程度上用于發(fā)現(xiàn)問題和持續(xù)改進(jìn),例如多個(gè)課程目標(biāo)達(dá)成情況的橫向比較,同一課程目標(biāo)歷年達(dá)成情況的縱向比較。
但是,要做好個(gè)性化教學(xué)和持續(xù)改進(jìn),仍存在以下問題:①評價(jià)內(nèi)容單一化,主要評價(jià)學(xué)生對知識的掌握情況,忽視了學(xué)習(xí)策略、心理活動和情感等方面的評價(jià);②達(dá)成情況分析僅考慮數(shù)據(jù),沒有注意數(shù)據(jù)生成的過程,難以得出初始數(shù)據(jù)不包含的內(nèi)容,發(fā)現(xiàn)的問題缺乏數(shù)據(jù)支撐;③改進(jìn)意見基本上只是定性的、顯而易見的直覺和假設(shè),對問題的針對性不足,且沒有進(jìn)行簡要的分析,難以保證改進(jìn)措施的科學(xué)性。
1.2 基于學(xué)情混雜控制的持續(xù)改進(jìn)模式
基于學(xué)情混雜控制的持續(xù)改進(jìn)模式如圖2所示,由學(xué)習(xí)效果分析、因果效應(yīng)計(jì)算、改進(jìn)措施提出、課堂實(shí)施構(gòu)成閉環(huán)。在T階段課程質(zhì)量評價(jià)時(shí),首先尋找混雜因子,通過分層控制進(jìn)行學(xué)習(xí)效果分析,構(gòu)建課程教學(xué)因果圖;隨后運(yùn)用后門調(diào)整法,計(jì)算教學(xué)方法對學(xué)習(xí)成果的因果效應(yīng);最后通過因果圖提出針對性的干預(yù)措施,消除混雜因子的影響,改進(jìn)課程教學(xué)。在T+1階段進(jìn)行課堂實(shí)施,通過改進(jìn)措施優(yōu)化教學(xué)設(shè)計(jì),并評價(jià)改進(jìn)效果。針對T+1階段存在的問題,采用上述方法進(jìn)行分析,提出未來T+2階段的改進(jìn)措施。
圖2 基于學(xué)情混雜控制的持續(xù)改進(jìn)模式
2.1 基于考核結(jié)果的學(xué)習(xí)效果分析
某高校通信工程專業(yè)2020年“信息安全”課程以比特幣及其私鑰保護(hù)方案的設(shè)計(jì)、風(fēng)電場通信網(wǎng)絡(luò)安全的現(xiàn)狀與改進(jìn)等為課題,要求學(xué)生進(jìn)行作品設(shè)計(jì)及成果展示。本文收集課程中108名同學(xué)的參與度和考核成績的量化分,其中參與度量化值反映學(xué)生在課程中的積極參與情況,包括調(diào)查問卷取得的學(xué)生周平均投入時(shí)間、是否撰寫實(shí)驗(yàn)指南、是否挑戰(zhàn)其他小組、是否申請擔(dān)任組長、是否發(fā)布作品短視頻等,按照各項(xiàng)權(quán)重計(jì)算所得。
完成課程的學(xué)生參與度量化值基礎(chǔ)分?jǐn)?shù)為40,上限為100??己顺煽冇沙晒麢n案袋評價(jià)得分和期末考試分值共同決定,成果檔案袋評價(jià)得分按照團(tuán)隊(duì)評分和隊(duì)內(nèi)評分的方式,獲得不同的初始分值和計(jì)分系數(shù),最終計(jì)算得到考核成績的量化值。
以參與度X為自變量,考核成績Y為因變量,繪制學(xué)習(xí)效果散點(diǎn)圖如圖3所示。可以看到,學(xué)生參與度較低,且參與度和考核成績兩者并不直接呈現(xiàn)正相關(guān)的關(guān)系。這與數(shù)據(jù)預(yù)期相悖,表明存在混雜因子的干擾,較低的參與度也難以真實(shí)反映課程教學(xué)效果。然而算分法僅能得到孤立的數(shù)據(jù),不能回溯數(shù)據(jù)生成過程,因此引入因果推斷的方法挖掘數(shù)據(jù)間的內(nèi)在聯(lián)系,進(jìn)行混雜控制及持續(xù)改進(jìn)。
圖3 2020年學(xué)習(xí)效果散點(diǎn)圖
2.2 混雜因子分層分析
通過問卷和座談會等形式與學(xué)生交流,初步發(fā)現(xiàn)存在初始績點(diǎn)和發(fā)展預(yù)期兩個(gè)混雜因子。初始績點(diǎn)指學(xué)生大三進(jìn)入本課程時(shí)的綜合績點(diǎn),初始績點(diǎn)不同的學(xué)生往往在學(xué)習(xí)熱情、自我驅(qū)動能力和學(xué)習(xí)方法上有較大差異。學(xué)生的發(fā)展預(yù)期可以簡單分為考研、保研、擇業(yè)三個(gè)大類,根據(jù)實(shí)際教學(xué)情況可以有更為細(xì)致的分類。
不同的發(fā)展預(yù)期決定了學(xué)生在參與課程時(shí)迥然不同的學(xué)習(xí)態(tài)度,尤其在大三的課程中,這三類學(xué)生在專業(yè)課程上投入的精力和時(shí)間有較大的差別。為了分析混雜因子對參與度X與考核成績Y的影響,需要分層進(jìn)行觀測。
將初始績點(diǎn)和發(fā)展預(yù)期綜合為學(xué)情個(gè)性化變量Z,通過調(diào)查問卷收集學(xué)生的職業(yè)發(fā)展期望等因素,對變量Z進(jìn)行分層,受保研和升學(xué)政策影響,“低績點(diǎn)保研”分組實(shí)際不會出現(xiàn),因此分為5層,分別為高績點(diǎn)保研型、高績點(diǎn)就業(yè)型、高績點(diǎn)考研型、低績點(diǎn)就業(yè)型、低績點(diǎn)考研型,依照調(diào)查數(shù)據(jù),該課程每層人數(shù)分別為11人、20人、23人、29人、25人。
通過上述數(shù)據(jù)處理,得到分層后的學(xué)習(xí)效果散點(diǎn)圖如圖4所示。學(xué)生數(shù)據(jù)在每層內(nèi)均具有整體向上的趨勢,這進(jìn)一步說明了學(xué)生個(gè)人能力成長與課程參與度呈正相關(guān)。
分析可知,高績點(diǎn)保研型學(xué)生約占10%,這部分學(xué)生綜合素質(zhì)較強(qiáng),期望課程能給自己帶來新的能力增長點(diǎn),在激烈的保研競爭中獲得更強(qiáng)的競爭力,因此參與度和考核成績都處于相對高位。考研型學(xué)生約占45%,這部分學(xué)生的參與度相對較低,考核成績也較差,他們傾向于付出較少的時(shí)間以通過考核獲取學(xué)分,將主要精力投入考研學(xué)習(xí)中。預(yù)期就業(yè)的學(xué)生情況最為復(fù)雜,既有工程能力突出的實(shí)驗(yàn)室成員,也有雄心勃勃的創(chuàng)業(yè)者,他們的時(shí)間相對充裕,參與度整體居于中層,往往希望課題更加個(gè)性化和有趣味性,以增強(qiáng)參與者的綜合素養(yǎng)。
圖4 2020年分層后的學(xué)習(xí)效果散點(diǎn)圖
2.3 課程教學(xué)因果圖
因果圖作為因果關(guān)系的圖形化表示,便于概括變量之間的內(nèi)在聯(lián)系。它是一個(gè)有向無環(huán)圖(directed acyclic graph, DAG)結(jié)構(gòu),由節(jié)點(diǎn)和箭頭組成,節(jié)點(diǎn)代表變量,箭頭由因指向果。圖5為課程教學(xué)因果圖模型,其中參與度X表征課程教學(xué)方法,考核成績Y表征學(xué)生學(xué)習(xí)成果。顯然,在學(xué)習(xí)過程中,學(xué)生對課程的投入精力直接影響學(xué)習(xí)效果,因此X是Y的父節(jié)點(diǎn)。Z為學(xué)情個(gè)性化變量,由初始績點(diǎn)和發(fā)展預(yù)期綜合而來,同時(shí)對變量X和變量Y產(chǎn)生影響,是X與Y因果關(guān)系中的混雜因子。
圖5 2020年課程教學(xué)因果圖
綜上可知,在“信息安全”課程教學(xué)中選題難度過于均衡,對于綜合素質(zhì)優(yōu)秀者過于簡單,存在邊際效應(yīng)遞減現(xiàn)象;對于基礎(chǔ)較差的學(xué)生而言難度偏高,即使花費(fèi)較多的精力也難以在小組競爭中取得優(yōu)勢。另一方面,選題范圍過窄,展示渠道較少,不利于發(fā)揮學(xué)生的個(gè)人優(yōu)勢和調(diào)動學(xué)生的積極性。
2.4 因果效應(yīng)分析
將X和Y的數(shù)值分為有限且數(shù)目可控的類別,根據(jù)2020年課程教學(xué)中X和Y的情況,將參與度X分為三個(gè)區(qū)間:參與度低為0、參與度中為1、參與度高為2。將考核成績Y分為五個(gè)區(qū)間:40~60分為0、60~70分為1、70~80分為2、80~90分為3、90~100分為4。由式(1)計(jì)算觀測數(shù)據(jù),得到X對Y的真實(shí)因果效應(yīng)。2020年教學(xué)方法對學(xué)習(xí)成果的因果效應(yīng)見表1。
結(jié)合圖4的散點(diǎn)圖和表1的數(shù)據(jù)分布可以看出,參與度低的人數(shù)較多,參與度高的人數(shù)明顯不足,而且參與度低的學(xué)生,獲得較好成績的概率較高,參與度高的學(xué)生,獲得好成績的概率優(yōu)勢不顯著。表明教學(xué)方法X與學(xué)習(xí)成果Y之間的因果關(guān)系不夠明確,受到了較強(qiáng)的混雜干擾。
表1 2020年教學(xué)方法對學(xué)習(xí)成果的因果效應(yīng)(單位: %)
基于上述學(xué)習(xí)效果的分析結(jié)果,為了消除初始績點(diǎn)和發(fā)展預(yù)期的影響,主動控制教學(xué),提出以下三種干預(yù)措施:
1)提供多維度選題。例如,提供科教融合類選題,突出學(xué)生科研能力的基礎(chǔ)建立和提前培養(yǎng);提供產(chǎn)教融合類選題,培養(yǎng)解決復(fù)雜工程問題的能力;提供管理能力類選題,著重于全局意識、責(zé)任意識、管理能力的培養(yǎng),以充分發(fā)揮學(xué)生長處,滿足個(gè)人職業(yè)期待。
2)提供多個(gè)展示渠道。充分發(fā)揮教師和平臺的力量,有的作品長于創(chuàng)意,體現(xiàn)綜合素質(zhì),適合向校內(nèi)外教師展示,有利于提高升學(xué)學(xué)生的參與度;有的作品面向?qū)嶋H工程問題,適合向企業(yè)專家展示,有利于提高就業(yè)學(xué)生的參與度;而更多的純技術(shù)性作品,工程針對性不明顯,更適合課堂展示或開發(fā)實(shí)驗(yàn)供學(xué)生學(xué)習(xí),通過成就感的回饋提高參與者的積極性。
3)提供多層級考核。綜合難度和知識域,將題目進(jìn)行分類并給出不同的難度系數(shù),以適應(yīng)學(xué)生個(gè)人素質(zhì)的差異,使初始狀態(tài)較弱的學(xué)生付出一定的努力,也能較好地完成課程考核。
2021年改進(jìn)措施因果圖如圖6所示,將三種干預(yù)措施綜合為因材施教因子M,聽從于學(xué)情個(gè)性化變量Z,通過個(gè)性化教學(xué)模式影響學(xué)生參與度X,變量Z和變量M在變量X處形成對撞,阻斷了X←Z→Y這一后門路徑,抵消了混雜因子的影響。綜合上述措施,可以充分調(diào)動學(xué)生的積極性,發(fā)揮學(xué)生所長,達(dá)到更好的學(xué)習(xí)效果。
圖6 2021年改進(jìn)措施因果圖
4.1 教學(xué)設(shè)計(jì)
在2021年“信息安全”課程中,按照上一學(xué)年提出的改進(jìn)措施,對課程教學(xué)進(jìn)行了優(yōu)化,圖7為改進(jìn)后的課程教學(xué)框架。
圖7 改進(jìn)后的課程教學(xué)框架
在“信息安全”課程的7個(gè)課程模塊中,設(shè)置9種教學(xué)情境任務(wù),以適應(yīng)各學(xué)生的初始狀態(tài)和發(fā)展預(yù)期。教學(xué)情境任務(wù)如圖8所示。學(xué)生根據(jù)自己的能力和興趣,選擇合適的情境任務(wù)進(jìn)行實(shí)踐。實(shí)踐過程中采用小組合作(group-work, GW)的學(xué)習(xí)模式,強(qiáng)化學(xué)習(xí)者間的互動交流。
圖8 教學(xué)情境任務(wù)
小組學(xué)習(xí)成果采用PPT、短視頻、網(wǎng)頁等多樣化的展示形式,形成長期可查的作品檔案,并向同學(xué)、高校教授、企業(yè)技術(shù)專家等展示作品并征求改進(jìn)意見,提供多樣化的展示渠道。
每個(gè)情境任務(wù)均制定評價(jià)觀測點(diǎn)證據(jù)評估表,在進(jìn)行相應(yīng)情境任務(wù)之前發(fā)布。以情境任務(wù)S6為例,其評價(jià)觀測點(diǎn)證據(jù)評估表見表2,其中相關(guān)性指作品與該評價(jià)觀測點(diǎn)所列證據(jù)的相關(guān)強(qiáng)度,可靠性指作品對該評價(jià)觀測點(diǎn)所列證據(jù)是否真實(shí)可靠,按強(qiáng)度由低到高給出1~5分。課堂上針對作品的相關(guān)性和可靠性,經(jīng)由自評、互評、教師評價(jià),對作品進(jìn)行考核評分。根據(jù)評價(jià)結(jié)果,挑選出優(yōu)秀作品在學(xué)校流媒體平臺上發(fā)布。
表2 情境任務(wù)S6評價(jià)觀測點(diǎn)證據(jù)評估表
課程最終考核成績由成果檔案袋評價(jià)情況和期末考試分?jǐn)?shù)共同決定。一輪成果檔案袋展示后,挑選出幾個(gè)最優(yōu)秀的作為課程學(xué)習(xí)成果,要求全體同學(xué)都達(dá)到該成果的認(rèn)知層級。在期末考試時(shí),以此認(rèn)知平臺為基礎(chǔ)出考核題目。題目依據(jù)難度分為三類,成績難度系數(shù)分別為1、0.9和0.8。
4.2 改進(jìn)效果評價(jià)
取2021年“信息安全”課程中108名同學(xué)的參與度和考核成績,以參與度X為自變量,以考核成績Y為因變量,參與度和考核成績的度量方式與2.1節(jié)一致,得到改進(jìn)后的學(xué)習(xí)效果散點(diǎn)圖如圖9所示。與圖4相比,圖9中X與Y的關(guān)系接近一次函數(shù),且散點(diǎn)簇集中在中高區(qū)域,表明學(xué)生參與度明顯提高,考核成績大幅上升。
圖9 2021年分層學(xué)習(xí)效果散點(diǎn)圖
圖10展示了改進(jìn)前后學(xué)生的參與度分布,X的取值眾數(shù)由0變?yōu)?,說明在教學(xué)改進(jìn)后多數(shù)學(xué)生表現(xiàn)出較強(qiáng)的學(xué)習(xí)積極性。表3為2020年和2021年學(xué)生的成績數(shù)據(jù)統(tǒng)計(jì),可以看出2021年學(xué)生成績的均值比2020年的提高了9分左右,改進(jìn)后能取得更好的學(xué)習(xí)效果。
圖10 改進(jìn)前后學(xué)生參與度分布
表3 2020年和2021年學(xué)生成績數(shù)據(jù)統(tǒng)計(jì)
表4為實(shí)際改進(jìn)之后X對Y的真實(shí)因果效應(yīng),將表1與表4的概率分布數(shù)據(jù)按X的取值分組進(jìn)行對比如圖11所示??梢钥吹?,改進(jìn)后不僅參與度低的人數(shù)顯著減少,參與度高的人數(shù)顯著增加,而且參與度低的學(xué)生獲得較好考核成績的概率明顯降低,參與度高的學(xué)生獲得高分的概率明顯提升。因此,改進(jìn)后教學(xué)方法(干預(yù))X對學(xué)習(xí)成果Y的因果效應(yīng)顯著增強(qiáng)。
表4 2021年教學(xué)方法對學(xué)習(xí)成果的因果效應(yīng)(單位: %)
圖11 表1與表4概率分布對比
以上數(shù)據(jù)均表明干預(yù)取得良好的成效,基于學(xué)情混雜控制的持續(xù)改進(jìn)模式具有科學(xué)性和有效性。
4.3 下一輪改進(jìn)措施
從圖9可以看到,仍有少數(shù)學(xué)生參與度較低但考核成績較高。通過問卷和座談會了解到,部分學(xué)生只關(guān)注自己的課堂表現(xiàn)和課程成績,不愿意與同學(xué)合作和分享。全球持續(xù)發(fā)展目標(biāo)提出全方位要求,教育工作者的責(zé)任在于,引導(dǎo)學(xué)生實(shí)現(xiàn)自我成長,能夠適應(yīng)持續(xù)快速發(fā)展的社會、技術(shù)環(huán)境,包括多元化與包容性團(tuán)隊(duì)合作與溝通能力的培養(yǎng)。運(yùn)用因果圖分析,教學(xué)方法X(處理)除參與度外,還具有“分享動力”屬性,作為新的度量值,亦受混雜因子“學(xué)情個(gè)性化變量”影響。2021年課程教學(xué)因果圖如圖12所示。
圖12 2021年課程教學(xué)因果圖
2022年改進(jìn)措施因果圖如圖13所示,通過“因材施教因子”節(jié)點(diǎn)M改進(jìn)評分標(biāo)準(zhǔn),增設(shè)“合作共享”考核項(xiàng),合作共享的評價(jià)標(biāo)準(zhǔn)見表5,節(jié)點(diǎn)M與混雜因子Z在X處形成對撞,分析認(rèn)為可有效改進(jìn)學(xué)情個(gè)性化變量相應(yīng)分層對象對X的影響,從而提高X的分享動力值,改進(jìn)X對Y的因果效應(yīng)。該改進(jìn)措施將在2022年的教學(xué)中進(jìn)行課堂實(shí)施。
圖13 2022年改進(jìn)措施因果圖
表5 合作共享的評價(jià)標(biāo)準(zhǔn)
采用信息化技術(shù)為教學(xué)改進(jìn)提供指導(dǎo),是教育科學(xué)的發(fā)展趨勢。本文提出了基于學(xué)情混雜控制的持續(xù)改進(jìn)模式,挖掘出初始績點(diǎn)和發(fā)展預(yù)期這兩個(gè)混雜因子,構(gòu)建因果圖并采用后門調(diào)整法計(jì)算因果效應(yīng),從而提出針對性改進(jìn)措施。通過優(yōu)化教學(xué)設(shè)計(jì),有效增強(qiáng)了教學(xué)方法對學(xué)習(xí)成果的因果效應(yīng),驗(yàn)證了本文所述改進(jìn)模式切實(shí)有效,對教育改革具有重要參考價(jià)值。
然而本文在因果效應(yīng)計(jì)算中,弱化了實(shí)際情況下不同干預(yù)措施對“參與度”、“考核成績”等關(guān)鍵變量的相關(guān)性差異,在后續(xù)的工作中,如何更準(zhǔn)確地評估不同干預(yù)措施與各關(guān)鍵變量之間的相關(guān)度,是需要進(jìn)一步研究的內(nèi)容。
本文編自2022年第10期《電氣技術(shù)》,論文標(biāo)題為“基于學(xué)情混雜控制的課程質(zhì)量評價(jià)持續(xù)改進(jìn)模式研究”,作者為龍璇、段斌、柯其聰,本課題得到湖南省學(xué)位與研究生教育教改研究重大項(xiàng)目、湖南省新工科研究與實(shí)踐項(xiàng)目的支持。