摘要
摘要：課堂評價是教育評價的核心環節。文章基于人工智能(néng)等最新的信息技術，結合課堂評價的需求，在全球範圍内，首次給出了課堂教學(xué)自動評價的定義，構建了課堂教學(xué)自動評價理論，并在自動考勤、學(xué)習注意力分析、基于對(duì)話文本的師生對(duì)話與互動評價等方面(miàn)都(dōu)取得了初步研究成(chéng)果。與傳統的課堂評價技術相比，課堂教學(xué)自動評價具有全員、全程、全自動、高采樣(yàng)率、無擾、客觀等優點，使規模化、常态化課堂教學(xué)過(guò)程評價成(chéng)爲可能(néng)。
關鍵詞：課堂評價；學(xué)習情感；自動考勤
引言 課堂評價是改進(jìn)教學(xué)質量的關鍵技術，主要包括課堂教學(xué)信息采集與和信息處理這(zhè)兩(liǎng)個部分。一般而言，結構化的教學(xué)信息可以進(jìn)行自動化的信息處理，如弗蘭德斯互動分析系統（Flanders Interaction Analysis System，FIAS）生成(chéng)的師生互動1～10的行爲編碼和調查問卷生成(chéng)的等級打分；而非結構化的教學(xué)信息則難以進(jìn)行自動化的信息處理，如人種(zhǒng)志、課堂觀察報告等文本材料。爲了生成(chéng)能(néng)夠進(jìn)行自動處理的課堂信息，目前主流的方法是采用課堂測試生成(chéng)測試分數、調查問卷生成(chéng)等級分數、符号化的課堂觀察、課堂教學(xué)場景的編碼等人工生成(chéng)方法，但這(zhè)些方法具有人工參與程度高、人工費用高、客觀性難以保障等缺陷，難以實施常态化、規模化、自動化的教學(xué)信息采集。 近年來，由于信息技術、特别是以深度學(xué)習爲基礎的人工智能(néng)技術的快速發(fā)展，研究者將(jiāng)計算機技術引入課堂評價中，嘗試進(jìn)行教學(xué)信息的自動化采集，包括：①采用電子白闆、電子書包、錄播教室等教育設備來記錄一些過(guò)程性的教學(xué)信息；②采用刷卡、刷指紋、刷臉等信息設備進(jìn)行課堂自動考勤；③采用姿态識别技術對(duì)學(xué)生的聽課姿态進(jìn)行采集與評價；④采用表情識别技術對(duì)學(xué)生的學(xué)習表情進(jìn)行采集與評價；⑤采用語音情感識别技術對(duì)教師的授課情感進(jìn)行采集與評價；⑥采用電子投票器Clicker或手持智能(néng)設備采集學(xué)生的問題回答信息等。到目前爲止，這(zhè)些方法都(dōu)是采用單一的信息技術或教育設備對(duì)單一指标的課堂教學(xué)信息進(jìn)行自動采集與評價，從應用情況來看，這(zhè)些課堂教學(xué)信息自動采集技術還(hái)都(dōu)停留在研究階段，尚還(hái)未呈現出大規模應用之勢。 從課堂教學(xué)信息自動采集到自動處理，目前國(guó)内外鮮有關于課堂教學(xué)自動評價理論的研究成(chéng)果。因此，本研究綜合弗蘭德斯互動分析系統所得的定量數據易于自動分析、LICC（Learning, Instruction, Curriculum, Culture）課堂觀察可以對(duì)課堂教學(xué)進(jìn)行整體評價的優點，利用人臉識别、表情識别、注意力分析、姿态識别、文本情感識别、情感計算、深度學(xué)習等信息技術對(duì)課堂評價自動化進(jìn)行的系統研究，提出了課堂教學(xué)自動評價理論，并給出了其在課堂評價領域的初步研究成(chéng)果。文章主要進(jìn)行了如下研究工作： ①從信息技術角度對(duì)目前課堂評價研究進(jìn)行總結與反思，得出現有課堂評價方法難于滿足常态化、規模化課堂評價需求的結論；基于人工智能(néng)、情感技術等最新的信息技術，首次給出了課堂教學(xué)自動評價的定義，即“課堂教學(xué)自動評價是一個全新的教育研究方向(xiàng)，既是一項對(duì)課堂教學(xué)衆多評價指标進(jìn)行量化建模、自動分析與評價、服務于課堂評價實踐的計算機應用技術，也是一項改進(jìn)課堂教學(xué)效果的教育技術”；同時，構建了關于課堂教學(xué)自動評價的一套完整、系統的理論架構，爲課堂教學(xué)自動評價研究奠定了理論基礎。 ②爲了滿足廣大任課教師與課堂評價人員對(duì)實用課堂評價工具的需求，本研究提出了一種(zhǒng)基于師生對(duì)話文本的課堂教學(xué)自動分析與評價方法，其先從課堂教學(xué)視頻獲取師生對(duì)話文本，再基于師生互動對(duì)課堂教學(xué)場景進(jìn)行分類，然後(hòu)使用文本處理技術，將(jiāng)連續的課堂教學(xué)過(guò)程自動離散爲一個課堂教學(xué)場景時序序列，實現對(duì)課堂教學(xué)過(guò)程的可視化分析與評價[1]。 ③使用深度學(xué)習技術對(duì)教室内的所有學(xué)生進(jìn)行人臉識别與姿态識别，對(duì)課堂教學(xué)過(guò)程進(jìn)行多時間點的自動考勤，考勤指标包括：曠課、遲到、早退、随意進(jìn)出教室、不認真聽講，實現對(duì)課堂教學(xué)的全員、全過(guò)程、全自動、多指标的實時考勤[2]。 ④對(duì)于課堂教學(xué)過(guò)程離散出來的教學(xué)場景時序序列，使用不同的信息技術對(duì)一個個具體的教學(xué)場景進(jìn)行準靜态分析，主要對(duì)學(xué)生的聽課姿态、注意力、表情、學(xué)習情感等參數進(jìn)行自動分析與評價[3][4][5]。 一 課堂評價研究的反思與改進(jìn) 1 定量與定性課堂評價的優缺點分析 定量課堂評價指通過(guò)課堂測驗、師生互動編碼、問卷（評價量表）等手段對(duì)評價數據進(jìn)行自動分析與評價。目前，對(duì)課堂教學(xué)進(jìn)行定量評價的途徑主要有四個：①使用課堂測驗來獲取學(xué)生對(duì)知識吸收情況的定量數據；②使用問卷來獲取學(xué)生對(duì)課堂教學(xué)評價的定量數據；③使用與FIAS相類似的技術來獲取每3秒一個編碼的師生互動行爲分析數據；④課堂觀察人員使用符号獲取某些教學(xué)指标的定量數據。定量課堂評價的缺點在于取得定量數據的工作量比較大，但具有使用定量數據進(jìn)行自動評價的優勢。受技術的限制，目前定量課堂評價的應用範圍比較小。 與定量課堂評價相比，定性課堂評價通過(guò)課堂觀察和課後(hòu)座談的形式，可以直觀地對(duì)課堂教學(xué)進(jìn)行評價，評價人員可以根據經(jīng)驗與需求、直接對(duì)課堂教學(xué)效果進(jìn)行評價，限制因素比較少，所以目前課堂評價大多采用定性課堂評價。但從發(fā)展的眼光來看，定性課堂評價也有全人工評價造成(chéng)的評價費用高、難以進(jìn)行持久的大規模評價、用人進(jìn)行評價難以避免主觀性評價所造成(chéng)的不客觀等缺陷。因此，爲了對(duì)課堂教學(xué)進(jìn)行大規模持久的監測與評價，獲取客觀的教育大數據，實現大地域、多樣(yàng)本、全過(guò)程的課堂評價，發(fā)展課堂教學(xué)定量評價技術勢在必行。 2 專業人士對(duì)現有課堂觀察與課堂評價的反思 相比于傳統的範式評價，基于課堂觀察的課堂評價更有助于了解課堂的真實性。以課堂觀察作爲主要手段的課堂評價研究與實踐也存在一些無法回避的局限性，王陸等[6]從教師、校長(cháng)、旁觀者、研究者及其自身對(duì)于課堂觀察進(jìn)行了諸多反思。綜合起(qǐ)來，現有的課堂觀察與課堂評價主要存在如下局限性： （1）碎片化。從某種(zhǒng)程度上講，課堂觀察是對(duì)課堂的精細化解構，一節課被(bèi)量表、指标分解得支離破碎，各個觀察的視點不一定是一節課最爲有力的切入點。我們常常會看到各觀察者（組）相互獨立的觀察數據，而它們之間的聯系和意義的建設對(duì)于隻關注自己這(zhè)部分的觀察者來說是很難輕易把握的，因此教師會擔心：“這(zhè)樣(yàng)的觀察是否丢失了整體性？” （2）貴族化與運動化。“貴族化傾向(xiàng)”是指在一些學(xué)校，課堂觀察成(chéng)爲個别精英教師的專利，變成(chéng)僅供人觀賞的“盆景”，而大多數教師成(chéng)爲學(xué)校課堂觀察的旁觀者和邊緣者。一些學(xué)校的領導和教師在潛意識中認爲搞課堂觀察煩瑣，會浪費時間，存在嚴重的畏難情緒，隻在遇到檢查或參觀時才倉促應戰，而在日常的聽課、評課活動中排斥這(zhè)種(zhǒng)方法，使課堂觀察變成(chéng)搞“運動”。 （3）形式化與模式化。一些地方的課堂觀察活動搞一刀切，不管學(xué)校的學(xué)情和教師的教情，完全照搬他人的模式。而事(shì)實上，由于背景、文化、基礎等存在差異，課堂觀察的方式、方法也要因人而異，應該引導教師選擇合乎實際的手段和具體方式。學(xué)校應指導教師百花齊放、不拘一格，并鼓勵教師開(kāi)拓創新，真正在有效性上下功夫。 （4）功能(néng)化。觀察者隻觀察限定的維度、限定的問題，觀察分工有知覺功能(néng)上的“分裂主義”味道(dào)。科學(xué)主義的聽評課會帶來這(zhè)樣(yàng)的結果：①感受缺失。課堂觀察如果缺少了感受，就不會産生審美愉悅，從而會蛻變爲一種(zhǒng)教學(xué)負擔，也就不具有長(cháng)久的生命力。②靈性被(bèi)束縛。當教師了解觀察者的觀察意圖後(hòu)，可能(néng)會將(jiāng)觀察意圖轉換爲一種(zhǒng)教學(xué)訴求。太細化的教學(xué)聽評課會限制教學(xué)主體性的發(fā)揮，從而束縛教學(xué)的靈性。③視點散化。長(cháng)期的規範訓練會使教師頭腦中隻有量表，而丢失了自我。 （5）背景割裂化。課堂研究可以在一定程度上說明課堂的問題，卻難以說明影響課堂的社會因素問題。在教師的教學(xué)水平達到一定的程度、具備基本的教學(xué)條件後(hòu)，教師水平、技巧和課堂中物質條件等因素并不構成(chéng)教學(xué)質量問題的關鍵，課堂之外社會的、家庭的、環境的因素才是深層次發(fā)生影響的重要因素。以課堂觀察爲主要技術的課堂研究，對(duì)于教師提高課堂技藝，以及學(xué)生改善課堂行爲确實有效，但教育質量的整體提高僅通過(guò)這(zhè)種(zhǒng)局部的、微觀的研究是難以徹底達成(chéng)的。 3 課堂評價與課堂觀察的改進(jìn)方向(xiàng) 爲滿足基礎教育質量監測的需求，本研究通過(guò)與北師大教育評價、心理、教育技術領域專家的互動，結合筆者在課堂教學(xué)自動評價研究的心得，針對(duì)現有課堂觀察方式的不足之處，就未來基于課堂觀察的課堂評價提出了如下改進(jìn)建議：①無擾觀察。課堂觀察不應該給教學(xué)過(guò)程帶來任何幹擾，以保持課堂教學(xué)的原生态，得出真實的課堂觀察和課堂評價結果。因此，應該使用攝像頭代替教師進(jìn)行課堂觀察，基于課堂教學(xué)視頻進(jìn)行課堂觀察與課堂評價。②公平評價。要盡可能(néng)使用計算機進(jìn)行課堂評價，或參與評價的人員數量盡可能(néng)多，以保證評價結果盡可能(néng)公平。③量化評價指标。爲了便于進(jìn)行後(hòu)續的計算機自動分析與評價，課堂觀察與評價要盡量采用量化指标進(jìn)行評價，即使對(duì)于評價人員給出的評價文本，也要采用文本分析技術進(jìn)行評價指标量化處理。④主客觀協同評價。受限于信息技術發(fā)展的水平，無法對(duì)所有的課堂觀察指标進(jìn)行客觀評價，還(hái)需要評價人員對(duì)一些計算機無法評價的指标進(jìn)行主觀評價，最後(hòu)進(jìn)行主客觀協同評價，以擴大評價範圍。⑤評價結果成(chéng)體系綜合化。對(duì)于主客觀協同評價得出的數據要進(jìn)行計算機自動分析與處理，輸出成(chéng)體系綜合化的評價結果，消除現有課堂評價常常出現的碎片化問題，便于教育用戶使用。⑥課堂評價過(guò)程的自動化。爲了降低評價人員的勞動強度，滿足大規模課堂評價需求，必須盡可能(néng)地使課堂評價自動化，降低課堂評價的人力費用。⑦提高課堂評價系統的易用性。爲了擴大課堂評價的應用範圍，課堂評價系統要提高易用性，易于上手、易于熟悉，盡量使具有本科水平的教師能(néng)夠直接使用課堂評價系統對(duì)自己的課堂進(jìn)行評價。 二 課堂教學(xué)自動評價理論 課堂教學(xué)自動評價的定義是：一個全新的教育研究方向(xiàng)，既是一項對(duì)課堂教學(xué)衆多評價指标進(jìn)行量化建模、自動分析與評價、服務于課堂評價實踐的計算機應用技術，也是一項改進(jìn)課堂教學(xué)效果的教育技術。作爲主要由計算機與教育進(jìn)行交叉的科研方向(xiàng)，課堂教學(xué)自動評價需要具有足夠的靈活性，以滿足不同課堂教學(xué)類型的評價需求。爲此，本研究設計了如圖1所示的課堂教學(xué)自動評價流程，其目的是使用計算技術，盡量將(jiāng)教育評價專業人員從繁瑣重複的規範性評價工作中解放出來，使他們將(jiāng)精力投向(xiàng)計算機技術難于處理的評價工作中。 如圖1所示，爲了盡量減少教育評價專業人士的工作量，課堂教學(xué)自動評價理論將(jiāng)傳統的教師先随班觀察、後(hòu)給出結論的課堂評價過(guò)程進(jìn)行了深度細化，劃分爲采集課堂教學(xué)高清視頻、基于視頻生成(chéng)師生對(duì)話文本、基于對(duì)話文本將(jiāng)課堂教學(xué)過(guò)程解構爲教學(xué)場景時間序列、精确标注課堂教學(xué)場景、對(duì)課堂教學(xué)自動地進(jìn)行簡單評價、教學(xué)場景準靜态分析、采集家長(cháng)與專業人士的主觀評價、課堂教學(xué)綜合評價、輸出評價結果、生成(chéng)評價報告等共10步評價操作，以便于使用視頻采集、語音輸入、文本編碼、文本與視頻分析、數據分析、模式識别、信息融合等計算機技術對(duì)課堂教學(xué)進(jìn)行自動分析與自動評價。需要教育評價專業人員參與的工作被(bèi)壓縮到：課堂教學(xué)場景标注的手動更正、基于視頻的主觀評價（可以省略）、撰寫評價報告這(zhè)三步操作。因此，課堂教學(xué)自動評價可以減少評價人員的工作量、豐富評價指标、擴大課堂評價範圍。
圖1 課堂教學(xué)自動評價的框架與工作流程 三 基于師生對(duì)話文本的課堂 教學(xué)自動評價[7] 從課堂教學(xué)視頻中可以獲得師生對(duì)話文本，包括每一句話的順序、内容、起(qǐ)始時刻、結束時刻。爲了使用對(duì)話句進(jìn)行基于句子的教學(xué)場景自動編碼（Sentence-based Automatic Coding，SAC），本研究基于師生互動行爲對(duì)課堂教學(xué)行爲進(jìn)行了分類，共分爲9個一級行爲和33個二級行爲。使用文本編譯技術可以對(duì)師生對(duì)話文本進(jìn)行編譯，獲得SAC自動編碼。基于師生對(duì)話文本和教學(xué)場景編碼，可以對(duì)課堂教學(xué)過(guò)程進(jìn)行全過(guò)程、全自動的可視化分析與評價。如圖2所示，將(jiāng)連續的課堂教學(xué)過(guò)程離散爲教學(xué)場景時序序列以後(hòu)，就可以基于一節課的課堂教學(xué)場景編碼結果，不僅能(néng)夠對(duì)一級教學(xué)行爲分布進(jìn)行可視化分析，還(hái)能(néng)夠對(duì)一級教學(xué)行爲内的二級教學(xué)行爲進(jìn)行可視化分析，進(jìn)而對(duì)課堂教學(xué)進(jìn)行直觀的評價，評價結果不依賴評價人員的好(hǎo)惡，因此客觀性比較好(hǎo)。 （A）一級行爲可視化分布 （B）二級行爲可視化分布 圖2 基于課堂教學(xué)場景的可視化自動評價 四 基于計算機視覺技術的課堂 教學(xué)自動評價 1 基于深度學(xué)習的課堂教學(xué)自動考勤[8] 課堂考勤作爲課堂教學(xué)日常評價的重要基礎環節，對(duì)課堂教學(xué)質量有著(zhe)重要的作用。使用深度學(xué)習技術對(duì)課堂教學(xué)高清視頻中的全部學(xué)生進(jìn)行自動人臉檢測與識别，實現課堂教學(xué)的全程無擾全自動考勤，不僅可以對(duì)曠課、遲到、早退、随意出入教室這(zhè)4項常規考勤指标進(jìn)行監測，而且可以對(duì)學(xué)生的不認真聽講情況進(jìn)行監測。如圖3所示，本研究使用基于深度學(xué)習技術的人臉識别軟件SeeTaFace[9]，可以獲得滿意的人臉識别效果。 圖3 SeeTaFace人臉識别效果 2 基于學(xué)生學(xué)習注意力分析的課堂教學(xué)自動評價[10][11] 在教室前後(hòu)牆的中間位置進(jìn)行吸頂安裝兩(liǎng)隻攝像頭。如圖4（A）所示，前攝像頭的視頻用于識别學(xué)生人臉、檢測臉部特征點、計算出學(xué)生的空間位置/頭部姿态/面(miàn)部法線的指向(xiàng)。如圖4（B）所示，後(hòu)攝像頭的視頻用于將(jiāng)學(xué)生面(miàn)部法線投射到視場中，進(jìn)行注意力的可視化表示，黑闆前進(jìn)行闆書的教師脖子旁處的圓點就是教室中聽課學(xué)生的視線投射點。 （A）前攝像頭的視場 （B）後(hòu)攝像頭的視場 圖4 基于前後(hòu)攝像頭的學(xué)習注意力分析系統 根據學(xué)生聽課的注意力分析結果，可以對(duì)學(xué)生的學(xué)習狀态粗略地進(jìn)行分類。如圖5（A）所示，當學(xué)生注意力聚焦于授課教師時，說明學(xué)生學(xué)習處于專注狀态。如圖5（B）所示，當學(xué)生注意力遊離于黑闆外邊時，說明學(xué)生學(xué)習處于漠視狀态。此外，當學(xué)生注意力沒(méi)有聚焦于教師、但還(hái)看著(zhe)黑闆時，則說明學(xué)生學(xué)習不夠專注，但處于關注狀态，即還(hái)保持對(duì)授課内容的關注。 （A）專注：視線聚焦于教師 （B）漠視：視線遊離出黑闆右側 圖5 基于前後(hòu)攝像頭的學(xué)習注意力分析系統 3 基于學(xué)生學(xué)習表情分析的課堂教學(xué)自動評價[12] 通過(guò)收集并分析一線教師和教育研究人員關于學(xué)生聽課表情的相關論述，同時通過(guò)觀看教學(xué)視頻對(duì)真實課堂教學(xué)所做的大量觀察，本研究首先將(jiāng)學(xué)習表情粗分爲愉悅（Joy）、驚訝（Sur）、專注（Foc）、困惑（Con）、走神（Dis）等5類，然後(hòu)自建了一個專用于課堂教學(xué)自動評價的學(xué)習表情數據庫，最後(hòu)開(kāi)發(fā)了一個基于學(xué)習表情識别的課堂教學(xué)自動評價系統。 如圖6所示，本研究對(duì)一堂課前15分鍾視頻中的一個學(xué)生進(jìn)行表情識别，表情分析結果表明：課堂教學(xué)剛開(kāi)始的4～5分鍾，由于精神集中，對(duì)于教師所導入的教學(xué)材料，該生呈現了較好(hǎo)的學(xué)習表情，表情主要爲愉悅和專注；随著(zhe)教師講授新知識點，該生出現了較多的困惑、走神表情，說明該生在理解上出現了困難；在後(hòu)5分鍾，教師對(duì)新知識點進(jìn)行鞏固教學(xué)，該生的困惑/走神表情減少，出現了較多的專注/驚訝/愉悅表情，說明該生吸收、掌握了這(zhè)個知識點。因此，學(xué)習表情分析可以對(duì)學(xué)生的聽課效果進(jìn)行評價，即使用表情識别技術可以對(duì)課堂教學(xué)過(guò)程中的學(xué)生聽課效果進(jìn)行自動評價。 圖6 課堂教學(xué)前15分鍾的一名學(xué)生的表情分析結果 五 結語 本研究首先系統地介紹了課堂教學(xué)自動評價理論，接著(zhe)依次介紹了在基于師生對(duì)話文本的課堂自動評價和基于計算機視覺技術的課堂教學(xué)自動評價（包括自動考勤、學(xué)習注意力分析和學(xué)習表情分析）、課堂教學(xué)自動考勤、學(xué)生學(xué)習注意力/學(xué)習表情/學(xué)習情感分析技術等方面(miàn)取得的初步研究成(chéng)果。本研究認爲課堂教學(xué)自動評價是一項非常有前景的課堂評價技術,能(néng)夠對(duì)課堂教學(xué)進(jìn)行常态化、規模化課堂評價，但課堂教學(xué)自動評價應該結合課堂教學(xué)的實際需求開(kāi)展研究，以切實改善課堂教學(xué)質量爲主要突破方向(xiàng)，避免單純追求技術進(jìn)步的教具式改進(jìn)研究，同時也要适度考慮師生的個人隐私保護問題。 參考文獻 [1][7]Lu J, Wang D, Luo Z Y. Automatic evaluation of teacher-student interaction based on dialogue text[A]. Education, management and computing technology[C]. Paris: Atlantis Press, 2017:1517-1522. [2][8]Wang D, Fu R, Luo Z Y. Classroom attendance auto-management based on deep learning[A]. Education, management and computing technology[C]. Paris: Atlantis Press, 2017:1523-1528. [3][10]Li D X, Liu H, Chang W Q, etc. Visualization analysis of learning attention based on single-image PnP head pose estimation[A]. Education, management and computing technology[C]. Paris: Atlantis Press, 2017:1508-1516. [4][11]Li D X, Luo Z Y, Chang W Q. The study on problems and their answer in elementary education quality monitoring[J]. Science innovation, 2017,(4):220-226. [5][12]Tang C G, Xu P F, Luo Z Y, etc. Automatic facial expression analysis of students in teaching environment[A]. Biometric recognition[C]. Switzerland: Springer International Publishing, 2015:439-447. [6]王陸,張敏霞.課堂觀察方法與技術[M].北京:北京師範大學(xué)出版社,2012:223-230. [9]GitHub. SeeTa Face引擎 [OL]. <https://github.com/seetaface/SeetaFaceEngine>
