九游体育官网SKT不断突破!,费德勒连续五场比赛得分超过出色防守引发球迷热议的简单介绍
2006年进入中国的TOEFL- iBT考试(Internet Based Test)到去年底刚好10周年。
换句话说……
托其之福……
“托福”已经折磨了我们中国留学生……整整10年了。
但还没完……
因为最近听说托福考试系统要升级……
正当国内孩子通过10年的时间已经基本适应和掌握了其学习方法而欢欣鼓舞之时……
ETS( ETS, Educational Testing Service)却紧跟人工智能的大方向,公开计划着如何升级系统,继续折磨广大考生,并理直气壮的发布了托福口语测试新研究方向的一些资讯。
别急,人家升级防火墙,我们就不能继续研究怎么翻墙了?那么今天就试图在本文中结合大量干货和近一年阅读的ETS Research Report和其他学术文献,对口语测试的改革方向给各位家长和还未脱离苦海的孩子先预热下,打一针预防针。
目前标准化语言考试的口语测试有两种形式:
托福的机考答题模式
雅思的真人对话模式
托福机考答题模式的缺陷很明显:
即它不是interactive(互动式)的,题目不会随着考生的回答内容而发生改变。
真实语言应用场景包括学术场景如课堂问答中,口语的呈现方式更多的是对话互动。
因此现有的托福口语测试模式与实际语言应用能力依然有一定程度的脱节。
雅思口语测试则以真人interlocutor(俗称考官)和考生之间的对话展开
考官根据考生的回答内容做适当回应和引领。
貌似完美,但依然存在两个问题:
首先是这种形式很难规模化
其次是研究表明此模式下评分因为受到考官个体因素的影响而可靠度不佳(Brown, 2005)。(换句话说,如果考官昨天刚被人劈腿,或者是刚被勇士怼翻的骑士队球迷……)
面对现状,ETS在研发下一代口语测试系统(Multimodal Dialog System-多模式对话系统)的工作中必须做到:
可规模化;
对话互动进行;
可验证身份的单个考生参加(防止作弊和替考);
无真人考官参与;以及
评分可靠。
从目前ETS公开发布的资料显示,Multimodal Dialog System的技术框架已经搭建完成。
该框架基于叫做HALEF(Help Assistant – Language-Enabled and Free)的框架体系,由数个开源的模块组成(Ramanarayanan et al.九游体育, 2017)。
简单示意图如下:
ETS目前已经使用此框架创建了数个互动的口语task,其中既有电脑发起的任务,也有考生发起的任务(Ramanarayanan et al., 2015)。
以下是一个考生发起的任务的流程图,
在该任务中考生被要求询问并接受“顾客”的披萨订单:
在下一代口语测试中,ETS试图做到实时自动评分。
目前的研究方向主要是对一套称为SpeechRaterSM Automated Scoring判分系统做出改良,新系统会包含三个部分:
话语辨识单元
语言特征计算模型
评分模型
这里所谓的语言特征包括:发音、流利度、语调、节奏、词汇使用和语法。
所有的标准与真人rater(判分员)的标准保持一致,以此来保证实时自动评分的可信度,并防止考生讨巧地展现某些与得分点相关却不能反映真实能力水平的的语言特征。
同时,ETS亦在分析是否可以包含更多模式的信息进入评分或协助评分,
这些信息可以是头部位置、目光、脸部表情和肢体语言(看到脸部表情时提醒各位爱美的小姐姐考生们注意微整形和化浓妆的后果)
(Chen, Leong, Feng, Lee & Somasundaran, 2015)。
从可得的研究报告中可以知道:
MultimodalDialogue System的研发工作已经进入最后的系统集成验证的阶段。
截止2016年9月,ETS已经进行了超过2万次的对话实验(Ramanarayananet al., 2016),话语辨识、考生身份验证、评分等模块在单独运行时皆表现良好。
接下去的工作是集成整个系统,采集数据,去除bug,使整套系统达到可运营的状态。
看到这里,我想各位可以松了一口气了,人工智能时代ETS也是希望能给我们的考生们提供跟好的服务和更公平,准确的评测标准,虽然目前的信息还不足以指导教学的变革,但我们会继续保持跟踪,为任何考试改革做好学术上的准备。
无论“防火墙”怎么升级,我们的英语学术能力准备的够早、够扎实、备考技能够瓷实才是托福110以上的王道。
参考文献:
Brown, A. (2005). Interviewer variability inoral proficiency interviews, Frankfurt am Main, Germany:九游娱乐 Peter Lang.
Chen, L., Feng, G., Joe, J., Leong, C., Kitchen,C., & Lee, C. (2014). Towards automated assessment of public speakingskills using multimodal cues. In Proceedings of the 16th InternationalConference on Multimodal Interaction (pp. 200–203). New York, NY: ACM. https://doi.org/10.1145/2663204.2663265
Chen, L., Leong, C. W., Feng, G., Lee, C. M.,& Somasundaran, S. (2015). Utilizing multimodal cues to automaticallyevaluate public speaking performance. In 2015 International Conference onAffective Computing and Intelligent Interaction (ACII) (pp. 394–400). Piscataway, NJ: IEEE.https://doi.org/10.1109/ACII.2015.7344601
Dehak, N.,Kenny, P.,Dehak,R., Ouellet,P.,&Dumouchel, P. (2011). Front end factor analysis for speakerverification. IEEE Transactions on Audio, Speech and Language Processing,19(4), 788–798.https://doi.org/10.1109/TASL.2010.2064307
Lei, Y., Scheffer,M., Ferrer, L., &McLaren,M.(2014). A novel scheme for speaker recognition using a phonetically-aware deepneural network. In 2014 IEEE International Conference on Acoustics, Speechand Signal Processing (ICASSP) (pp. 1695–1699). Piscataway, NJ: IEEE.https://doi.org/10.1109/ICASSP.2014.6853887
Minessale, A., & Schreiber, D. (2012). FreeSWITCHcookbook. Birmingham, England: Packt. Qian, Y., Tao, J., Suendermann-Oeft,D., Evanini, K., Ivanov, A., & Ramanarayanan, V. (2016).Metadatasensitive bottleneck features for speaker recognition with non-nativespontaneous speech. Unpublished manu.
Ramanarayanan, V., Chen, L., Leong, C., Feng, G.,& Suendermann-Oeft, D. (2015). Evaluating speech, face, emotion and bodymovement time-series features for automated multimodal presentation scoring. InProceedings of the 2015 ACM International Conference on MultimodalInteraction (pp. 23–30). New York, NY: ACM. https://doi.org/0.1145/2818346.2820765
Ramanarayanan, V., Suendermann-Oeft, D., Ivanov,A., & Evanini, K. (2015). A distributed cloud-based dialog system forconversational application development. In Proceedings of the 16th annualmeeting of the Special Interest Group on Discourse and Dialogue (pp. 432–434). Stroudsburg, PA: Association forComputational Linguistics.
Ramanarayanan, V., Suendermann-Oeft, D., Lange,P., Ivanov, A., Evanini, K., Yu, Z., … Qian, Y. (2016). Bootstrapping development of a cloud-based spokendialog system from scratch using crowdsourced data (Research ReportNo.RR-16-16). Princeton, NJ: Educational Testing Service.https://doi.org/10.1002/ets2.12105
Ramanarayanan, V., Suendermann-Oeft, D., Lange,P., Mundkowsky, R., Ivanou, A., Yu, Z., Evanini, K. (2017). Assembling the jigsaw:How multipleW3C standards are synergistically combined in the HALEF multimodaldialog system. In D. Dahl (Ed.), Multimodal interaction withW3C standards:Toward natural interfaces for everything (pp. 295–310). New York, NY: Springer.
Richardson, F., Reynolds, D., & Dehak, N.(2015). A unified deep neural network for speaker and language recognition. In Interspeech2015: 16th annual conference of the International Speech CommunicationAssociation (pp. 1146–1150). Baixas, France: International Speech Communication Association.
Varges, S., Riccardi, G., & Quarteroni, S.(2008). Persistent information state in a data-centric architecture. In Proceedingsof the 9th SIGdialWorkshop on Discourse and Dialogue (pp. 68–71). Stroudsburg, PA: Association for ComputationalLinguistics.
寄托教育
? 海量备考资料|?留学申请攻略
? 最新考试动向|?高分学员分享
托福、雅思、GRE、GMAT
1v5, 1v2, 1v1 常年招生!
随组随开!九游免费账号共享
? 汉街总部授课地址:
武汉市武昌区中北路
汉街总部国际C座23a
汉口校区授课地址
解放大道创世纪广场24楼
? 咨询电话:027-87891600
发表评论