《外语考试自动评分研究系列丛书:大规模考试英语作文自动评分系统的研制》在梁茂成(2005)的基础上,挖掘新的文本特征变量,设计英语作文自动评分系统,并对该评分系统的评分信度、最低训练集样本量、适用文体类型、信度影响因素等问题进行探讨。
《外语考试自动评分研究系列丛书:大规模考试英语作文自动评分系统的研制》收集了5个不同题目共1067篇大学生英语命题作文,其中4个题目为议论文,1 个为说明文。首先组织多名人工评分员对以上作文进行分析型人工评分,分析其评分信度,然后对这些作文进行多轮、多次抽样,组建训练集,对自行设计的作文评 分系统的性能进行较大规模的验证。此外,研究中还对自动评分系统的构架、变量类型、汇编语言等进行了介绍,并就几个有代表性的变量进行了研究,对这些变量 在自动评分系统中的应用进行了描述。