全国教育科学“十二五”规划教育部重点课题
课题批准号：GFA111004
课题负责人：首都师范大学孙素英教授
研究内容与方法
一、研究内容
1. 细化语文课程标准的教学目标，明确要考查的语文核心能力，构建语文学业水平评价的内容框架。
2. 比较研究国外阅读和写作的大规模测试，主要研究了NAEP、PISA、PIRLs、PARCC的评价体系。
3. 研究语文学业水平评价的测试工具开发流程，命制语文学业水平测试的双向细目表，研究阅读材料选择的一般原则。
4. 依据SOLO理论命制阅读测试客观题的选项和主观题的参考答案。从前结构、单一结构、多元结构、关联结构几方面来命制客观题选项或主观题参考答案，以反映学生阅读理解过程中的不同认知加工水平。
5. 运用多层线性分析模型研究文本特征与题目特征对题目难度的影响。
6. 运用SEC模式研究项目组所编制的语文学业水平评价试题与语文课程标准的一致性水平。
二、研究方法
主要采用专家评议法、多层线性分析模型、SEC模式进行相应研究。
1. 专家评议法
采用专家评议法来检验构建的测试框架的合理性。
专家评议法也称 “德尔菲法”，它是专家利用自己的知识和经验，在掌握一定客观情况和资料信息的基础上，确定各因素在评判问题或决策问题中重要程度系数的一种方法。收集和咨询相关专家的意见，并对其意见进行分析，再将分析结果反馈给专家，然后就同一问题再次进行调查、统计、分析、反馈，如此反复，经过三、四轮，最终得到比较集中的意见。
应用专家评议法时要注意三个关键环节：一是专家的选择，二是咨询问卷的拟定，三是咨询结果的分析方法。
选择了三类专家：高校或研究院所语文课程与教学论专业的研究人员；某市部分区县的教研员；某市中小学的市级骨干教师。参与此次研究的专家总数为35人。
按照实施程序，将问卷通过信函、电子邮件的方式发放给35位选定的专家进行咨询。在分析咨询结果时，计算指标重要程度的均值和专家意见的离散程度。
2. 多层线性分析模型
运用多层线性模型（HLM）来分析文本特征与题目特征对题目难度的影响。构建模型：不包括第二层预测变量的二层模型；包括第二层预测变量的二层模型。
在东部、中部、西部抽取城市和农村的四年级学生（刚刚升入四年级，实际测的是三年级水平）2261人，进行阅读材料特点与题目特征对题目难度的影响研究，其中阅读文本15篇，阅读测试题目82道。
在文本特征方面，研究句子推进方式、文本字数、平均句子长度、熟悉词比重等的影响；在题目特征方面，研究阅读能力要求、目标答案的抽象程度、选项特点等的影响。
3. SEC模式
运用SEC模式研究所编制的试题与语文课程标准的一致性水平。
2001年，帕特（A. Porter）等人以课程实施调查数据为基础构建SEC 研究工具（Survey of Enacted Curriculum，简称 SEC），用于进行课堂教学与学业评价之间的一致性比较。使用这一方法的主要指导思想是建立描述内容的同一语言，用包括学习内容主题和认知要求的同一“描述符”进行一致性分析。
SEC的研究思路是以内容矩阵构建为基础，对不同来源的数据加以编码，利用公式计算数据之间的一致性指数，以反映一致性程度的高低，并判断是否具有良好的一致性。在研究过程中，从内容维度、认知维度对语文课程标准和学业水平测试试卷分别进行编码，计算条款数目及二维比率表，利用帕特一致性公式计算出表现语文学业评价与课程标准一致性水平。
结论与对策
一、细化课程标准、明确核心能力、构建测试框架
1. 基于课程标准的语文核心能力要素的确定
进行语文学业水平评价，旨在衡量学生的语文学业能力发展状况。在标准参照评价中，课程标准是衡量学生学业能力最重要的依据。因此要对语文课程标准进行深入分析。在认真分析课程标准的基础上，形成语文学业能力的一级指标、二级指标和三级指标。
综合考虑课程标准“前言和总目标”两部分的内容，形成了对语文学业能力一级指标的认识：识字与写字能力；阅读能力；写作能力；口语交际能力；语文积累。其中，识字与写字能力及语文积累可以合并。因为学生对古代诗文的识记、理解和简单应用，以及课外阅读活动中对课程标准推荐的读物的了解水平（主要情节、人物等主要信息的识记水平）也能够反映学生语文积累的水平；学生在识字、理解运用词语上的相关表现，也能够反映学生语文积累的水平。因此，将这两项统称为“积累与运用”。在本研究中，主要针对纸笔测试展开命题，所以，积累与运用、阅读、写作是我们确定的语文核心能力要素的一级指标。
二级指标主要依据对课程标准学段目标和评价建议部分相关内容的分析来确定。三级指标主要是通过分析影响各能力发展的因素来确定。
下面以“读准字音”为例简要说明。汉字以义为核心，形—义联系紧密，音相对独立，可变性高，受时代、地域的影响较大。而且音又由声母、韵母、声调构成。因此，影响学生“读准字音”的因素较为复杂，具体来说包括如下几个方面：读音的时代性、地域性等；汉字是以意义为中心的图形文字，其中的形声字与习惯性误读；汉字的四声和声调的掌握；方言的影响；多音字、形近字误读（形音义关系中的意义中心问题）等。因此，就可以从多音字、常见误读的字、受方言影响的字等方面来反映学生读准字音的能力。换句话说，读准字音的考查点有三：能结合语境辨析多音字的读音；能避免习惯性误读；能利用汉语拼音纠正地方音。
2. 形成测试框架
在研究过程中，针对3年级和8年级进行了深入研究，形成了这两个年级的测试框架。
二、命题的流程与策略
1. 测试工具的开发流程
在测试工具的命制过程中，我们认为有以下几个关键 “节点”：形成测试框架，在此基础上制定双向细目表；筛选阅读测试材料；编制试题；不同范围的试测与修改；组卷；送审；修改；定稿。
测试工具开发的基本流程：
2. 阅读材料选择的原则
阅读材料的选择要注意如下问题：
第一，适应学生的认知发展水平。
所选材料应符合学生的认知发展水平，与学生的背景知识和已有生活经验相符合。比如三年级的阅读材料就应与学生的感性经验相联系，可以是故事、寓言、童话、小说等以叙事性为主的作品；可以是浅易的说明文（比如介绍动植物和自然奇观的作品）。
第二，注意公平性。
因为不同地域、不同家庭状况的学生，他们的背景知识、生活经验是不一样的，因此，选择阅读材料时，既要考虑与学生的背景知识和生活经验相结合，又要注意阅读材料的公平性；既要照顾地区差异，又要注意性别的影响。
应尽量选取与学生的共同经验相关的阅读材料，宜以学生的日常生活经验为中心，提供完整的语言情境。在阅读理解的过程中，不依赖特殊的知识，尽量避免（或平衡）不同兴趣对阅读理解的影响。要注意性别、城乡、家庭经济状况等的影响。
第三，具有典范性。
阅读材料应文质兼美，富有文化内涵和时代气息。要尽量融入各种不同的文本，题材、体裁、风格要丰富多样，如简单的故事、幽默的短文、寓言、童话、书信、贺卡、便条、说明文等。
文中用字（或生字）难易程度应和教材的难度相当。避免出现艰深的用词。阅读材料应来自学生在校内外可能接触到的大量资料，其内容是真实阅读经验的代表。
第四，适合命题。
在根据测试情境要求寻找文本的过程中，还要考虑出题点、可供学生解释的空间、题目之间的联系、是否互相提示答案等因素，考虑在各能力考查点上总的命题数是否符合统计学的要求。
3. 依据SOLO理论命制阅读试题和参考答案
SOLO的英文全称是Structure of the Observed Learning Outcome，意思是可观测的学习结果的结构。
SOLO分类关注学生在问题回答中思维结构的复杂性，以此判断学生认知发展水平，将学生在问题回答中的思维结构分为五类：
前结构：学生缺乏与问题有关的简单知识，或为以前所学的无关知识所困扰，没有形成对问题的理解，找不出解决问题的办法，回答问题逻辑混乱，或同义反复。
单一结构：学生回答问题时，只能联系单一因素，找到一个线索就立即得出结论。
多元结构：学生回答问题时，能找到与事件相关的多个因素，但不能将它们整合。
关联结构：学生能够整合各因素，了解其内在关系，使之成为一个有机整体。能够回答或解决较为复杂的具体问题。
拓展结构：能够归纳问题并进行抽象概括，结论具有开放性且更抽象，能拓展问题本身的意义。这代表着一种更高层次的学习能力, 这一层次的学生表现出更强的钻研和创造意识。
根据SOLO分类思想，我们力图对测试的客观试题进行改造，并在主观性试题评分标准的建立上有所突破。
4. 围绕交流目的命制作文题目
关注交流的目的、强调读者对象，都是语文课程标准中明确规定的。在命题时要注意情境的创设和任务难度的控制。要有意识地创设情境，强调特定的潜在读者，引导学生有效地与读者交流。对写作任务的难度可以从交流对象的熟悉度和任务的能力要求两方面控制。从交流对象的熟悉度来看，在交流过程中，读者对象的熟悉程度会影响任务的难度。一般而言，如果读者是同伴、学校的老师和父母，那么这种交流会相对容易展开；如果是不熟悉的或更有权威性的读者，比如学校或社区的领导、政府的行政官员等，这样的交流难度会更大些。
从任务的能力要求来看，可以设计复杂程度不一的任务。
三、测试文本的特点和题目特征对题目难度的影响
阅读测试是了解学生阅读能力发展水平的方法之一。在测试情境中，究竟哪些因素会对学生的阅读理解产生影响，这是语文教学与评价过程中人们一直关注的问题。在测试过程中，学生需要阅读测试文本，在此基础上解答相应的题目。那么，文本的特点、题目特征对于学生的阅读理解有无影响？在测试情境中，学生的阅读理解状况可用测试题目的难度来考量。因此，我们研究的问题就是文本特点、题目特征对题目难度有无影响。
1. 文本特征与客观题选项对题目难度的影响
在本研究中，我们所指的文本特征是指文本的字数、平均句子长度、熟悉词比重。题目特征是指阅读能力指向、目标答案抽象程度、选项特征。
研究结果表明，题目特征是影响阅读理解测试客观题难度的主要因素。题目特征的三个变量中，阅读能力要求和选项特征都与题目的难度有显著性相关，目标答案的抽象程度对题目难度的影响非常微弱。具体地说，阅读能力要求对题目难度的影响极为显著，要求整体感知的比解释推论的题目难度大，要求解释推论的又比获取信息的题目难度大；选项特征对题目难度的影响极为显著，选项要求的思维结构水平越高，题目的难度越大，表现在关联结构水平的题目难度大于多元结构水平以及单一结构水平的题目难度；目标答案的抽象程度对题目难度有十分微弱的影响，可以说，目标答案无论具体还是抽象，在难度上并没有较大的区别。
在总体上，文本特征对阅读理解测试客观题的难度影响较小。文本字数和平均句子长度对题目难度的影响都不显著，两者对题目难度并没有发挥系统的作用。熟悉词的比重对题目难度有显著影响，熟悉词的比重越小，题目越难。
2. 测试文本的句子推进方式与题目特征对题目难度的影响
阅读的文本是由句子构成的，任何句子都包含着自己的主位—述位结构。主位是指句子的开头，即说话的出发点。其余的部分则叫做述位，是围绕着主位逐步展开的实际内容。在文本中，主位和述位之间会产生某种联系，这种联系被称为句子的推进方式。
一般来说，句子的推进方式有四种，即平行型、集中型、延续型和交叉型。平行型是指主位相同、述位不同，即相连的句子都以相同的话题作为出发点，然后展开对这个共同话题的不同论述。集中型是指句子的主位不同、述位相同，即话题的出发点不同，但每个句子所论述的内容相同。延续型是指前一句的述位或其中某一部分是下一句的主位，由这个主位又引出新的述位。交叉型是指在一组句子里，前一句的主位或其中某一部分，成为下一句的新的述位，而某个句子的述位，又成为下一句的主位，前句中的主位述位和最后一句的主位有着类属关系。
题目特征是指题目考察的阅读子能力指向、选项设置。
研究结果表明：题目的两个特征，即阅读子能力和选项特征对于题目难度系数是有预测作用的，且是负相关，意味着对阅读子能力而言，随着题目考查的阅读能力水平的增高，题目难度系数越小，难度越大。而对选项特征而言，选项需要的思维结构水平越高，题目难度系数越小，难度越大。
对于第二层预测变量——句子推进方式来说，平行型对于阅读题目难度的影响不显著，其余三种推进方式对题目难度的影响显著。其中集中型和延续型推进方式会削弱阅读子能力和题目难度之间的负向预测水平，且随着文本这两种句子推进方式的增多，使得题目难度降低。交叉型推进方式则与之相反，会加强阅读子能力和题目难度之间的负向预测水平，随着这种句子推进方式的增多，题目难度增大。
四、语文学业评价与课程标准的一致性
自20世纪80年代以来，课程改革逐渐成为许多国家基础教育改革的主题。从总体上看这次课程改革在本质上是基于标准的改革。课程标准、教材、教学和评价是基于标准的教育体系的主要组成要素，改革的成功与否取决于这四个组成要素是否能够协调一致。在课程实施过程中，基于标准的教学是重要的环节，同时，基于标准的学生学业评价也尤为重要。
因此项目组采用SEC分析模式，对所编制出的语文学业评价工具与课程标准间的一致性展开研究。从内容维度、认知维度对语文课程标准和学业水平测试试卷分别进行编码，计算条款数目及二维比率表，利用帕特一致性公式计算出表现语文学业评价与课程标准一致性水平的P值为0.88，达到了0.05水平上的统计显著性。说明项目研究中的语文学业水平测试和语文课程标准之间的一致性水平较高。
改进与完善
在今后的研究中，要加强对语文学业质量标准的研制，从学生思维操作模式和反应结构的复杂程度来评价可观测到的语文学习结果。要从更广泛的视角切入，不仅要进一步探索文本特点对学生阅读理解所产生的影响，如句子主位的标记性、逻辑关系、衔接方式等对学生阅读理解的影响，还要考虑到学生因素，研究其做题策略、所处环境等相关因素对其呈现出的语文学业水平有何影响，这些影响是如何发挥作用的。
供稿：教育部考试中心科研处
联系客服
