Developing Rigorous Questions 

Alternate Route to Certification Program

December 12, 2014

1

Objectives of the Workshop• The participants will‐• develop a working  definition of rigor• apply effective techniques for posing questions in specific classroom situations

• identify the characteristics of effective questions• determine ways to employ a variety of content question types in specific disciplines

• develop effective , questions and analyze their level of rigor based on  Bloom’s Cognitive Process Dimensions and Webb’s Depth of Knowledge Levels

2

Workshop Agenda

• Introduction• Definition of rigor• Types of process questions• Important considerations when asking questions• Ways to encourage appropriate student responses

• A selection of questioning strategies• Types of content questions• Characteristics of effective questions• Levels of questions

3

What is Rigor?

“Perhaps one of the mistakes in the past efforts to improve reading achievement has been the removal of struggle. As a profession, we might have made reading tasks too easy. We do not suggest that we should plan students’ failure but rather that students should be provided with opportunities to struggle and to learn about themselves as readers when they struggle, persevere, and eventually succeed” (Fisher, Frey, Lapp, 2012)

Circle words and phrases which help you to define rigor.(not just for reading).  Add words or phrases  to complete your definition.

What questions do you have about this statement in relation to teaching?

4

Common Core State Standards and Questions

“Success on the Common State Standards requires students to provide evidence from the text and justify their responses.  ….Of course, students need practice if they are going to succeed in meeting these high expectations. …When teachers use these types of questions with students, students ‘ questions of one another also change. …Their conversations become more than  amateur interactions about texts, as they use accountable talk to  fuel their discussions. Their group interactions  serve to apprentice them to the type of thinking required of experts.”  (Fisher Frey, Lapp, 98)

What is  the connection between rigorous questions and the thinking required of experts in your subject?

5

How Teachers Ask Questions‐Process Questions

• Reflective Questions‐ask students to consider their thinking and learning processes– How did you come up with that idea?– How can I help you learn this concept more easily?– What aspects of this topic have you mastered, and what do you still 

need to work on?• Probing Questions‐break down the original question or 

restructure it so the student is able to construct or elaborate upon a response– Are you saying that…? (clarifying)– Could you explain that further? (elaborating)– How would you describe the main idea of the first paragraph in your 

own words? (breaking into smaller segments)

6

Process Questions Continued

• Redirecting/refocusing questions‐return the attention of the student to the required topic or allow additional members of the class to construct responses– That’s an interesting idea about….Right now we are still thinking about….– What are some of the important things we’ve mentioned about this topic?– What is another idea or example you’ve thought of?– You’ve provided an interesting idea for us to consider.  How would some of 

the rest of the class build upon or react to your idea?• Verifying Questions‐ask students to provide evidence for their 

ideas or information– Where in the text did you find that information?– What are some examples of people in real life behaving in this way?– What statistics or facts support your hypotheses?

7

Process Questions Continued

• Redirecting/refocusing questions‐return the attention of the student to the required topic or allow additional members of the class to construct responses– That’s an interesting idea about….Right now we are still thinking about….– What are some of the important things we’ve mentioned about this topic?– What is another idea or example you’ve thought of?– You’ve provided an interesting idea for us to consider.  How would some of 

the rest of the class build upon or react to your idea?• Verifying Questions‐ask students to provide evidence for their 

ideas or information– Where in the text did you find that information?– What are some examples of people in real life behaving in this way?– What statistics or facts support your hypotheses?

8

Process Questions Continued

• Clarifying Questions– ‐Help to ensure that the students are clear about what you expect of them when they respond. 

– Clarify your understanding of the student’s answer. – Check whether the remainder of the class is clear about the student’s response. (Try not to repeat student responses. Ask the student speaker to speak so others are able to hear and to rephrase/elaborate upon his/her response.)  

9

Important Considerations When Asking Questions

• Usewait time effectively.• Use praise judiciously.• Use questioning strategies such as QAR and Think Alouds.• Employ a friendly, supportive tone• Use a brisk pace for posing factual questions and a more 

deliberate pace for higher level questions.• Beam questions to the whole class, not one individual.• Develop just a few, well‐crafted questions for each  lesson• Ask questions to activate prior knowledge • Encourage as many students to respond as possible. Try 

not to repeat student responses for the class.

10

Handling Specific Types of Student Responses

• Inaccurate • “Teacher pleaser”• “I don’t know” or silence• Lack of elaboration or support for ideas• Inarticulate or lack of fluency• Lack of respect for the views of others• Purely emotional or personal• Misunderstand the question or the previous responses• Vague• Judgmental• Based on stereotypes or generalizations

11

Activity

1. Select one type of problem response and work at your table to discuss ways of dealing with it.  Use the list of process questions and the important considerations to generate approaches.

2. Share your ideas with the rest of the group and take notes on promising ideas for your classroom.

12

What Types of Questions Do Teachers Ask?Content Questions:   Ask a variety of question types so students with 

varying learning styles and skill levels will participate in your lesson.• Convergent questions –have one correct answer (closed)

What unit should we use to measure the length of this room?• Divergent questions‐elicit multiple valid responses (open)

What choices of units could we use to measure the length of this room?  Why would some units seem more appropriate?

• Essential questions‐develop multiple responses over time to these questions which are based on the foundational issues or “big ideas” that drive a unit or course

What does it mean to be healthy?

13

Content Questions Continued

• Recall questions‐exhibit memory of previously learned materialWho is the current governor of Connecticut?

• Analytic questions‐construct logical arguments and support viewsIs Huck or Jim the hero of the novel?  How would you convince 

others to agree?• Inferential questions‐interpret information

What are some possible reasons for the choice of colors in this painting?

• Prediction questions‐anticipate outcomes and verify/support thinkingWill the  next President be a Republican or a Democrat?  On what 

basis are you making your decision?

14

Content Questions Continued• Summary Questions‐determine the salient features of a lesson or text

What key ideas from today’s class should we write in our notes?• Personal experience questions‐provide examples of actual 

experiences that support or contradict issues from text or classGive an example of a time when you decided to make a decision that 

separated you from your friends?  Compare to a character’s situation.• Hypothetical questions‐explore possible outcomes and consequences.  

What would be the advantages and disadvantages of having one world language?

• Alternative questions‐provide students with options and ask them to decide upon and support a particular option

Should we retain the traditional high school time schedule or begin school later. 

• Brainstorm questions‐generate as many ideas as possible about a single topic within a short period of time

How many ways can you think of to find the answer to this problem?

15

Content Questions Continued

• Aspect questions‐focus on a particular part or feature of the contentWhat conclusions can we draw from the detailed description of the prison door?

• Comparison/contrast questions‐ identify similarities and differencesHow is school today similar to and different from the way it was when your parents grew 

up?

• Synthesis questions‐draw conclusions based on information from a variety of sourcesLearn about a major news event by reading an article in the newspaper, a news magazine, 

and listening to coverage on television.  Focus on one main person in the story and take notes from each source.  What conclusions can you draw about whether this person is worthy of blame or praise for his/her role in this event?  What evidence supports your response?  What source was most helpful in helping your reach your conclusion?  Why?

• Evaluative questions‐support qualitative judgments about issues relative to the contentIs it fair to prosecute juveniles as adults when they commit violent 

crimes?

16

Effective Questions

• Clear• Uncluttered• Engaging• Use vocabulary that students understand• Build upon knowledge students possess• Have a clear purpose related to the lesson/unit objectives• Have content focus• Match the level of the questions to the level of the lesson 

material• Contain cue words to guide students toward the type of 

response desired‐explain, support, prioritize, interpret

17

Ineffective Questions

• Require merely yes or no responses• Are designed to trick the student• Encourage random guessing rather than critical thinking

• Coerce or grill  the student to come up with a particular response

• Are so general or vague that the students are unclear about how to develop a response.  These often begin with phrases such as, “Tell me about…”

18

Activity

Base your work on one of the following children’s stories:  The Three Little Pigs, Little Red Riding Hood, Goldilocks and the Three Bears, Cinderella

1. Turn to the table behind you. Decide on the story your group will use. Retell it orally so everyone agrees on the sequence of main events.

2. Skim through the main list of content questions types (beginning with analytical questions and ending with evaluative questions).  Decide which question types can be used to develop questions. 

3. Develop content questions for the story. Make an attempt to cover as many types as possible.  Develop well‐crafted content questions.

4. Discuss the questions with your group. Use the criteria to evaluate their effectiveness and discuss the  purpose for asking each question.

5. Brainstorm questions for the story that are related to your content area.6. How could this story serve as a lesson initiation  ( extra activity)

19

Questions and Blooms Cognitive Process Dimensions

• Level I Remembering‐verbs such as list, recognize, name• Level II Understanding‐verbs such as rephrase, explain, 

summarize, interpret• Level III Applying‐verbs such as apply, implement, make use 

of, execute• Level IV  Analyzing‐verbs such as compare, organize, discover • Level V Evaluating‐ verbs such as judge, theorize, critique, 

justify • Level VI Creating‐verbs such as design, invent, produce

20

Webb’s Depth‐of‐Knowledge Levels

• DOK1‐Recall and Reproduction‐Recall of a fact, term, principle, concept, or perform a routine procedure.

Think of a time when you would use DOK1 in your subject.  Why is it important.  Share with someone sitting near you(khess@nciea.org)

21

Webb Continued

DOK 2‐Basic Application of Skills/Concepts‐Use of information, conceptual knowledge, select appropriate procedures for a task, two or more steps with decisions points along the way, routine problems, organize/display data, interpret/use simple graphs.Turn your idea from DOK! Into a DOK2 task or think of a new idea.

22

Webb Continued

DOK3‐Strategic Thinking‐Requires reasoning, developing a plan or sequence of steps to approach a problem; requires some decision‐making and justification; abstract, complex or non‐routine; often more than one possible answer.What does non‐routine mean?  How does it apply to your subject?

23

Webb Continued

DOK4‐Extended Thinking‐ An investigation or application to real world; requires time to research, problem solve, and process  multiple conditions of the problem or task; non‐routine manipulations across disciplines/content areas/multiple sources.Work with someone from a different subject area to develop a DOK4 questionCreate a visual symbol for each level.

24

Activities

1. Exchange papers with the group behind you, and identify where on Bloom’s Revised Taxonomy each of the children’s story content questions would fall.  Return the papers and discuss.

2. Revise four questions to fit each level of DOK or create new ones if the originals do not fit.

25

Sources and Resources

• Print Resources• Bloom, Benjamin S. (ed.) (1956). Taxonomy of Educational    • Objectives: Cognitive Domain. New York: David McKay• Company, Inc.• Chuska, Kenneth R. (2003). Improving Classroom Questions.• Bloomington, Indiana: Phi Delta Kappa Educational Foundation.• Fisher, Frey, Lapp. (2012)  Raising Rigor  in Reading.• Hess, Karin. (2012)  A New Lens for Examining Local Curriculum, the 

Common Core, & Cognitive Rigor.  • Hartford, CT:  Conference Materials, May 2, 2012• Newark, DE: International Reading Association• Zmuda, Allison and Mary Tomaino. (2001). The Competent Classroom.• New York:  Teachers College Press. 

26

Online Resources

• Classroom Questioning• http://www.nwrel.org/scpd/sirs/3/cu5.html• Connecticut State Department of Education Testing Manuals for CAPT and CMT

• www.state.ct.us.sde/• Helping EFL/ESL Students by Asking Quality Questions

• http://iteslj.org/Techniques/Hussain‐Questions.html• A Questioning Toolkit• http://questioning.org/Q7/toolkit.html

27