[JLTA Language Testing Workshop について]

［会則�\役員�\活動内容�\事務局�\入会手続き�\掲示板�\ホームページ］

(LTRC 99)

"The Social Responsibility of Language Testing in the 21st Century"

LTRC 99 Reports (Updated in April 17, 2000)

《Wednesday, July 28th》

JLTA Annual Conference
Plenary Speech One: Hiroshi Ikeda

　第21回言語テスト国際会議の直前に行われた、第3回外国語教育評価学会全国研究大会で、池田央氏 （立教大学名誉教授）が「What we need for research on language testing in Japan - A psychometrician's view（外国語試験の研究において何が必要か − ある計量心理学者の視点から）」という基調講演を行った。講演に先立ち、司会者から、池田氏がこれまでにテストに関して20冊以上の著書を執筆されているテスト研究の第一人者であること、また、最近、20世紀の初頭から21世紀にかけて、10年ごとの区分を設けて世界のテスト研究がどのように進展していったかという興味ある論文を書かれていること等の紹介があった。
池田氏は講演の中で、外国語試験の研究を推進していくためには、
1) コンピュータ技術を含む近代技術の利用（現行の紙筆検査をコンピュータ検査に変革させること）
2) 近代テスト理論（項目反応理論、一般化可能性理論）の適用
3) データベースおよび項目バンクの構築
4) 妥当性研究の推進、および信頼性の有無の判定に関する標準的目安の確立
5) 研究者、外国語担当教師、テスト作成者間の交流の促進、
等が必要であることを力説され、さらに、外国語の試験を受けることなくして、言語能力は進歩しないこと。さらに、テスト作成は芸術ではなく、むしろひとつの技術で個人の手に負えるものではないこと。テストに関する情報はむしろ積極的に公開して大衆の共有の知識とすべきであること。こういった諸改革が実現できれば、現行の外国語教育が改善されるであろうと述べ、テスト研究は一つの科学であることを強調して、講演を結ばれた。

(報告者: 柳井晴夫 大学入試センター)

Invited Paper: Hossein Farhady
　Prof. Farhady introduced his talk by explaining that constructs in language testing theory formerly based on structuralist linguistic models have been challenged and become more informed by Oller's insights into the integrative nature of language, notional-functional models and Cummin's work on the contexts of language use on through to the work of Bachman on the construct of communicative competence. Farhady observes, however, that proficiency remains "a vague construct" and that even if the construct were known, there remains the job of operationalizing and measuring it as test users continue to struggle with the relationships between grammar, tasks and performance, of the choice to use one test or several, of quantitative vs. qualitative assessment, and of norm referenced vs. criterion referenced testing. There has been some progress, he states, but "not much change in practice", which has questionable consequences on educational goals and educational equity.
　Prof. Farhady illustrates this with a study conducted with 200 subjects who were pretested with the TOEFL, which is the most widely used instrument for the purpose of assessing the ability to use English in academic settings today. Half the subjects then received instruction which featured TOEFL-like tasks while the others were instructed in explicit rules for reading, writing, vocabulary and structure. Both groups were given an additional task-based examination (IELTS) along with the TOEFL as post-tests. The results showed an average gain by those who had received TOEFL coaching of 73 points on the TOEFL with significant gains among those who had scored from 350-400 on the pretest, but little gain among those who had scored 500 or above. Many with over 500 on the TOEFL had problems finishing the IELTS reading section in the allotted time, and the correlation between the total scores on the two examinations was only r= .27 with the greatest differences in the respective reading sections (r= .48). The correlation between the two reading sections was less than that between the reading and writing sections of the TOEFL (r= .72).
　Prof. Farhady pointed out that when there are cultural differences in how education and testing interrelate and students are motivated by "beating the test", the impact of using the present form of the TOEFL rather than task-based assessment can lead to truncated ability among certain groups to perform the tasks required of them in the real world, such as when studying abroad.

Plenary Speech Two: Nancy Cole
　Nancy Cole characterized language assessment of the past and today as aimed toward limiting context to the general and balancing content, as primarily for the purpose of ranking students rather than diagnosing weaknesses, and that recognizing correct usage or explicit and implicit information from written text in test booklets has been the mainstream paper-pencil feature, with other skills being assessed through supplementary procedures. She explain-ed that advances in language theory that recognize the various modes of speech, listening, reading and writing as integrated in language use, the relationship between language and context, and "language use in different life spheres", have all led to a shift in the target of assessment away from language structure toward language use.
　The limitations of past technologies made it difficult to measure these new dimensions, Dr. Cole explained, but new assessment technologies now offer opportunities to assess speaking, writing and listening tasks integrated with each other or in isolation. Computer-assisted testing (CAT) has enabled tests to present tasks and record writing or speech electronically. There are new possibilities for simulating varying contexts as well as the ability to branch from one task to another.
　Beginning with the TOEFL 2000 project, ETS has been actively exploring these new avenues, and will continue to pursue what she calls "evidence-centered design". This approach to test design would first work with test-users to determine the inferences they need to make, such as differences between scores e.g. 550 vs. 580 or where additional instruction might be needed, and then use new technologies to build tasks that would supply convincing evidence to support those inferences. In the discussion that followed the presentations several points were raised by members of the audience, including question of how accessible the test would be, the dangers of going off the "relativistic deep end" when individualizing tests risks making the results difficult to generalize, of surrendering test constructs to test users without rigorous scientific and theoretical basis, and of attempts to amalgamate the essentially different natures of norm-reference and criterion-reference test development. Dr. Cole predicted that accessibility would grow dynamically by the year 2010. As to the other points, she stated that during this ongoing process of change, ETS is "getting on it" with all its resources and its work would move toward making assessment a more integral part of the learning process.

(Reporter: Jeffrey Hubbell Hosei University)

　[Return to the top of this page]

‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡‡

LTRC 99

Plenary Speech One (Messick Memorial Lecture):
Tim McNamara
　Samuel Messick 氏はアメリカの ETS (Educational Testing Service) でかって活躍した人であり、今回の LTRC には来日が予定されていたが、1998年半ばに突然亡くなられた。そこでILTAの前会長である Tim McNamara 氏が追悼講演を行った。
講演の概要は会議要綱のp. 11に記されているが、要約すると次のようになる。
　Messick 氏は2つの点で言語テストの研究に影響を与えている。1つはテスト結果の解釈の仕方であり、もう1つは妥当性 (validity) という概念を打ち立てたことである。さらに、Messick は妥当性の考えを行動科学や社会科学と結びつけて、認知論的に考えようとした。
　当日配布された印刷物には講演の資料が載せられていたが、その1つにMessickが、法廷における裁判と学力評価との比較をまとめた表がある。だれが評価に関係するかは、裁判では裁判官や陪審員、学力評価では研究者やテスト作成者、決定の根拠は、裁判では種々の証拠や法廷での論争、評価ではテストの成績とその分析としている (あとの項目は省略)。
　Messickのテストに関する考えが具体化されたものとしては、オーストラリアにおける各種のテスト制度、カナダのBenchmarks Project、EC のスケール化の試みなどがある。
　また、Butler. J (1990) の著書の中の、社会での性の形成は、人間に内在するものが外面的な行為となって表れ、その評価が社会における役割を作り上げる、という説にも影響が見られる。
Memorial Speech ということもあってか、McNamara 氏は原稿を読んだだけで、自分の言葉でしゃべるということが殆ど無かったため、分かりにくかったことは否定できない。しかし、氏はスライドを見せるときは、マイクから離れるので話しをせず、こういう場面での話しにいかにも慣れているという感じであった。また、用意してくれた印刷物には要点がたくみにまとめられているので感心させられた。

(報告者: 羽鳥博愛　文教女子短期大学)

　[Return to the top of this page]

《Thursday, July 29th》

Student Research Reports:

Yoshihiro Sugita
　Sugita presented his research on constructing rating scales for EFL writing tests. He explained how he and his co-researchers developed assessment procedures that would elicit discourse.
　Sugita noted that standard rating scales require the matching of examinee performance to a verbal description. Thus, in spite of the fact language is assessed in discourse, there is no specific focus on discourse features. Sugita described the analytical test of organizational ability that they developed and discussed the results in terms of strategic discourse planning.
Sugita further offered reasons to explain why this type of scale may improve reliability and validity problems associated with standard rating scales.

Dongil Shin
　Shin discussed validation of a diagnostic ESL test for measuring lecture comprehension ability and explained that his model was operationalized to diagnose students' weaknesses and strengths in a lecture comprehension test. He reported that four types of validity evidence argue for and against inferences that variance in test response can be attributed to lecture comprehension ability: content evidence, empirical item analysis, correlational research, and internal test structure. Shin asserted that this study offers a principled approach to theory, test construction, and validation study in ESL listening.

Amy Yamashiro
　Yamashiro considered the use of structural equation modeling to validate a rating scale. She explained that the rating scale which was developed as the criterion-referenced assessment of the EFL speaking course objectives has three traits: non-verbal delivery, verbal delivery, and organization/purpose. Peer and self- assessments were included in the course design to promote deeper understanding of the course objectives. Yamashiro used structural equation modeling to analyze the performance assessment to determine the extent to which teacher, peer, and self-assessment may be reliable and valid. Yamashiro further discussed the study's limitations and implications.

(Reporter: Matsuo Kimura Aoyama Gakuin University)

Panel Discussion:
"Language Testing: Yesterday, Today and Tomorrow"
Bernard Spolsky, Elana Shohamy, Alan Davies

　言語テストの過去、現在そして未来を取り上げた本パネル・ディスカッションでは、まず Spolsky 教授が前世紀から今日に至る間のテストが担う意義を取り上げた。19世紀の西欧では、テストは学校教育制度及び社会における人材選抜の手段として重視されたが、今世紀に入り、統計学の発達とともにその方法論上の欠陥が指摘され、信頼度の向上に力が注がれるようになった。このことは言語テストについても当てはまり、今日ではその使用上の倫理責任まで視野に入れる必要があるのではないかとの指摘がなされた。
　Shohamy 教授は、今日言語テストが抱える理論上、研究上、及び実施上の諸問題を分析し、その有用性を検討した。そのために、言語テスト及び関連分野の代表的研究者（M. SwainやA. Cohenなど）10名の見解を対象に考察し、言語テストのあるべき姿を追求しようとした。
　最後に発言した Davies 教授は、一般に物事の未来を予言することに伴う限界に触れ、同じことが言語テストについても当てはまることを指摘した。言語テストの中心的課題であるその目的と使用に関して、雑誌Language Testing の既刊分16巻を概観しても、その根底にある言語観、言語能力の定義に見解の一致を見いだすことができない以上、今後予想されるコミュニケーション工学の発達にもかかわらず、言語テストの未来に関する見解の多様性を予測した。
　本パネル・ディスカッションの発題者は、それぞれ ILTA の前会長、現会長及び次年度会長就任予定者であり、また司会は JLTA 会長が担当したもので、参加者との質疑応答と相まって、内容の充実度の点でも今大会の中心的プログラムとなった。

(報告者: 浪田克之介　北海道大学)

Research Reports Session One:
このセッションでは4つの研究発表があった。
1. Developing and Cross-Validating a Set of Cognitive and Linguistic Attributes Applicable to Multiple Test Forms on a Multiple-Choice Listening Test (ETS, Gary Buckなど)
　これはルールスペース (rule-space) 法によって抽出される認知特性と言語特性の一般可能性の研究である。The Test for International Communicationの聴解テストの5つのフォームから抽出された特性と他のフォームとの妥当性を検証し、一般化可能な特性が抽出されたとする。
2. Analyzing the Dimensionality of a Second Language Reading Test from Cognitive Perspectives (Mission大学、Hisami Saito-Scottなど)
　これは項目応答理論の前提としてのテスト項目の一次元性を言語テストに適用するにあたっての課題を研究したものである。ルールスペース法を使ってTOEFLテストの読解テストを分析し、多次元的な言語テストに対して一次元的項目応答理論が働く条件を検討した。その欠課、24の次元が読解テストに見られること、学習者の反応はルールスペースの複数の認知経路に分類できるなどが分かったとした。
3. Validation of Test-Dependent and Task-Independent Ratings of Performance Assessment (Hawaii 大学、J D Brown など)
　タスクの困難度に基づいて開発されたパフォーマンスタスクを測定する基準としてタスク依存度とタスク独立性による方法をすでに提案しているが、この研究発表ではその測定基準の妥当性を90名の学習者から得たデータを分析したものである。
4. Examining Passage Related Local Dependence (LD) Using Q3 Statistics in an EFL Reading Comprehension Test (ETS, Yong-Won Lee)
　これは読解テストの局所依存性の研究である。1857名の韓国の高校生を対象とした読解テストの40項目をQ3法を使って分析し、文章形式の読解テストテストにはかなりの程度の局所依存性が存在すると報告している。

(報告者: 和田稔　明海大学)

Research Reports Session Two:
Catherine Burrows
　オーストラリアのAMEP (Australian Adult Migrant Education Program) では、新たに「授業観察に基づいた評価システム」classroom-based assessment system を採用することとなった。本調査はこの新システムの「波及効果」washback を考察したものである。授業観察及び面接によりデータを収集し、数量的分析、及び定性的分析を行った。その結果、同一の評価システムを採用しているにも関わらず、その波及効果に関しては教師による個人差が大きく、必ずしも一様でないことがわかった。この評価システムに対する教師の態度は大きく三つのタイプに分れるようである。すなわち評価を規定通り忠実に実行しようとする adopters、自分なりに改変して採用している adapters、意識して影響を受けないようにしているresistersである。この結果から、テストは教育現場に一様の結果をもたらす、といった「刺激 ― 反応モデル」stimulus-response model は変更を強いられることになる。より現実に近いモデル（「カリキュラム革新モデル」curriculum innovation model）は、一方にテスト・評価システムを置き、次にそれを使用する教師のビリーフや知識等があり、それを仲介要因として、多様な教育上の効果がもたらされるというものである。
同主旨の調査はこれまでスリランカ、アメリカ、香港、日本などで行われてきたが、今回の調査はこれらと同様の結果を示しているのは甚だ興味深い。すなわち、信頼性、妥当性に優れたテスト・評価システムを使うだけでは必ずしも望ましい教育効果は得られない、ということである。今後はテスト・評価システム以外にどのような要因がどのように関わっているのかを明らかにすることにより、より有益な情報が得られると期待される。

Jane Andrews and Richard Fay
　現在、英語教育・学習が対象としているのは「外国語としての英語」EFL/ESLではなく、「国際コミュニケーションの手段としての英語」ELWCである。この傾向は今後ますます強まることであろう。ここで特に重要になるのは、口頭試験の結果を評価する際、特定の変種の英語に偏らない基準を採用するということである。本調査の最終目的は、試験官が採用している基準を明示するところにあるが、今回は目的達成のために最も効果的な調査手続きを探ることにあった。調査は3段階に亙って行われた。第一段階では、試験官に Paired Oral Test（非母語話者同士に会話を行わせたもの）の録画ビデオを見せ、評価のプロセスを think-aloud してもらった。その結果、被調査者は think-aloud の手続きについて戸惑うことがある、途中調査者が干渉すると自然な思考過程の妨げになる、受験者同士のやりとりに注意が向くあまり個人の受験者の評価が疎かになることがある、などの問題点が挙がった。第二段階では特にこれらの問題を解決すべく詳しい指示を与えた。しかし新たな問題として、通常の評価過程ならば行わないようなことを行っていることがある、という指摘があった。そこで、第三段階では、なるべく試験官の自由度を増し、ビデオを自由に操作してもらうようにした。評価の基準に関して、有益な結論を導き出すまでには至らなかったが、think-aloud は試験官が評価を行う際のプロセスを検証するに極めて有効であり、多くの有益な情報が得られるとの確信を得た。
　更に、試験官同士の paired think-aloud を採用する、受験者に面接調査を行う、試験官の文化的背景を明確にする、などを考慮することによって、より実り豊かな成果が得られるものと期待される。

Laura MacGregor
　「英検」の受験者数は今や約3百万、極めて大規模なテストとなっている。しかしながら、テスト開発のプロセス、採点の基準などに関する情報は入手しにくく、受験者、使用者、作成者同士の情報交換の機会も極めて限られているのは遺憾である。本研究は特に面接試験の問題点を明らかにしその改善策を探った。1998年7月に行われた3級、準2級、2級の二次試験（口頭試験）に参加した3つの試験場の受験者及び試験官にアンケートと面接調査を行った。以下はその結果と考察である。第一にウォームアップの質問に関して、試験官の半数は有効である答えているものの、特に3級の受験者の場合は反って緊張させてしまっているようだという意見もあった。受験者は過半数が満足しているという回答であったが、むしろ緊張が高まった、本テストと関係がはっきりしない、などの批判もあった。より効果的な質問の条件を探る必要がありそうである。第二に、試験に関して、試験官からは受験上の指示 "Please look at the passage." について、passage を知らない受験者も多いので変えるべきであるとの要望があった。受験者は全般的に満足していると回答したものの、本テストの後に自由会話を入れ、それも考査対象とすべきである、などの提案もあった。第三に、テストの採点に関して、試験官からは最高点の5の解釈、satisfactory などの主観的な評価尺度の解釈などについて疑問が出され、受験者からも採点基準が必ずしもはっきりしないとの批判があった。採点の尺度をより明確にし、できれば事前に公表する必要があるかもしれない。
　英検は多くの受験者の将来に影響を与えうる。このようなテストに関してはできるだけ多くの情報を公開することが望ましい。本調査は特に面接試験の妥当性、信頼性を高めるために有益な調査であった。

Junko Matsui
　語彙力と背景知識は英語の聴解を促進するか、この疑問を解決すべく行ったのが本調査である。調査対象は中級 intermediate、準中級 lower intermediate level の英語学習者。語彙に焦点を置いて指導した被験者のグループ、背景知識に焦点を置いて指導した被験者のグループ、それぞれにディクテーションと翻訳を行わせ、結果を比較検討した。分析の結果、聴解には背景知識よりも語彙が聴解力に大きな役割を果たしていることがわかった。しかしながら、更に TOEFL のリスニングテストの結果を考慮したところ、聴解力に優れている被験者と、劣っている被験者との間に差が見られた。すなわち前者の場合は語彙及び背景知識を得ることによって聴解は促進されるが、劣っている被験者にこのような傾向は見られなかったのである。聴解には、音声言語の速度をフォローする能力、個々の音声をはっきりと聴き分ける能力、音声の弱化 reduction、連結 linking、同化 assimilation などを聴き分ける能力、子音と母音を聴き分ける能力などが必要であり、これらの基礎聴解能力があってはじめて語彙、背景知識が有効になるのであろうと推論される。
　テストから得られたデータに加え、語彙及び背景知識に関して実際にはどのような指導が行われたのか、ディクテーションテストに使われた英語の特徴（速度、発音等）などに関する情報も考察の対象とすることによって、より有益な情報が得られると期待される。

Tetsuhito Shizuka
　多岐選択問題は0か1か、すなわち all or nothing を基本とする。したがって、応答に際して、受験者がどのような判断を下しているのかは得点に反映されないのが普通である。しかし、実際には、解答を確信している場合 know、恐らくこれが正答だろうと判断して答えている場合 think、当てずっぽうで答えている場合 guess、などのケースが考えられる。能力を正しく反映しているのは、単なる推測で正答を得た場合よりも、確信して正答を得た場合だと言えるであろう。受験者の能力を正しく測定するためにはこの点を考慮すべきである。
　本調査では応答において受験者の確信性 confidence がどう関わっているかを考察した。解答と確信性の両者を考慮した採点システムに基づき、更に予備データの分析結果を考察した。1/0応答と3/2/1に亙る確信の度合いを示す尺度scaleを採用し、計６ポイントに亙るデータを得た後、高い確信度をもって正しく応答した件に関しては高い得点を与えた。結果、確信性を考慮した場合はそうでない場合よりもより高い信頼性を得ることができた。更に risk-takersとrisk-avoiders を想定し、妥当性をも検証できることを示した。
　どのような受験上の指示 ―推測を促すのか、減点の対象とするのか― などの要因を考慮する必要があるだろう。また確信性という要因には性別も関与しているかもしれない。これらテスト項目以外の要因も考慮することによってより実り豊かな成果が期待できる。

(報告者: 渡部良典　国際基督教大学)

　[Return to the top of this page]

《Friday, July 30th》

Poster Session One:
　Poster Session One took place on July 30. Starting at 8:15 a.m. in the convention hall, nine individual and group presenters spent maximally five minutes respectively to outline their projects, followed by a one-hour poster presentation and discussion held in a smaller conference room. The topics covered in this session were roughly the issues on (1) innovative ESP or EFL tests (Briggs and Dobson, Wylie, Nakamura), (2) performance or commu-nicative tests (Halleck and Reed, Mochizuki and Yamada), (3) Japanese Language Proficiency Tests (Noguchi, Saegusa et al.) and (4) qualitative analyses of examinations and washback effects (Huhta et al., Watanabe).
　Many of the presenters looked somewhat nervous during the five-minute presentation time. Some presenters made a good, concise summary of their projects, while those who went into specific details were constrained by the time limit. As a timekeeper, I was in a dilemma, having to show two or three time-warning notes to grim-looking presenters and wishing I could allow them an extra few minutes!
　In contrast to the first part of the session, a more relaxed and lively atmosphere prevailed in the following poster presentation and discussion time. Unlike similar sessions in other conferences that I have seen, this two-part poster session was placed in a specific time slot, set apart from other types of presentations, such as research reports and symposiums. Thus, in the second part of this session, with a lot of time reserved for presenters and audience alike, all the participants were actively and uninhibitedly engaged in exchanging their views and ideas on language testing and assessment.
　In summary, Poster Session One has successfully informed us of language testing and assessment projects that are in progress in various sociocultural contexts. It has ascertained that those involved in language testing should take account of resources available to innovate their practices, different sources of variance that affect language test performance, the need to develop new test methods to meet their social or educational demands, findings of testing research beyond their immediate linguistic and social concerns, and roles of qualitative analyses as well as quantitative analyses, just to name a few. The issues are far more complex than they appear to be, and the overall picture shared by language testers still looks dim. However, as Bachman (1990) notes, "perhaps we have benefited from the confrontation with these issues, and will be able to address more wisely those that lie ahead" (p.355).

(Reporter: Ken Norizuki Shizuoka Sangyo University)

Research Reports Session Three: (Cancelled)

Plenary Speech Two: Ikuo Amano
"Admission Policies in Japanese University"
　OECD では大学入試制度を社会的出生 (Social Birth) と位置付けているが、入試制度に関する限り日本は世界の中でも先進国であり、それだけ入試制度が厳しいと言える。しかも大学入試においては英語は、最重要科目の一つである。
　入試制度について考えるとき、日本では近代的な国家改造以後の問題として考える必要がある。そもそも筆記試験の始まりは、7世紀中国の科挙 (The Keju) の制に遡ることができる。日本にも科挙の制は中国文化の一つとして入ってきたが、定着しなかった。この制度をヨーロッパに最初に伝えたのは、16世紀に中国で布教活動をしていたイエズス会の宣教師マテオ・リッチ (Matteo Ricci) であった。官僚の任用試験であった科挙の方式は、18世紀のドイツにおいては大学への入学試験の方式 (Abitur) として採用され、19世紀のフランスにおいてはナポレオンの教育改革の一つとしてグランデコール (grandes ecole)、後のバカロレア(baccalaur%eat) の制度として生まれ、いずれも大学入学資格試験として位置付けられた。この制度が1870年代に日本に入り、義務教育以後の入学試験として使われるようになったのであり、近代化の遅れを取り戻すための手段の一つとして使われるようになった。
　問題は、欧米においては入学試験の他に卒業試験等の資格試験が課せられたのに対して、日本では入学試験が高学歴を獲得するための手段となり、大学入学後に資格試験等が課せられなかったことである。これは最近のように定員割れが生じたり、入試制度が多様化したりすると大きな問題となる。今後の課題としては、入試制度そのものの質を変え、資格試験等の導入が考えられる。
　フロアからの質問は、1) 大学における男女の比率、2) マイノリティの扱い、3) 入社試験の実態などの3点についてであった。

(報告者: 斉藤誠毅　神奈川大学)

Symposium One:
"National Language Testing Reform: Possibilities and Constraints"
　カリフォルニア州立大学のクーナン教授の司会のもとで、定刻に、シンポジウムが始められた。オーストラリア、ハンガリー、香港、イスラエル、中国、エジプトにおいて、現在どのように言語テストに関して改革が進められているか、どのような問題点が生じているか、今後の方向について発表が行われた。
タイトルと発表者 (敬称略) は下記のとおりである。
1. Issues and Problems in National Language Testing Reform (in Australia) (Brindley)
2. Language Testing Reform in Hungary (ランカスター大学のC. Alderson教授が欠席のため、Brindley教授によって、原稿が読まれた)
3. Language Testing Reform in Hong Kong (Bachman, Cheng, Hamp-Lyons)
4. Language Testing Reform in Israel (Spolsky)
5. Setting up a dynamic language testing system in national language test reform: the Public English Test System (PETS) in China (Yurong, Taylor)
6. A Training Model for Egyptian Language Testers (Kunnan, Kawamoto)

　このシンポジウムへの参加者は、110余名に達する。2時間の中で、6つの発表が行われたため、各発表者に与えられた時間は15分 (3人の発表者の場合は1人、5分) であったが、その中で、熱のこもった発表が行われた。4つめの発表の後と最後に、活発な質疑応答が行われた。参加者は、それぞれの国で改革に取り組んでいる実態を、如実に実感出来たと思われる。

(報告者: 山崎朝子　武蔵工業大学)

Research Reports Session Four:
Charles Alderson
　このリサーチ・レポートは、発表者の Charles Alderson が参加できなくなったために Caroline Claphamにより、代読された。司会は Janna Fox である。
　このリサーチは、ハンガリーのテスト改革の一部として、リーディング能力の測定のために用いられている「並べ替え問題 (sequencing)」について、実証的に研究したものである。
　発表の中では、文の並べ替え問題について、実際の答案例を見ながら、原文以外にも、意味の通る順番が存在することを示し、採点方法による得点の違いを見た。採点方法は、exact match (exact) と classic と added-value (addval) と full pair である。
　さらに、このリサーチでは、複数の採点方法による違いをデータの点から分析している。全体的能力との相関では、exact > classic > addval > full pair の順で相関が高い。また、採点方法間の相関では、classic : addval > exact : classic > exact : addvalの順で相関が高いが、いずれも相関係数は .79 から .99と非常に高い。したがって、exact matchが簡便で、他の採点方法とも大きな違いがないことが分かった。

(報告者: 根岸雅史　東京外国語大学)

Poster Session Two:
　このセッションでは、発表者が各自5分間の持ち時間で研究の要旨を発表し、その後、別の会場で一堂に会して、発表者は各自の所定の場所に位置し、参加者からの質問や意見の交換が行われた。わずか一時間たらずではあったが、会場は発表者と参加者との真剣かつ熱心なやりとりで「熱い」雰囲気に包まれていた。発表者と個別に話が出来るのがこのポスターセッションの特徴であろう。
それぞれの内容は：
・ 言語テストコースでの実践部分としての口頭発表能力の評価法の開発
・ 日本の大学入試問題の信頼性・妥当性
・ 日本と韓国における大学入試問題の相違がそれぞれの国の高校生の英語の成績に及ぼす影響、彼らの英
語学習に対する態度や聴解力テストの結果の相違の要因
・日本人学習者のTOEFLセクションII（文法）の成 績の分析・検証
・Rule Space Methodology による日本語語彙テストの検証
・ ノートパソコンを使用した日本語ディクテーションテストの開発
・ 日本の大学生（初級・中級レベル）のオーラルコミュニケーション能力診断テスト
・ Guam Educators' Test of English Proficiency (GETEP)の開発
・ ビジネス用英語ライティングテストの開発とその採点基準
などで、多彩で興味深いものであった。

（報告者: 智原哲郎　大阪女学院短期大学）

　[Return to the top of this page]

《Saturday, July 31st》

Research Reports Session Five:
　わたしがこのような会議に不慣れで、関係者にご迷惑をおかけしましたが，Chair の Ms. Elaine Wylie の機転によって、円滑にかつ成功裏に発表が行なわれたことをご報告申し上げます。原因は私がタイムカードの存在をセッションの前に確認しなかったことにつきます。そのために、最初の発表者の Dr. John Read の途中になってから、Chair と Co-chair の２人がタイムカードの必要性に気づきました。そこで、プラスチックケースを確認すれば良かったのですが、それをせずに地図の裏の白紙の部分に、残りの時間を書いて発表者に示すことにし、ことなきをえました。Chairs が発表者の右手にいますので、OHP の右側にいて熱心に説明する発表者にとっては、どちらかというと背中側にあたり、Chair がタイムカードを示しても，なかなかそれに気づいてくれませんでした。すると、発表者のまん前にいた男性の参加者が指で数字を示し、発表者に残りの時間を教えてくれました。興味深かったのは、発表時間が過ぎてしまった場合に、自分の首の部分を手で切るしぐさで「時間切れ」を示したことでした。

John Read
　最初の発表は、NZの移民政策についてでした。内容は、英語が話せる移民を引きつけるために、英語のテストを行なっているが、現行のテストのせいで、現実的に移民が減っているので、その代替案をしめしたものでした。このテーマは非常に興味深いもので、将来、日本が日本語が話せる移民を受け入れるようになる段階で参考にしなければならないテーマであったと思います。

Jared Bernstein, Maxine Lipson, Gene Halleck, Martinez-Scholze
　次の発表は、スピーキングテストの併存的妥当性についてもので、日本のテスト研究でも今後研究の焦点が向けられるところである。日本ではOPIテストについてはよく紹介されているが、Phone Pass Spoken English Test, 10-minute formについての説明があり印象的だった。

(報告者: 酒井志延　桜の聖母短期大学)　

Symposium Two:
"The Rights and Responsibilities of Testers and Test-takers in Language Testing Settings: Ethics, Policy, Practice and Research"

　今回の国際会議を締めくくるシンポジウムは最終日の午前中に行われた。
　まず Janna Fox が総括的導入を行い、続いて7名の発言者がそれぞれの立場から提言した。最後に司会者である Bernard Spolsky がまとめのコメントを読み上げた。
　最初の発言者である Elena Shohamy は、彼女の critical language testing という視点からこの分野に関するこれまでの研究を5つのアプローチのもとにまとめ、テストがどのような使われ方をするかを認識することが重要であるとした。
　2番目と5番目の発言者である Tim McNamara と Cathie Elder は、いずれもSamuel Messick の議論を受け継ぎ、その後の研究の進展に沿って（例えば communicative competence の概念の改訂）、テストの妥当性に社会的影響力という側面をより反映させた新たな価値観が必要であると主張した。また、テストに関わる者によって判断基準やニーズが異り、その結果テストの意味が変わるのなら伝統的な心理測定法に基づいた妥当性の診断には限界があると指摘した。
　3番目の発言者 Geoff Brindley は、テストに関わる様々な人々（テスト開発者・テスト実施者・受験者・親・行政当局など）の間で意志疎通を高め、"assessment culture" を向上させるべきだと提言した。これに関連して6番目の発言者 David Nevo は、テスト実施者とテスト受験者の間の対話と相互理解を通して、評価者が負う責任分野である（テストの）accuracy, utility, propriety, feasibility が達成されると考えた。
　更に4番目の発言者 Janna Fox は、特定のテストに対する受験者の評価がその能力により異るという研究を報告し、受験者に公平であると意識されるテストを開発することが重要であると主張した。
　最後の発言者 Alan Davies は、テスト実施者の倫理条件を考えた。組織の中で倫理に悖る行為をする者には法的な制裁が加えられるべきであるが、それが存在しない状況下でも組織構成員としての自覚や同僚の「目」の意識といった倫理規範を高めることで社会的責任の達成に繋がると述べた。
　このようにシンポジウムの内容は多岐に亘り、発言は個別のテスト作成の問題からテスト作成者の職業倫理や政策決定の問題にまで拡がった。Fox や Nevo が主として実際的なテスト作成環境を取り上げたのに対し、Brindley, Elder, McNamara は誰にどのような社会的責任があるかを考えようとした。Shohamy が今後の研究の指針を提唱したのに対し、Davies は今後の実践のあり方を考察した。
　このような多様性あるいはまとまりのなさは第19回LTRC (1997, Orlando) で見られた盛り上がりとは対照的である。このときは一元的な評価から学習者の個別の適性・能力・環境に応じた多元的な評価にパラダイムが移行し、CBT や structural equation modeling がそれを具現化するものとして期待された。今回の社会的責任というテーマは Fox が言うように、fairness 追求の当然の帰結である。その結果 Spolsky が最後に指摘したように我々テスターの本務からかけ離れた議論になりかねない。実際，会場から「もっと内容の質向上に身を入れるべきではないか」(Bachman) との意見も出て、McNamara との間で興味深い議論の応酬が始まりかけたが時間切れとなった．
　私見では、日本の実状に基づいた研究や報告がなされるべきであると思った。多くの語学教師がカリキュラムなどの意志決定に参画し得ない状況では、責任の取り方そのものに問題がある。さらに、特定のテスト（例えば国内最大の英語検定試験）がテストの社会的意味づけに及ぼした功罪も検証されるべきであろう。
いずれにせよこの領域の研究は端緒についたばかりである。言語テストのみならず言語教育全体が関わるべき課題である。今後の進展が注目される。

(報告者: 安間一雄　玉川大学)

Closing Session:
　Closing Session は、Professor Alan Davies がまず 大友、Thrasher, 中村優治の各先生に感謝の花束を贈呈して始まった。Professor Davies は professionalism とinternationalism がうまくかみ合って初めてより良いlanguage testing の実現が可能であり、そのためには我々研究者間のcommunicationとcollaboration が必須であるということを強調し、最後にSamuel Becket の "Try again, fail again, but fail better." という含蓄のある言葉を引用して、彼のスピーチを終えた。
　次に来年の LTRC in Vancouver について、Professor Lyle Backman がワークショップの内容などを説明し、多くの参加者を募った。
　最後まで暖かな雰囲気の内に、LTRC in Tsukuba 1999 の幕が閉じられた。

(報告者: 小山　由紀江 長岡技術科学大学)

　[Return to the top of this page]

Travel information

Those coming by bus from Narita (Tokyo International Airport) to Tsukuba Center

You will arrive at #13 bus stop. When you get off the bus turn right and walk toward the taxi rank. Those heading for the Sun Route Hotel should take a taxi. The fare is 660 yen. Those staying at the Dai-ichi Hotel or going directly to the Tsukuba Congress Center need to go up one level. Just after you pass under the overhead pedestrian walk you will see an escalator on your left. At the top of the escalator you will see the Dai-ichi Hotel on your left. The walkway directly in front of you leads to
the Congress Center (720 meters away). It's a straight shot and the route is marked by signs with Epochal Tsukuba in large letters and Congress Center in smaller letters. But remember, this is Japan. The signs are vertical posts with the English lettering from top to bottom.

Those coming by bus from Tokyo Station

You also will arrive at #13 bus stop and should follow the directions above.

Other advice

Telephoning in Japan
Most pay phones are green and some take coins as well as telephone cards, but many take only cards. We advise you to buy a telephone card when you arrive. They come in 500 and 1000 yen denominations. They are sold by vending machines near banks of pay phones. Just insert a 1000 yen note and select the card you want. Telephone cards are also available at many shops.
Telephone numbers in Japan consist of the area code, a prefix code and a four digit code. The confusing part is that the area code and the prefix code can be two, three, or four digits. The area code for Tsukuba is 0298 and the prefix code is two digits. In Tokyo, the area code is 03 and the prefix code is four digits. As you would expect, within the dialing area you don't use the area code. However, from Narita Airport (which is in Chiba Prefecture) you need to use the 0298 area code to call
Tsukuba (which is in Ibaraki Prefecture) or 03 to call a Tokyo number.

On tipping

Tipping is NOT the custom in Japan. Please do not tip taxi
drivers, waiters, and other service personnel.

　　[Return to the top of this page]

[Revised Third Circular June 14, 1999]

[Second Circular April 16, 1999]

［To the homepage of the Japan Language Testing Association］

［To the home page of the International Language Testing Association］

［To the homepage of the Tsukuba Intenational Congress Center］

21st Language Testing Research Colloquium

(LTRC 99)

"The Social Responsibility of Language Testing in the 21st Century"

Third Circular : Program

[JLTA Annual Conference and LTRC 99 Program]

A Message from Joint-Chairs, LTRC 99

　　Preparations for the LTRC 99 are in the final stage. The Tsukuba International Congress Center (note the name change from the tentative one) has been completed and when the Organizing Committee visited it on April 10, we were impressed with the facilities we will be using. We also learned that two other conferences will be held at the same time. The Congress Center is spacious enough to accommodate the three meetings without congestion but hotel space in Tsukuba is limited. Therefore, we urge all participants to make their hotel reservations as soon as possible. We also hope that you will register for the conference early so that we will have a better idea of just how many participants we will have. The deadline for the regular registration is Tuesday, June 15.
　　As you can see from the program included in this circular, some of the best known scholars in our field will be presenting and a number of interesting topics will be explored. We certainly hope you can join us.
　　Please check our homepage for updates and don't hesitate to contact the secretariat with any questions or problems.
　　We are looking forward to seeing you in Tsukuba.

　　　　　Kenji Ohtomo and Randolph H. Thrasher
　　　　　 Joint-chairs, The 21st Language Testing Research Colloquium

LTRC 99 Expanded Organizing Committee

Joint-chairs

Kenji OHTOMO　Tokiwa University
　　　　　　　　Professor Emeritus, The University of Tsukuba

Randolph H. THRASHER　International Christian University

Vice-chair

Yuji NAKAMURA　Tokyo Keizai University

Secretary General

Youichi NAKAMURA　Nagano-ken Shinonoi High School

Members at Large

Jeffrey K. HUBBELL　Hosei University

Masayoshi KINOSHITA　Fukuoka International University

Hideo KIYOKAWA　Wayo Women's University

Katsunosuke NAMITA　Hokkaido University

Masashi NEGISHI　Tokyo University of Foreign Studies

Kazuo OTSUBO　Reitaku University

Steven ROSS　Kwansei Gakuin University

Correction of the LTRC 99 payment procedure for participants from abroad

　　Primarily, we ask the participants from overseas to pay the fees by the International Postal Money Order. Payment made in Japanese yen is preferable. It is acceptable, however, to make payment in your local currency, in case payment in Japanese yen is not possible.
　　If you have any trouble in doing the above, please contact the LTRC 99 Secretariat. Be sure to contact the Secretariat first, before you take any action, please. If you have to make payment by any other means than by the International Postal Money Order, please consult with the Secretariat in advance.
And please don't forget that remittances to Japan from abroad take time. So we ask overseas participants especially to register as early as possible.

Call for Advertisements and Exhibition

　　It is still possible to place advertisements in the LTRC 99 conference handbook, and to reserve a place for an exhibition at the LTRC 99 venue. The deadline of the applications is May 31, 1999.

　　For further information, please contact the Secretariat as promptly as possible.

Secretariat for LTRC 99
758 Shibahara Togura-machi Hanishina-gun
Nagano-ken, 389-0813, JAPAN
TEL +81-26-275-1964, FAX +81-26-275-1970
e-mail: youichi@avis.ne.jp (NAKAMURA Youichi)
URL: http://www.avis.ne.jp/~youichi/LTRC.html

　　[Return to the top of this page]

JLTA Annual Conference and LTRC 99 Program (as of April 30, 1999)

　　INDEX

　　[Wednesday, July 28th]

　　[Thursday, July 29th]

　　[Friday, July 30th]

　　[Saturday, July 31st]

　　[Return to the top of this page]

《Wednesday, July 28th》

The Japan Language Testing Association (JLTA) Annual Conference

12:30-13:00 JLTA Business Meeting

　　Chair: Yuji Nakamura JLTA Vice-President

　　　Opening Address　　　Kenji Ohtomo JLTA President
　　 Report on Activities　Youichi Nakamura JLTA Secretary General

13:00-16:30 Plenary Speeches and Invited Paper

　　Chairs: Haruo Yanai National Center for University Entrance Examination
　　　　　　Jeffrey Hubbell Hosei University

13:00-14:30 Hiroshi Ikeda Professor Emeritus, Rikkyo University
　　　　　　　Senior Adviser, The Society for Testing English Proficiency, Inc.
What We Need for Research on Language Testing in Japan: A Psychometrician's View
(in Japanese)

14:30-15:00 Hossein Farhady Iran University of Science and Technology
Coaching and the Consequential Validity of TOEFL vs. Task Based Assessment

15:00-16:30 Nancy Cole President, Educational Testing Service
Language Assessment in the Future

*　*　*　*　*　*　*　*　*　*　*　*　*　*　*　*　*　*　*　*　*　*　*　*　*　

The 21st Language Testing Research Colloquium (LTRC 99)

17:00-17-30　Opening Ceremony

　　Chair: Randy Thrasher ICU 　　Co-chair: Masayoshi Kinoshita Fukuoka International University

　　Welcoming Address　　Kenji Ohtomo, Joint-chair, LTRC 99 Tokiwa University

　　Opening Remarks　　　 Elana Shohamy, ILTA President Tel Aviv University

17:30-19:00 Plenary Speech One (Messick Memorial Lecture)

　　Chair: Randy Thrasher ICU　　Co-chair: Hiroyoshi Hatori Bunkyo Women's College

Tim McNamara The University of Melbourne
Validity in Language Testing: the Challenge of Sam Messick's Legacy

19:00-21:00 Welcome Party

　　Toast Master: Yuji Ushiro　　Toast Mistress: Taiko Tsuchihira
　　　The University of Tsukuba 　Shinshu Honan Junior College

　　 [Return to the INDEX of the program]

《Thursday, July 29th》

Student Research Reports

　　Chair: Gene Halleck　　　　　Co-chair: Matsuo Kimura
　　　Oklahoma State University 　Aoyama Gakuin University

8:15-8:45 Yoshihito Sugita Yamanashi University
Constructing Rating Scales for EFL Writing Tests

8:45-9:15 Dongil Shin The University of Illinois at Urbana-Champaign
Validation of Diagnostic ESL Test for Measuring Lecture Comprehension Ability

9:15-9:45 Amy Yamashiro Nihon University
Using Structural Equation Modeling to Validate a Rating Scale

9:45-10:00 Coffee Break

10:00-11:30 Panel Discussion: Language Testing: Yesterday, Today and Tomorrow

　　Chair: Kenji Ohtomo　　Co-chair: Katsunosuke Namita
　　　Tokiwa University　　　Hokkaido University

Bernard Spolsky Bar-Ilan University
Yesterday: The path taken

Elana Shohamy Tel Aviv University
Today: Which paths? What do they mean for us and for others?

Alan Davies The University of Edinburgh
Tomorrow: How many paths?

11:30-12:00 Group Photo

12:00-13:15 Lunch

Research Reports Session One

　　Chair: Hossein Farhady　　　　　　　　　　　　Co-chair: Minoru Wada
　　　Iran University of Science and Technology 　　Meikai University

13:15-13:45 Gary Buck, Kikumi Tatsuoka and Irene Kostin Educational Testing Service
Developing and Cross-Validating a Set of Cognitive and Linguistic Attributes Applicable to Multiple Test Forms on a Multiple-Choice Listening Test

13:45-14:15 Hisami Saito-Scott Mission College, Santa Clara, CA
Analyzing the Dimensionality of a Second Language Reading Test from Cognitive Perspectives

14:15-14:45 J. D. Brown, Thom Hudson and John Norris The University of Hawaii at Manoa
Validation of Test-Dependent and Task-Independent Ratings of Performance Assessment

14:45-15:15 Yong-Won Lee Educational Testing Service
Examining Passage Related Local Dependence (LD) Using Q3 Statistics in an EFL Reading Comprehension Test

15:15-15:30 Coffee Break

Research Reports Session Two

　Chair: Mary Spaan The University of Michigan 　　Co-chair: Yoshinori Watanabe ICU

15:30-16:00 Catherine Burrows NSW Adult Migrant English Service
Adopters, Adapters, and Resisters: Did the Assessment of the Certificates in Spoken and Written English Change Teaching in the AMEP?

16:00-16:30 Jane Andrews and Richard Fay The University of Manchester
Interculturality and English Language Paired Oral: Exploring Assessors Perceptions

16:30-17:00 Laura MacGregor Sophia University
Demystifying the STEP Interview Test

17:00-17:30 Junko Matsui Meikai University
Various Interrelated Factors Involved in Listening

17:30-18:00 Tetsuhito Shizuka Kansai University
Using Test-taker's Confidence Levels in Scoring Multiple Choice Tests

18:00-19:00 ILTA Business Meeting

　　 [Return to the INDEX of the program]

Poster Session One

　　Chair: Steven Ross　　　　　　　Co-chair: Ken Norizuki
　　　Kwansei Gakuin University 　　　Shizuoka Sangyo University

8:15-9:15　 Presentation Session
9:15-10:00 Discussion Session

Sarah Briggs and Barbara Dobson The University of Michigan
Using a Spoken Language Corpus in the Development of EAP Listening Tests

Gene B. Halleck Oklahoma State University and Daniel J. Reed The University of Minnesota
Rating the VOCI: Alternative Methods

Ari Huhta, Anne Pitkanen-Huhta, and Paula Kalaja The University of Jyvaskyla
Taking a High Stakes Test ― Exploring its Meaning(s) for an Individual

Akihiko Mochizuki The University of Tsukuba and Noboru Yamada Shizuoka Sangyo University
Measurement and Evaluation of English Communicative Competence ― Discrete-point vs. Integrative Tests and Integrative vs. Analytical Evaluation

Youichi Nakamura Nagano-ken Shinonoi High School
A Prototype of an Item Pool for Computer-Based, Multimedia Listening Test

Hiroyuki Noguchi Nagoya University
IRT Analyses of the Japanese Language Proficiency Test

Reiko Saegusa Hitotsubashi University, Mako Aoyama The Japan Foundation,
Tsutomu Fukuchi Chuo University, Sukero Ito Tokyo University of Foreign Studies,
Mikio Kawarazaki Tokai University, Keiichi Koide Gumma Prefectural Women's University,
Takashi Murakami and Hiroyuki Noguchi Nagoya University,
Kazuo Otsubo Reitaku University, and Akiko Wada The Japan Foundation
Verifying the Validity of the Japanese Language Proficiency Test Using Can-do Statements

Elaine Wylie Griffith University
Testing for Justice

Yoshinori Watanabe International Christian University
Exploring Washback in Japanese EFL Classrooms

10:00-10:15 Coffee Break

Research Reports Session Three

　　Chair: Caroline Clapham　　　Co-chair: Mikihiko Sugimori
　　　Lancaster University 　　　　Ritsumeikan University

10:15-10:45　Batia Laufer University of Haifa and Paul Nation Victoria University of Wellington
Vocabulary Recognition Speed Test (VORST)

10:45-12:15　Plenary Speech Two

　　Chair: Charles Alderson　　　Co-chair: Seiki Saito
　　　Lancaster University 　　　　Kanagawa University
　　　British Council Hungary

Ikuo Amano Professor, Center For National University Finance
Professor Emeritus, Tokyo University
Admission Policies in Japanese Universities

Simultaneous Interpretation: Yuji Nakamura Tokyo Keizai University and Randy Thrasher ICU

12:15-13:15 Lunch

13:15-15-15 Symposium One: National Language Testing Reform: Possibilities and Constraints

　　Chair: Antony Kunnan　　　　　　Co-chair: Kazuo Otsubo
　　　California State University 　　Reitaku University

Geoff Brindley Macquarie University
Issues and Problems in National Language Testing Reform

Charles Alderson Lancaster University/British Council Hungary
Language Testing Reform in Hungary

Liz Hamp-Lyons Hong Kong Polytechnic University, Liying Cheng The University of
Alberta, and Lyle Bachman The University of California, Los Angeles
Language Testing Reform in Hong Kong

Bernard Spolsky Bar-Ilan University
Language Testing Reform in Israel

Sun Yurong State Education Commission of the People's Republic of China, Michael
Milanovic and Lynda Taylor UCLES
The Public English Language Testing System Reform in China

Antony Kunnan California State University, Beryl Meiron Cambridge Examinations and
IELTS International, and Yutaka Kawamoto California State University
A Training Model for Egyptian Language Testers

Research Reports Session Four

　　Chair: Janna Fox 　　　　Co-chair: Masashi Negishi
　　　Carleton University　　　Tokyo University of Foreign Studies

15:30-16:00 Charles Alderson Lancaster University/British Council Hungary, Szabo Gabor Janus Pannonius University, Pecs, Hungary and Richard Percsich Assessment Centre of BMPI (Pedagogical Institute), Pecs, Hungary
Sequencing as an Item Type

Poster Session Two

　　Chair: Glenn Fulcher　　　　　　Co-chair: Tetsuro Chihara
　　　The University of Surrey 　　　Osaka Jogakuin Junior College

16:00-17:00 Presentation Session
17:00-17:45 Discussion Session

Ofra Inbar Tel-Aviv University
Language Testing Courses and Language Teaching Initiatives: A Collaborative Process

Akihiro Ito Aichi Gakuin University
Testing English tests: A concurrent and internal construct validation of the NCUEE-Test in Japan

Masayoshi Kinoshita Fukuoka International University, Hiroshi Shimatani Kumamoto University,
Terry Laskowski Kumamoto University, Hiroki Yamamoto Seinan Jogakuin Junior College,
and Masashi Takemura Hokkaido Sapporo Kita High School
The Analysis of English Listening and Reading Comprehension Concerning Japanese and Korean High School Students

Mikiya Koarai St. Dominique's Institute
Performance of Japanese Examinees on TOEFL Section II

Naoki Kuramoto Tohoku University, Masahiro Kasai DePaul University, and Hisami Saito Scott
Mission College, Santa Clara, CA
Verification of a Japanese Vocabulary Test by the Rule Space Methodology

Jouji Miwa Iwate University
The Dictation Test and Its Evaluation for Japanese Speech Using A Portable Computer

Masanori Nakamura and Nunzio Scena Georgia State University
Oral Communication Test: Japanese Speakers of English

Daniel L. Robertson The University of Guam, and Charles W. Stansfield Second Language
Testing, Inc
Ten Years Later: The Guam Educators' Test of English Proficiency

Matilde Scaramucci The State University of Campinas, SP, Brazil
A Study of Washback in Brazil

Mary C. Spaan The University of Michigan
Converting from a General Purpose Writing Task to a Special Purpose Task

19:00 Banquet

　　Toast Master: Shinji Kimura 　　Toast Mistress: Yuko Shimizu
　　　Kwansei Gakuin University 　　　Ritsumeikan University

　　 [Return to the INDEX of the program]

《Saturday, July 31st》

Research Reports Session Five

　　Chair: Elaine Wylie　　　Co-chair: Shien Sakai
　　　Griffith University 　　　Sakurano Seibo Junior College

8:15-8:45 John Read Victoria University of Wellington
The Impact of English Tests for Migrants

8:45-9:15　Jared Bernstein Ordinate Corporation, Maxine Lipson The University of Bologna, Gene Halleck Oklahoma State University, and Jane Martinez-Scholze Defence Language Institute Lackland AFB Texas
Comparison of Oral Interviews and Automatic Testing of Spoken Language Facility

9:15-9:30 Coffee Break
9:30-11:30 Symposium Two: The Rights and Responsibilities of Testers and Test-takers in Language Testing Settings: Ethics, Policy, Practice and Research

Chair: Bernard Spolsky Bar-Ilan University Co-chair: Kazuo Amma Tamagawa University
Elana Shohamy, Tel Aviv University
Critical Language Testing: Uses and Consequences of Tests, Responsibilities of Testers and Rights of Test-takers

Tim McNamara, The University of Melbourne
Policy and Social Considerations in Language Assessment: an Overview of Recent Research

Geoffrey Brindley, Macquarie University
Understanding Assessment Cultures

Janna Fox, Carleton University
Test Taker and Rater Responses: A Study of Proximal Processes

Cathie Elder, The University of Melbourne
Language Testing: Whose Values? Whose Responsibility?

David Nevo, Tel Aviv University
Tester and Test-taker: A Two-way Channel of Communication

Alan Davies The University of Edinburgh
Professionalism in Language Testing: Do Codes of Ethics help?

11:30-12:00 Closing Session
　　　Chair: Randy Thrasher 　　Co-chair: Yukie Koyama
　　　　ICU 　　　　　　　　　　　　Nagaoka University of Technology

Closing Remarks Alan Davies, ILTA Vice-President The University of Edinburgh

Invitation to LTRC 2000 Lyle Bachman The University of California, Los Angeles

　　[Return to the INDEX of the program]

　　[Return to the top of this page]

21st Language Testing Research Colloquium

(LTRC 99)

"The Social Responsibility of Language Testing in the 21st Century"

Second Circular : Call for Participation

　　[Return to the top of this page]

ATTENTION, please!

　　In order to get the necessary materials to regiser for LTRC 99, inform the Secretaliat of your postal address, by e-mail, FAX, or postal mail.

　　The materials will be forwarded to you by postal mail.

　＜The Latest Information (April 16, 1999)＞

　　LTRC 99 will be held from July 28 to 31 at the Tsukuba International Congress Center: Epochal Tsukuba (this is a change in the name not the location). The program and other information is available from the LTRC 99 Secretariat:
　　　758 Shibahara Togura-machi Hanishina-gun
　　　Nagano-ken, 389-0813, JAPAN
　　　TEL +81-26-275-1964, FAX +81-26-275-1970
　　　e-mail address: youichi@avis.ne.jp (NAKAMURA Youichi)
　　　or on our homepage URL: http://www.avis.ne.jp/~youichi/LTRC.html

Those who wish to participate should note the following:

　　Registration materials are available from the Secretariat.

On payment:

　　Primarily, we ask the participants from overseas to pay the fees by the International Postal Money Order. Payment made in Japanese yen is preferable. It is acceptable, however, to make payment in your local currency, in case payment in Japanese yen is not possible.

　　If you have any trouble in doing the above, please contact the LTRC 99 Secretariat. Be sure to contact the Secretariat first, before you take any action, please. If you have to make payment by any other means than by the
International Postal Money Order, please consult with the Secretariat in advance.

　　And please don't forget that remittances to Japan from abroad take time. So we ask overseas participants especially to register as early as possible.

Hotels and transportation:

　　We have learned that there are several conferences being held at the Tsukuba International Congress Center at the same time as LTRC 99 and hotel rooms are limited. We urge all participants to make their hotel reservations as soon as possible.

　　Tsukuba Daiichi Hotel is an 8 to 10 minute walk from the Tsukuba International Congress Center. Hotel Sunroute Tsukuba and Tsukuba Sky Hotel are a 20 minute walk away. However, there will be bus service (once
in the morning and once in the evening) between these 2 hotels and the Tsukuba International Congress Center.

　　Parking at and around the Tsukuba International Congress Center is limited.　The cost for parking within the Tsukuba International Congress Center is 160 yen per hour, and it has a parking capacity of less 200.

　　[Return to the top of this page]

<A message from Joint-chairs>　<Program & Schedule>

<Registration>　<Payment>　<Accomodations>

<The LTRC 99 Organizing Committee and the Secretariat>

<Call for Exhibitions and Advertisements>

［Return to the JLTA homepage］

The Japan Language Testing Association (JLTA) is pleased to host the 21st Language Testing Research Colloquium (LTRC) at the Tsukuba Intenational Convention Center from Wednesday, July 28 through Saturday,

　　July 31, 1999. We wish to extend the glad hand of welcome to members of International Language Testing Association (ILTA) and all those interested in the field of language testing and teaching all over the world.

　　LTRC, the official conference of ILTA, is now 21 years old and is recognized as the most prestigious conference in the field of language testing in the world. Language testing is one of the most crucial elements in language education, but application of the findings of the research in language assessment seems to be difficult due to various theoretical and practical problems. LTRC 99 will offer the opportunity to learn how the language testing profession is working to overcome these problems. In this colloquium, we will focus attention on "The Social Responsibility of Language Testing in the 21st Century". It is significant that this is the theme of the first LTRC to be held in Asia because this social responsibility has not been widely recognized by testers in Japan and other countries in the region.

　　We would like to try to make the colloquium an unforgettable experience for all participants.

　　We have invited three world-renowned scholars in language testing to help us understand where our field has come from, where we stand now, and where we are heading. Alan Davies, the vice president of ILTA, Elana Shohamy, ILTA president, and Bernard Spolsky, a past president of ILTA, have agreed to be part of a panel discussion titled "Language Testing: Yesterday, Today and Tomorrow".

　　Tim McNamara, the University of Melbourne and the immediate past president of ILTA, will deliver the Messick Memorial Lecture and speak of our legacy from this pioneering scholar. Ikuo Amano, Professor, Center for National University Finance & Professor Emeritus of Tokyo University, will help both overseas and Japanese participants deepen their understanding of the Japanese entrance exam system and the historical forces that have shaped it.

Two symposia will be presented. One is titled "National Language Testing Reform: Possibilities and Constraints" and features papers by Geoff Brindley (Macquarie University), Charles Alderson (Lancaster University), Liz Hamp-Lyons (Hong Kong Polytechnic University) and Lyle Bachman (University of California at Los Angeles), Bernard Spolsky (Bar-Ilan University), Michael Milanovic, Nick Saville and Linda Taylor (University of Cambridge Local Examinations Syndicate), Antony Kunnan (California State University at Los Angeles), Beryl Meiron (Cambridge Examinations and IELTS International), and Yutaka Kawamoto (California State University at Los Angeles). The other, "The Rights and Responsibilities of Testers and Test-Takers in Language Testing Settings: Ethics, Policy, Practice and Research", will include presentations by Elana Shohamy (Tel Aviv University), Tim McNamara (University of Melbourne), Geoff Brindley (Macquarie University), Janna Fox and Martha Jennings (Carleton University, Canada), Cathie Elder (University of Melbourne), and David Nevo (Tel Aviv University).

　　In the afternoon before LTRC 99 opens, The Japan Language Testing Association (JLTA) has invited Nancy Cole (President, Educational Testing Service) and Hiroshi Ikeda (Senior Director, Educational Testing Research Center, Japan Institute of Lifelong Learning) to make presentations. All LTRC participants are welcome to attend this meeting without charge.

　　Tsukuba City, where LTRC 99 is to be held, is renowned as the frontier city of science in Japan. It is located 50 km (31 miles) from Tokyo and 40 km (25 miles) from New Tokyo International Airport in Narita. The construction of the Tsukuba Intenational Convention Center, the venue for LTRC 99, is to be completed in March. This brand new building should be a fitting site for a conference focusing our attention on the 21st century.

　　It is our sincere hope that we can share our most recent academic research in language testing, enjoy Japanese culture, and renew or strike up friendships at LTRC 99.　We are looking forward to seeing you in Tsukuba.

Kenji Ohtomo and Randolph H. Thrasher
Joint-chairs, The 21st Language Testing Research Colloquium

[Return to the top of this page]

　＜Program & Schedule＞

Wednesday, July 28, 1999
13:00-16:30	JLTA Annual Conference 　JLTA Business Meeting 　Plenary Speeches 　Speakers: Hiroshi Ikeda 　　　　　　 Nancy Cole	2F, Convention Hall
17:00-17:30	LTRC Opening Ceremony	2F, Convention Hall
17:30-19:00	Plenary Speech 1 　Speaker: Tim McNamara	2F, Convention Hall
19:00-21:00	Welcome party	1F, #102 Conference Room

Thursday, July 29, 1999
08:15-10:15	Student papers (4)	2F, Convention Hall
10:15-10:30	Coffee Break
10:30-12:00	Panel Discussion (Language Testing: Yesterday, Today and Tomorrow)	2F, Convention Hall
12:00-12:15	Group Photo	(2F, Convention Hall)
12:15-13:15	Lunch
13:15-15:15	Paper Session 1 (4)	2F, Convention Hall
15:15-15:30	Coffee Break
15:30-18:00	Paper Session 2 (5)	2F, Convention Hall
18:00-19:00	ILTA Business Meeting	2F, Convention Hall

Friday, July 30, 1999
08:15-09:15	Poster Presentation 1 (12)	2F, Convention Hall
09:15-10:00	Poster Discussion 1	1F, #102 Conference Room
10:00-10:15	Coffee Break
10:15-10:45	Paper Session 3 (1)	2F, Convention Hall
10:45-12:15	Plenary Speech 2 　Speaker: Ikuo Amano	2F, Convention Hall
12:15-13:15	Lunch
13:15-15:15	Symposium 1 (National language Testing Reform: Possibilities and Constraints)	2F, Convention Hall
15:15-15:30	Coffee Break
15:30-16:00	Paper Session 4 (1)	2F, Convention Hall
16:00-17:00	Poster presentation 2 (12)	2F, Convention Hall
17:00-17:45	Poster discussion 2	1F, #102 Conference Room
19:00-21:00	Banquet	Tsukuba Sansui Tei

Saturday, July 31, 1999
08:15-09:15	Paper Session 5 (2)	2F, Convention Hall
09:15-09:30	Coffee Break
09:30-11:30	Symposium 2 (The Rights and Responsibilities of Testers and Test-takers in Language Testing Settings: Ethics, Policy, Practice and Research)	2F, Convention Hall
11:30-12:00	Summing up & Closing Session	2F, Convention Hall

　＜Colloquium Language Policy＞

Presentations will be given in English.

　＜Facilities and Services Available＞

Free coffee-break-services will be available during the colloquium in the lobby outside the Convention Hall.　The Tsukuba International Convention Center has a restaurant, and some restaurants are located near the convention 　center.

　＜Commercial Exhibitions＞

A commercial exhibition of publications and computer software and hardware will take place during the Colloquium. If you wish to be an exhibitor, please apply to the Secretariat.

For more information on "Call for Exhibitions and Advertisements", click here.

[Return to the top of this page]

　＜Registration＞

      
JLTA annual conference
JLTA Members

      LTRC participants

      
Free
Payment should be made
      at

      the on-site registration desk.
Non-members

      
\ 3,000
 

      
LTRC 99
Until June 15, 1999
Members

      (ILTA and/or JLTA affiliates)

      Students

      (A copy of student ID is required)

      
\15,000
Payment:

      From outside of Japan,

      　only by international postal 　　money order.

      For domestic participants,

      　only remittance through postal

      　transfer will be accepted.
Non-members

      
\20,000
Banquet

      
\ 7,000
Group
      Photo

      
\ 2,000
After
      June 15, 1999
Members

      (ILTA and/or JLTA affiliates)

      Students

      (A copy of student ID is required)

      
\20,000
Payment should be
      made at

      the on-site registration desk.
Non-members

      
\25,000
Banquet

      
\ 7,000
Group
      Photo

      
\ 2,000

　* The maximum number of participants is limited to 200. The application
　will be accepted on a first-come, first-served basis.

[Return to the top of this page]

　＜Payment＞

For foreign participants: Payment of registration fees until June 15, 1999 should be made *in Japanese yen by international postal money order*.　Other means of payment cannot be accepted. Send the remittances by international money order, with the registration form, to the following address.

[*Click here for the corrected payment statement.]

LTRC 99 758 Shibahara Togura-machi Hanishina-gun Nagano-ken, 389-0813, JAPAN

Payment of registration fees after June 15, 1999 should be made in cash (Japanese yen only) at the on-site registration desk.　Those registering between June 16 and July 16 should send the registration form to the secretariat.

For domestic participants: Only remittance through postal transfer will be accepted.　If you need the form for postal transfer, ask for the form to the Secretariat, please.　Payment of registration fees after June 15, 1999 should be made in cash (Japanese yen only) at the on-site registration desk. 　Those registering between June 16 to July 16 should send the registration form to the secretariat.

郵便振替口座　　口座名：LTRC 99, 　口座番号：00530-0-25882
LTRC 99　〒389-0813　長野県埴科郡戸倉町芝原　758
TEL 026-275-1964 FAX 026-275-1970
e-mail: youichi@avis.ne.jp (中村　洋一)

Any handling charges should be borne by the applicants.

　＜CORRECTION (March 27)＞

　　In the Second Circular we asked all participants to pay registration and other fees using an international postal money order in Japanese yen. However, we have now learned that we had been misinformed about payment possibilities from abroad. In many parts of the world it is NOT possible to send an international postal money order in yen. Therefore we must ask the participants from those areas to submit an international postal money order in your local currency for the equivalent amount of
Japanese yen. Please be aware that in some countries (the US, for example)
not all post offices handle international money orders.
We apologize for any inconvenience our earlier misinformation has caused you. If you experience any other problems in submitting fees please contact the LTRC 99 Secretariat.

　＜Confirmation＞

Upon receiving your completed registration form and confirming your remittance of fees, the Secretariat will send you a Confirmation/Receipt containing your registration number.　This is only possible for the applicants who register by June 15, 1999.　This confirmation must be retained and presented at the on-site registration desk.

　＜Cancellation and Refund Policy＞

In the event the registration must be canceled, written notification must be sent to the Secretariat.　The cancellation fees are as follows:

Cancellation received by June 15, 1999: \3,000 handling charge
Cancellation after June 15, 1999: No refund

All refunds will be made after the colloquium.

[Return to the top of this page]

　＜Accommodations＞

Hotel reservations can be made through our official travel agent, JTB (Japan Travel Bureau Inc.) Tsukuba Branch.　It will be made on a first-come, first-served basis.　The Secretariat does not handle reservations of hotels at all.　Deadline for application is Monday, June 28, 1999.

JTB Tsukuba Branch
The 21st Language Testing Research Colloquium
Tsukuba Mitsui Bldg. 1 F, 1-6-1, Takezono, Tsukuba-shi
Ibaraki Prefecture 305-0032, JAPAN
Tel: 0298-55-6522 (From abroad: +81-298-55-6522)
Fax: 0298-55-6528 (From abroad: +81-298-55-6528)

HOTEL	ROOM TYPE	ROOM RATE	ACCESS TO THE CONFERENCE VENUE
Tsukuba Dai-ichi Hotel	Single	\11,500	10 min. walk.
	Twin	\11,100
	Double	\9,700
Hotel Sun Route Tsukuba	Single	\7,500	3 min. drive (by taxi)
	Twin	\8,000
Tsukuba Sky Hotel	Single	\7,500	7 min. drive (by taxi).
	Twin	\7,300

　　For more information about accommodations and transportation, send your address for postal mail (not for e-mail) to the Secretariat, please. The Secretariat will send you the necessary information about the hotel accomodations, on behalf of JTB Tsukuba Branch, by postal mail.

[Return to the top of this page]

　＜The 21st Language Testing Research Colloquium Organizing Committee＞

Kenji Ohtomo, Joint-chair: President, JLTA
   Professor, Tokiwa University & Professor Emeritus, University of Tsukuba
Randolph H. Thrasher, Joint-chair: Vice-President, JLTA
   Professor, International Christian University
Yuji Nakamura, Vice-chair: Vice-President, JLTA
   Professor, Tokyo Keizai University
Youichi Nakamura, Secretary General: Secretary General, JLTA
   Teacher, Shinonoi Senior High School

　＜Secretariat for the 21st Language Testing Research Colloquium＞

758 Shibahara Togura-machi Hanishina-gun
Nagano-ken, 389-0813, JAPAN
TEL +81-26-275-1964, FAX +81-26-275-1970
e-mail address: youichi@avis.ne.jp
URL: http://www.avis.ne.jp/~youichi/JLTA.html

[Return to the top of this page]

　＜Call for Exhibitions and Advertisements＞

Joint-chairs, The 21st LTRC Organizing Committee
Kenji Ohtomo (Professor, Tokiwa University)
　　 (Professor Emeritus, University of Tsukuba)
Randolph H. Thrasher
　　(Professor, International Christian University)

　　In 1999, for the first time in its 20 year history, the Language Testing Research Colloquium (LTRC) will be held in Asia. Our Japan Language Testing Association (JLTA) will host LTRC 99 from July 28 to 31 at the Tsukuba International Convention Center.
　　It is a huge responsibility but at the same time a wonderful opportunity.　Having LTRC in Japan will allow a large number of Japanese scholars to discuss testing matters with the top experts in the field.　It will also be a chance for those working in Japan to present our testing research to an international audience to help them better understand the situation here.　But, most important of all, it can be an opportunity to show Japanese language teachers the testing practices and standards of the international testing community.
　　We would like to announce a call for exhibitions and advertisements. Commercial exhibitions and advertisements of publications, computer software programs and hardware will be accepted as follows:

　1. Name of the conference: the 21st Language Testing Research Colloquium
　2. Details of the cost for exhibitions and advertisements:

	JLTA Members	Non-Members
Advertisement (half page of A4 size paper)	\30,000	\50,000
Advertisement (one page of A4 size paper)	\50,000	\70,000
Exhibition (one long table)	\50,000	\70,000

　3. Application and Payment:

For domestic application and payment, remittance through postal transfer will be accepted.　If you need the form for postal transfer, ask for the form to the Secretariat, please.

郵便振替口座　　口座名：LTRC 99, 　口座番号：00530-0-25882
LTRC 99　〒389-0813　長野県埴科郡戸倉町芝原　758
TEL 026-275-1964 FAX 026-275-1970
e-mail: youichi@avis.ne.jp (中村　洋一)

Payments for exhibitions and advertisements from abroad will be accepted only by International Postal Money Order. Indicate which one, and send the order to the LTRC 99 secretariat, please.

　4. Deadline: May 31, 1999

Note: Those intending to apply for an advertisement, please make sure that the secretariat receives your manuscript before June 15, 1999 as well.

If you have further questions, please contact the Secretariat as follows:

LTRC 99
758 Shibahara Togura-machi Hanishina-gun
Nagano-ken, 389-0813, JAPAN
TEL: +81-26-275-1964 FAX: +81-26-275-1970
e-mail address: youichi@avis.ne.jp (NAKAMURA Youichi)
URL:http://www.avis.ne.jp/~youichi/JLTA.html

[Return to the top of this page]

[Return to the top of this page]

［To the homepage of the Japan Language Testing Association］

［To the home page of the International Language Testing Association］

［To the homepage of the Tsukuba Intenational Congress Center］