発音自動評価機能付きインターネット型日本語音声言語教育システムの国際運用と評価
The Internet Japanese Language Education System with Automatic Assessment of Pronunciation: International Field Testing and Evaluation
- 科学研究費補助金：基盤研究（B)(1) 展開研究
- 研究期間：2000年4月-2003年3月
- 課題番号：12558019
- 研究代表者：岩手大学・三輪譲二
- 研究計画
- 平成12年度： 開発、オフライン評価
- 平成13年度： 開発、インターネット公開、オンライン評価
- 平成14年度： 改良、インターネット評価
- 平成１２年度から新しいプロジェクトがスタートしました。
本プロジェクトでは、日本語音声言語教育のe-Learningシステムを開発します。
(e-Learning for Spoken Japanese)
このシステムでは、個人教育、遠隔教育、補習教育、社会人教育、生涯教育のため、 いつでも、どこでも、だれにでも、手軽に 使用できるバーチャルスクール（仮想学校）をめざします。
(Anytime, Anywhere and Anybody Learning)
このキャッチフレーズの一部は、最近他でも広く使われ始めましたが、 我々は研究の当初から使用しており、「いつでも、どこでも、だれにでも」の他に、 「手軽に」が重要だと考え、キャチフレーズの一つとして組み込んでいます。
- 今回のプロジェクトには、前回のプロジェクトメンバに加えて、
海外で、日本語教育を実践されている３名の海外共同研究者と、
携帯電話等の開発に携わっておられる企業の研究者を加え、
Java情報技術を応用して、実際に利用できるシステムの構築をめざしています。
- 2000年の英国、2001年の米国、豪州の日本語教師学会に参加し、
発音教材の開発の重要さを痛感しております。
岩手県盛岡市出身の新渡戸稲造博士の
「太平洋の懸け橋」の思想を受け継ぎ、
「世界の懸け橋」をめざしています。
なお、本研究の成果は、日本語教育ばかりでなく、他の言語、特に、
滅びつつある少数言語の教育などに役立つものと考えます。
- 2001年9月には、情報技術の発信地のシリコンバレーにある
サンノゼ州立大学で評価実験を行いました。
2001年10月から， PAL/Jシステム(Portable and Advanced Learning for Japanese)により、 岩手大学留学生による評価実験を実施中です。
(PAL/Jは、友達(Pal)のように、情報玩具として、いつでも、どこでも、使用できるという意味を込めています。）
サンノゼ大学の学生と岩手大学の留学生の意見から、 ユーザインタフェースを、より使いやすいように改良しています。 - 最新システム(Ver. 2.1)は、2002年5月の日本語教育学会での
デモンストレーション資料を参照してください。
新システムでは、漢字学習とチャットシステムの文字言語教育機能も加えました。 - 2002年8月にEUROCALL2002で参加者に対して、また、
2002年9月に米国オレゴン大学でTA学生12人に対して、
デモンストレーションを実施しました。
- 現在、公開に向けて準備を進めております。もうしばらくお待ちください。m(..)m
| 研究代表者 | ||||
| 三輪譲二 | 岩手大学 | 工学部 | 助教授 | |
| 研究分担者 | ||||
| 今石元久 | 広島女子大学 | 国際文化学部 | 教授 | |
| 佐藤 滋 | 東北大学 | 留学生センター | 教授 | |
| 水島保孝 | デイテル（株） | 代表取締役 | ||
| 二矢田 勝行 | 松下電器産業(株)・松下通信工業(株) | 主幹技師 | ||
| 海外共同研究者 | ||||
| Richard Hirabayashi (*2000) | The University of Calgary | Department of Foreign Langauges | Assoicate Prof. | |
| Ken'iti Ujie | Washington and Lee University | Department of Asian Langauges | Assoicate Prof. | |
| Seiichiro Inaba | San Jose State University | Department of Foreign Languages | Assitant Prof. | |
| Keiko Schneider | Saboten Web | President | ||
| 研究協力者 | ||||
| 江川 清 | 広島国際大学/ 国立国語研究所 | 人間環境学部/情報資料研究部 | 教授/部長 | |
| 鮎沢孝子 | 東京外国語大学 | 外国語学部 | 教授 | |
| 秋山和平 | NHK放送研修センター | 日本語センター | 室長 | |
| 今井 久 | NHK放送研修センター | 日本語センター | 部長 | |
| 田 嘉鵬 | 岩手大学大学院 | 工学研究科 | 院生 | |
| 佐々木 博(*2000) | 岩手大学大学院 | 工学研究科 | 院生 | |
| 丹野 一憲(*2000) | 岩手大学大学院 | 工学研究科 | 院生 | |
| 太田 亮(*2000) | 岩手大学大学 | 工学部 | 学生 |
(Richard Hirabayashi先生は、非常に残念なことに、研究途中でお亡くなりになり、 2000年度のみ参加です。)
- 中国新聞地域ニュース, Mar. 14, 2002
今石・広島女大教授が被爆証言ＣＤ - The Japan Times, Aug. 30, 2002
Cyberspace -- the final frontier of kanji-learning KANJI CLINIC By MARY SISK NOGUCHI
- System history
聞き取りシステムは、１９９７年からDictation Quizzesとして公開しています。 発音評価システムは、１９９８年にJavaアップレットを 用いて開発していましたが、２０００年にサーブレットを用いて、改良しました。 さらに、２００１年になって、リレーショナルデータベースと結合しました。
Type Platform Language Technology Comments Stand alone Single Platform C, C++ Most Easy Multi Platform Java Applet More Easy Our old system (1998) Network Web based system Mult Platform
Processing in ClientActiveX More difficult Mult Platform
Processing in ServerJava Servlet Most difficult
Relational DatabaseOur new system(2000)
- システム構成例を以下に示します。
インターネット型でWeb-basedシステムであるため、いつでも、どこでも、だれにでも、手軽に利用できます。
本システムでは、音声分析(FFT)、動的計画法(DP)などを含めてすべて、 Java言語で記述しています。
このため、再コンパイル無しで、各社のUNIXサーバやWindows2000で動作します。
OS以外は、全て無償のソフトウェアで構成しています。OS UNIX Windows2000 Web Browser IE/Netscape IE/Netscape Web Server Apache Apache Servlet Jakarta Tomcat Jakarta Tomcat Database PostgreSQL PostgreSQL
- Language Learning
言語/Language 理解/Comprehension 生成/Production 文字言語/Written Language 読解/Reading 作文/Writing 音声言語/Spoken Language 聴解/Listening 発音/Speaking
- Listening (Dictation Quizzes)
Javaのマルチランゲージ機能により、Unicodeを用いてハングル文字にも対応しています。詳細は、資料などを参照してください。
- 発音評価機能が新規の特徴です。
現在のシステムの発音評価では、「おじいさん」や「えっとう」などの 長母音と促音の特殊拍、「雨」と「飴」などの 単語アクセントの発音教育が可能です。
日本語と英語の違いを、次の表で説明します。 これから、特殊拍と単語アクセントの発音教育システム開発の重要性を、 理解していただけると思います。English Japanese Rhythm Stress-timed language
(音節)Mora-timed language
(拍)Accent Stress accent
(強弱)Pitch accent
(高低)
- 発音評価
- 中国人留学生の発声した「越冬」の特殊拍の発音評価例です。
この例では、上段が教師の音声波形、下段が学習者の音声波形、右側がスコアであり、 ５０点以下の３４点となっていることから、長母音の発音と認められないと 評価されています。
音声
|
|音声分析(FFT)
16chパワースペクトル
|
|非線形時間整合(Dynamic Programming)
特殊拍持続時間、単語時間長
|
|特殊拍持続時間の正規化
正規化特殊拍持続時間
|
|事後確率に基づいたスコアリング
学習者のスコア値
- 単語アクセント(Word Accent)
の型の自動判定結果です。
日本語の共通語（東京方言）では、２拍の単語は、３つのアクセント型（１型：HL(L)、 ２型LH(L)、０型：LH(H)）を持っています。 例えば、雨（あめ、rain）は１型、飴（あめ、candy）は０型です。 この例では、１型と正しく判定しています。
Speech utterd by learner
|
|Pitch extraction (fundamental frequency) (symbol "+" line)
|Smoothing of fundamental frequency (red line)
|Extraction of accent parameters (Ta and AF0)
|Decision of accent type with descrimination function
Accent type
- 中国人留学生の発声した「越冬」の特殊拍の発音評価例です。
- リレーショナルデータベースと連携しているので、スコア管理ができ、
不得意な教材を容易に知ることができます。
この例では、子音の聞き取りスコアが悪いことを示しています。
詳細は、以下の論文を参照してください。
技術的事項に関心のある方は、Java入門のページを参照して下さい。
なお、最新の9番の論文と 17番の論文は、 Adobe社製PDFファイルで公開しています。
- Jouji Miwa:
Japanese Language Education System for Speech on an On-demand Network, JALTCALL 2000, Tokyo University of Technology, Tokyo, Japan (June 2000). - Jouji Miwa:
Supervised Dictation Quizzes for Japanese Speech on the Internet, Fourth International Conference on Foreign Language Education and Technology (FLEAT IV), Software demo session, Kobe, Japan, p.174 (Aug. 2000). - Jouji Miwa:
A System of level-adaptive test for Japanese spoken language on the Internet using information technology, Integrating Speech Technology in the Language Learning InSTIL2000, Dundee, Scotland (Aug. 2000). - 佐々木 博，三輪譲二:
サーブレットを用いた日本語単語アクセント発音自動評価システムの開発, 日本音響学会 秋季講演論文集, 1-Q-17, pp.263-264 (Sep. 2000). - 丹野一憲，三輪譲二:
サーブレットを用いた日本語特殊拍音声の発音自動評価システムの開発, 日本音響学会 秋季講演論文集, 1-Q-18, pp.265-266 (Sep. 2000). - 三輪譲二，藤原誠:
発声速度の異なる日本語音声リスニングシステムと聞き取り誤り自動検出法, 日本音響学会 秋季講演論文集, 2-2-13, pp.285-286 (Sep. 2000). - Jiapeng Tian and Jouji Miwa:
Internet Training System for Listening and Pronunciation of Chinese Stop Consonants, ICSLP2000, Vol.I, 782-785, Beijing, China (Oct. 2000). - Jouji Miwa and Masaru Kumagai:
Internet Speech Analysis System Using E-mail and Web Technology, ICSLP2000, Vol.II, 1065-1068, Beijing, China (Oct. 2000). - Jouji Miwa, Hiroshi Sasaki and Kazunori Tanno:
Japanese Spoken Language Learning System Using Java Information Technology, ICSLP2000, Vol.III, 578-581, Beijing, China (Oct. 2000). - 丹野一憲、三輪譲二：
インターネット型日本語特殊拍音声の発音自動評価システムとその検討、 電子情報通信学会 音声研究会技術報告, Vol.100, No.594, SP2000-119, pp.17-24 (Jan. 2001). - 佐々木博、三輪譲二:
インターネット型日本語単語アクセント発音自動評価システムとその検討、 電子情報通信学会 音声研究会技術報告, Vol.100, No.594, SP2000-120, pp.25-32 (Jan. 2001). - 尾本、三輪、川村、シュナイダー：
インターネット時代に対応した新しい日本語教育 −情報技術を用いた日本語聞き取り発音評価システムの運用と評価− (Teaching Japanese in the Internet Era - Implementation and Evaluation of a Testing System for Listening and Speaking Skills of Japanese Using the Information Technology-), ATJ(Association of Teachers of Japanese), Chicago, USA (Mar. 2001). - 三輪：
インターネット型日本語音声聞き取り・発音評価システムの開発 (Development an Assessment System for Listening and Pronunciation of Japanese on the Internet), 特定領域研究(A)「高等教育改革に資するマルチメディアの高度利用に関する研究」 研究成果報告書(平成12年度計画研究）、pp.101-104 (Mar. 2001). - Jouji MIWA:
An Internet Speech Analysis System for Language Learning, The Korean Association of Speech Sciences, KASS2001, Seoul, Korea, p.59 (May 2001). - 三輪：
日本語の特殊拍と単語アクセントのインターネット型発音自動評価システムの検討、 日本語教育学会春季大会、pp.163-168, 東京女子大学、東京（May 2001). - Jouji Miwa:
Net-Learning for Japanese Spoken Language Using Relational Database, JSAA(Japanese Studies Association of Australia) Biennial Conference 2001, UNSW, Sydney, Australia, pp.218-219 (June 2001). - 三輪：
Java情報技術を用いた日本語音声言語教育システム, 教育システム情報学会第26回全国大会 JSiSE2001, E2-6, pp.335-336 (Aug. 2001). - 加藤、柴山、三輪、城戸：
モルフォロジーを用いたピッチ周波数の検出、 日本音響学会秋季講演論文集, 1-2-1, pp.207-208 (Oct. 2001). - 田、三輪：
発音学習のための事後確率に基づくスコアリング法の検討、 日本音響学会秋季講演論文集, 2-3-15, pp.431-432 (Oct. 2001). - 関村、三輪：
日本語教育のための音節リズムの自動計測法の検討、 日本音響学会秋季講演論文集, 2-3-16, pp.433-434 (Oct. 2001). - 後藤、三輪:
11次元声道形モデルを用いたインタ−ネット対話型音声生成模擬システム、 日本音響学会秋季講演論文集, 2-7-7, pp.1273-1274 (Oct. 2001). - Jouji MIWA:
e-Learning for Spoken Japanese, JavaOne Night for Java Technology 2001, Yokohama, Japan (Nov. 2001). - 三輪 譲二:
ネットワーク型およびポータブル型日本語音声言語教育システムのデモンストレーション, 科学研究費補助金特定領域研究(Ａ) 「高等教育改革に資するマルチメディアの高度利用に関する研究」 平成13年度第２回領域全体会議, Tokyo (Jan. 2002). - 三輪 譲二:
Java技術を統合したインターネット型日本語音声言語教育システム, Interaction2002, Tokyo, Japan, pp.165-166 (Mar. 2002). - 加藤、柴山、三輪、城戸：
モルフォロジーを用いた連続音声のピッチ抽出、 日本音響学会春季講演論文集, 3-10-13, pp.327-328 (Mar. 2002). - 三輪：
インターネット型及びポータブル型日本語音声言語教育システムの開発 (Development of a Language Education System for Spoken Japanese on the Internet and in a Classroom), 特定領域研究(A)「高等教育改革に資するマルチメディアの高度利用に関する研究」 研究成果報告書(平成13年度計画研究）、pp.141-144 (Mar. 2002). - 田、三輪：
中国語発音教育のための有気音と無気音の識別とスコアリング、 電子情報通信学会論文誌、Vol.J85-D-II, No.5, pp.842-850 (May 2002). - 三輪：
インターネット型日本語音声言語教育システムの国際運用実験、 日本語教育学会春季大会、お茶の水女子大学、東京（May 2002). - Jouji Miwa:
E-Learning for Spoken Japanese Using Java Information Technology, EUROCALL2002, p.101, Jyvaskyla, Finland (Aug. 2002).
- 関村, 三輪:
日本語教育のための文音声中の持続時間特徴とスコアリング法の検討, 日本音響学会秋季講演論文集, 1-6-7, pp.221-222 (Oct. 2002). - 加藤、柴山、三輪、城戸：
モルフォロジーを用いたピッチ変動の平滑化、 日本音響学会秋季講演論文集, 2-1-4, pp.285-286 (Oct. 2002). - 後藤, 三輪:
位相と速度情報を考慮した調音音響変換A-b-S法を用いたVCV音声の動的声道形の推定, 日本音響学会秋季講演論文集, 1-P-7 , pp.385-386 (Sep. 2002). - 三輪 譲二:
特殊拍とアクセントの発音自動評価を有するWeb統合型日本語教育システム, 科学研究費補助金特定領域研究(Ａ) 「高等教育改革に資するマルチメディアの高度利用に関する研究」 平成14年度第2回領域全体会議, Tokyo (Jan. 2003). - 関村、三輪:
文音声中の特殊拍の発音評価法の検討, 電子情報通信学会 音声研究会技術報告, SP2002-163, pp.13-18 (Jan. 2003). - 後藤、三輪:
調音音響変換A-b-S法を用いたVCV音声の動的声道形推定, 電子情報通信学会 音声研究会技術報告, SP2002-175, pp.35-40 (Jan. 2003). - 阿部, 三輪:
Web対応音節素片編集合成方式と日本語漢字教育への応用, 日本音響学会春季講演論文集, 2-Q-17, pp.407-408 (Mar. 2003). - 徳山、三輪:
日本語言語知識を用いた単語アクセント型の判定法, 日本音響学会春季講演論文集, 2-Q-33, pp.439-440 (Mar. 2003). - 加藤、柴山、三輪、城戸：
モルフォロジー処理によるピッチ変動の平滑化、 日本音響学会春季講演論文集, 3-6-20, pp.369-370 (Mar. 2003). - 加藤、柴山、三輪、城戸：
モルフォロジーによる平滑化を用いたアクセント情報の検出、 電子情報通信学会 音声研究会技術報告, SP2002-182, pp.118-123 (Mar. 2003). - 三輪譲二：
発音自動評価機能付きインターネット型日本語音声言語教育システムの国際運用と評価、平成１４年度科学研究費補助金(B)(1)研究成果報告書、pp.1-140 (Mar. 2003). - 三輪譲二：
発音自動評価を有するWeb統合型日本語教育システムの開発 (Development of a Web-based and Integrated Education System for Japanese with Assessment of Pronunciation), 科学研究費補助金特定領域研究(Ａ) 「高等教育改革に資するマルチメディアの高度利用に関する研究」 研究成果報告書(平成14年度計画研究）、pp.251-256 (Mar. 2003). - 三輪譲二：
オンデマンド・ネットワーク型日本語教育統合システム、 日本教育工学会第19回全国大会論文集、1a-200-8, pp.111-112 (Oct. 2003). - 徳山、三輪：
日本語イントネーション特徴を考慮した単語アクセント発音自動評価の検討, 電子情報通信学会 音声研究会技術報告, SP2003-177, pp.13-18. (Jan. 2004). - 三輪譲二：
e-Learningの光と影, スパーリング研究会遠隔教育講演会, −次世代の教育を創造する遠隔教育−, Morioka (Feb. 20, 2004).