自分の手になじむ日本語入力プログラムを選びたいと思っても、なかなか全部を試せるわけではありません。あるいは、すでに乗り換えてみたが、どうも微妙に操作感が違うという悩みもあるかもしれません。純粋に機能比較に興味がある人もいるでしょう。このページはそうした比較を行う際に、どこに着目し、どのように評価すればいいのかをまとめました。
自分が入力した文が、思った通りに変換されるのは快感だ。一方、文節区切りはめちゃくちゃ、出てくる語も的外れという変換結果が続くと、いらいらしてくることもある。日本語入力プログラムを選択する際にまず気になるのが、「変換精度」ではないだろうか。事実、商用の日本語入力プログラムの場合、各社の宣伝には、自社製品が正しく変換でき、他社が正しく変換できない文例が入っている。こうした例では、ATOK12で「入れ立てのお茶」が正しく変換できると盛んに宣伝していたのが有名だ。
こうした事例は、自社と他社の膨大な事例の中からもっとも特徴的なものを選び出しているはずだ。しかし、私たちが追試しようにも、いくつかの短文を比較しただけは、たまたまその文例が変換できた/できなかったという事例の積み重ねに過ぎない。では、変換精度を考えるのにはどういった観点に着目すればいいのだろうか。
リコーの太田純さんによると、着目点としては、
の4点があるという。
具体的な評価方法としては、初期状態の文節区切りや同音語選択については、学習辞書を捨てた初期状態で、さまざまな文例を変換し、誤りをカウントする方法がある。同じ文例を使い、各プログラムのポイントをそれぞれ合計し、比較する。
また、単語、文節、AIの学習については、入力した文章を正解の状態で確定し、もう一度同じ文章を入力した際にきちんと正解が得られるかどうかで確認する。
カウントのしかたは、同音語選択の誤りについては1件ごとに1カウントとすればいいが、文節区切りの誤りについては検討の余地がある。というのも、変換結果にいくつもの誤りがあったとしても、1回の区切り直しで残りすべてが修正される場合があるからだ。太田さんの場合は、正解に達するまでに必要だった文節区切り直し回数を1回ごとに1とカウントするという方法をとったそうだ註1。
正解が得られなかったときにどれだけの操作が必要だったかという観点に立てば、同音語選択誤りについても正解に達するまでに何回のキー操作が必要だったかで重みをつける方法もあるし、文節区切りについても何文字分ずれていたかで重みをつける方法がある。また、同音語選択誤りよりも文節区切り誤りのほうが修正に頭を使うので、ペナルティーをより強くするということもありうるだろう。
重要なのは、追試が可能な方法で、数値化することだ。その上で気がついた変換の癖などをコメントすると、説得力のある比較となるはずだ。
なお、上記の方法で太田さんが行った(MS)IME2000とATOK13(いずれもWindows)の比較結果は別項の通り。
なお、上記のような数量的な比較の他に、個別には次のような観点がある
操作性については、次のような項目が考えられる。
註 高野さんから次の指摘があった。「太田さんの評価法はおおむね妥当だと思いますが、実際にやってみれば、“正解に達するまでに必要だった文節区切り直し回数”といっても一筋縄ではいかないのがわかると思います。たとえば、“同／音／語／選／択／誤り”のようにしないと原稿どおりの文字が出ない場合（こんな簡単なのを知らないのは近頃ないと思いますが）、ここまでもっていく数を数えるのか（そうしないとすればどうするのか）とか、どうやっても結局原稿どおりの文字が出ない場合はどうするのかとか(news:3D5E3AFC.3C8923BA@ty2.fitweb.or.jp)」。細かく突き詰めるといろいろと考慮すべき点があり、どこまでを評価に含めるかは目的に合わせて検討すべきだろう。
このページは、太田さんがネットニュースに投稿された記事を、ご厚意により使わせていただきました。使用した記事は以下のとおりです。
作成日：2002年 10月 29日 (火)