自然言語処理タスクまとめ

はじめに

「自然言語処理」研究にはどういう目標やタスクがあるかについて簡単に調べてみたので、まとめてみる。

タスク

語義曖昧性解消

• 単語には複数の意味があったりする。wikipediaでは「やる」の例を出しているが、「誰かに物をあげる」のか「宿題をする」のかなど、どういう意味でその単語が使われているかを判定するタスク
• 機械翻訳では、これがきちんとできないといけない

代名詞解析(照応解析、意味役割付与)

• 照応解析
  • 代名詞が指す先が何なのかを特定するタスク
  • 「彼ら」という代名詞があった場合、それが具体的に誰と誰を指すのか？
• 意味役割付与
  • 名詞が、動作主なのか？対象なのか？手段なのか？を特定するタスク

言語生成

• 質問応答
  • ある質問に対して回答するタスク
• 機械翻訳
  • ある言語を他の言語へ機械的に変換するタスク
  • 自然な翻訳を行うことは言語理解の究極の目標
• 自動要約生成
  • 自動的に複数の文章からその趣旨を要約して表示するタスク

情報抽出

• 情報抽出
  • テキスト中から重要な情報のみを抜き出すタスク
• 固有表現抽出
  • テキスト中の、固有名詞や時間に関する情報を抜き出すタスク
• 関係抽出
  • 固有表現などの単語同士の関係性を見いだすタスク

音声対話システム

• 話し手の内容を理解し、適切な情報を適切な返答で返すタスク
• 「明日hoge映画館で見れる映画は？」→「明日のhoge映画館で見れるのは、〜〜と＊＊です」

含意関係

• 「＊＊球団が負けた」というテキストと、球団の結果に関するニュース記事が与えられたときに、このニュース記事が証拠となりうるかどうかを判定するタスク
• 近年の言語処理での共通課題(らしい)

文書校正・スペルチェッカ

• 入力された文章が正しいかどうかを判定するタスク
• 入力された単語のスペルが正しいかどうかを判定するタスク
  • 正しい単語を推定する必要がある

形態素解析

• 日本語は英語のように単語がspace区切りになっていないので、単語の区切りを特定するタスク

情報検索

• 大量のテキストデータから特定の内容を持つテキストのみを探し出すタスク
• この場合、検索結果のランキング順位も重要になる