Двусмысленность и прикладная лингвистика

У компьютерной лингвистики две цели: использовать компьютеры как вспомогательное средство в анализе и обработке данных естественного языка; понять, по аналогии с компьютерами, как люди используют естественный язык.

Одна из самых сложных проблем в обработке данных естественного языка – это проблема двусмысленности. Мы не обращаем внимание на большую часть двусмысленных ситуаций, потому что мы легко принимаем решения, опираясь на контекст и фоновые знания. Но компьютерные системы не обладают такой информацией, и, как следствие, не могут извлечь ничего из контекста.

Проблема двусмысленности встает каждый раз, когда компьютер пытается работать с естественным языком. Например, он находит все альтернативные значения термина, которые нам совершенно ни к чему. В машинном переводе стоит практически невыполнимая задача для компьютера – найти различие между значениями одного слова. Это выражается в использовании неправильных слов переводящего языка. Поэтому все попытки использовать только компьютеры для обработки данных естественного языка закончились провалом, поскольку они не могут работать с многозначностью слов.

 Попытки решить проблему двусмысленности вылились в два потенциальных решения: создании системы с базой знаний и статистической системы. В первом случае, разработчики должны заложить огромное количество информации об окружающем мире в компьютер и создать алгоритм, позволяющий использовать эту информацию для определения смысла текста.

В статистическом подходе необходим огромный объем данных, снабженных комментариями. Системные разработчики напишут алгоритм, который позволит просчитать наиболее вероятные решения для двусмысленных вариантов в словах, частях речи и других несложных условиях.

На сегодняшний день в мире нет компьютера, который справился бы с определением предполагаемого значения слова в дискурсе. Тем не менее, решение проблемы полисемии имеет огромное значение, поэтому работы в этом направлении будут продолжены. Я верю, что когда мы добьемся успеха, это будет означать конец поисков священного грааля в компьютерной науке, искусственного интеллекта. А пока еще многое предстоит сделать, чтобы научить компьютер разбираться в контексте, особенно, в лингвистическом.

1 2 3 4 5 6