Рефераты. Порождение текстов на естественном языке






Порождение текстов на естественном языке

Порождение текстов на естественном языке

Порождение текстов на естественном языке - процесс преднамеренного

построения текста на естественном языке с целью решать определенные

коммуникативные задачи. Термин "текст" рассматривается как общий,

рекурсивный термин, который может относится к письменному или устному

высказыванию, или к отдельным частям высказывания. При порождении текстов,

в устной или письменной форме, человеку важно обдумать и отредактировать

производимое высказывание. Едва ли можно сказать, что большинство программ

может “говорить” сегодня, в основном все они лишь выводят слова на экран.

Так как для программы порождения текстов на сегодняшний день не стоит

вопрос конструирования фразы, эти детали принимаются во внимание только

тогда, когда они задействованы в создании программы.

Цели исходят из другой программы, возможно экспертной рассуждающей

системы или ICAI обучающей программы, которая общается с пользователем на

естественном языке. Произведенные тексты могут быть различной длины: от

одиночной фразы, данной в ответ на вопрос, до диалогов с большим

количеством предложений или толкований на целую страницу. Порождение

текстов на естественном языке отличается от программ, просто использующих

естественный язык. Программы, печатающие сообщения на естественном языке,

существуют со времен появления компьютеров, но сейчас, например, никто не

хочет разбираться, каким образом построены сообщения об ошибках при

компиляции на ФОРТРАНе, как бы правильно они не были написаны. Сообщение об

ошибках ничего не "означает" для программы, которая печатает их: связь

между цепочкой слов и работой программы создается программистом. Даже

использование утверждений с параметром, где зафиксированная цепочка слов

может быть увеличена именами или простыми описаниями, заменяющими

переменные, не является собственно порождением текстов на естественном

языке. Успех таких приемов как “заполнить пробелы” или “шаблон” зависит от

количества и сложности ситуаций, в которых программа должна использовать

их. То, что они были адекватны до сих пор для работы программы,

объясняется, по большей части, относительной простотой сегодняшних

программ, чем возможностями порождения с использованием метода “шаблона”.

В отличие от таких "инженерных разработок", исследование порождения

текстов на естественном языке, подобно другим областям вычислительной

лингвистики (qv), имеет своей целью компьютерное моделирование человеческой

способности к порождению высказываний. Основное внимание при этом

сосредотачивается на объяснении двух ключевых вопросов: многосторонность и

творческий потенциал. Что люди знают относительно их языка, какие процессы

они при этом используют, что дает возможность им быть универсальным,

изменяя тексты в форме и акцентировании, чтобы покрыть огромный диапазон

языковых ситуаций?

В этой статье описываетcя исследование в области ИИ по порождению

естественных языков, при этом особое внимание уделяется конкретным

проблемам, которые требуют разрешения. Статья начинается с

противопоставления порождения пониманию, чтобы установить базисные понятия

разложения процесса на компоненты. Далее приводятся примеры, показывающие

работу некоторых порождающих систем, их возможности и трудности, с которыми

они сталкиваются.

В оставшейся части статьи рассматриваются общие подходы к порождению

речи, включая характерные описания порождающего словаря. Отдельный раздел

продолжает обзор альтернативных подходов к представлению и использованию

грамматики.

Характер процесса порождения. В отличие от организации процесса

понимания, который, на первый взгляд, может следовать традиционным стадиям

лингвистического анализа: морфология, синтаксис, семантика, прагматика

/дискурс¦ процесс порождения имеет существенно отличный характер. Этот факт

следует непосредственно из присущих различий в информационном потоке в двух

процессах. Понимание осуществляется от формы к содержанию; порождение есть

совершенно противоположный процесс. При понимании, формулировка текста (и,

возможно, интонация) - "известны". Из формулировки процесс создает и

выводит примерное содержание, переданное текстом и, вероятно, усилиями

диктора в создании текста. Первым делом следует просмотреть слова текста

последовательно, в течение чего форма текста постепенно разворачивается.

Главные проблемы вызваны неоднозначностью¦ одна форма может содержать

диапазон альтернативных значений, и аудитория получает большее количество

информации из ситуационных заключений, чем это может быть фактически

передано текстом. Кроме того, несоответствия у диктора и аудитории модели

ситуации ведут к непредсказуемым заключениям.

Порождение имеет противоположный информационный поток. Оно переходит от

содержания к форме, от целей и перспектив к линейно упорядоченным словам и

синтаксическим маркерам. Модель ситуации и дискурс обеспечивают основу для

создания выбора среди альтернативных формулировок и конструкций, которые

производит язык: первое в построении заранее обдуманного текста.

Большинство систем порождения производит поверхностные тексты

последовательно слева направо, но только приняв решение сверху-вниз по

содержанию и форме текста в целом. Проблема генератора состоит в том, чтобы

выбрать из поставленных источников, как правильно сообщить о желаемых

умозаключениях аудитории и какую информацию опустить из явного упоминания в

тексте.

Можно вообразить, что процесс порождение также организован, как и

процесс понимания, только в противоположном порядке. К некотором смысле это

верно: идентификация намерения (цели) в значительной степени предшествует

любой детализации информация, которая предназначается для аудитории:

планирование риторической структуры, например, в значительной степени,

предшествует любой синтаксической структуре, а синтаксический контекст

слова должен быть зафиксирован, прежде чем будут известны морфологическая и

суперсегментная формы, которые примет слово.

Синтаксис и словарь языка становится как ресурсами, так и

ограничениями, определяя элементы, доступные для создания текста, а также

зависимости между ними, которые определяют возможные правильные комбинации.

Эти зависимости, и тот факт, что они по умолчанию управляют, когда

информация, от которой зависит каждое решение, становится доступной, -

основная причина, почему программы порождения в значительной степени

следуют стандартным стадиям, определенными лингвистами. Идентификация цели

предшествует выбору содержания и риторическому планированию, которое

предшествует синтаксической конструкции, только потому что это -

естественный порядок принятия решения; проще следовать потоку зависимостей,

чем перепрыгивать и принимать случайное решение, которое может оказаться

преждевременным и несостоятельным. Сегодняшнее исследование сосредоточено

как на понимании, как лучше представить решения, которые являются

возможными, и зависимости среди них, так и на том, как представить

ограничения и возможности раньше решений, которые встанут на место

последних во время процесса порождения.

Стандартные Компоненты и Терминология. Компоненты порождения

естественного языка не существуют сами по себе. Они расположены внутри

человеко-машинного интерфейса, который также используют и компоненты

понимания естественного языка, - ВВОД в систему. В хорошем человеко-

машинном интерфейсе сегодня также хотелось бы видеть координированную

графическую поддержку ввода и вывода, дополняя систему ВВОДа-ВЫВОДа

естественного языка. Интерфейс может закончиться здесь, а может также

включать в себя другие общедоступные компоненты, типа контроллера

дискурса, который указывает генератору, какие действия нужно предпринять,

а также координирует интерпретации, сделанные компонентом понимания. За

интерфейсом следует нелингвистическое рассуждение (qv) или программа базы

данных, которую пользователи используют в качестве речевого интерфейса. Эта

программа будет упоминаться в этой статье как основная программа; ею может

оказаться любая система ИИ: совместная база данных, экспертная

диагностическая система, ICAI обучающая программа, комментатор, программа-

консультант, машинный переводчик. Тип основной программы теперь не имеет

никакого значения для самой порождающей системы (генератора естественного

языка).

Сегодня большинство исследователей в этой области работает, в основном,

с экспертными системами, где процесс общения контролируется программой, а

не пользователем. Кроме того, ЭС и интеллектуальные машинные обучающие

программы, вероятно, способны понимать довольно сложные тексты, что делает

их привлекательными для специалистов, готовых работать с уже разработанными

системами.

Процесс порождения начинается внутри основной программы, в случае,

когда, например, необходимо ответить на вопрос пользователя; или во время

беседы может возникнуть потребность прервать действия пользователя, чтобы

указать надвигающуюся проблему. Как только процесс инициализирован, три

вида действий должны быть выполнены:

1. Идентификация целей высказывания,

2. Планирование, как эти цели могут быть достигнуты, включая оценку

ситуации и доступных коммуникативных ресурсов,

3. Реализация планов в текст.

Цели должны обычно передавать некоторую информацию аудитории или

побуждать их к действиям или рассуждениям. Социальные и психологические, а

также практические мотивы, побуждающие человека к общению, естественно,

неприменимы для сегодняшних компьютерных программ. Планирование включает в

себя отбор (преднамеренное вычеркивание) информационных модулей, которые

появляются в тексте (например, концепции, отношения, индивидуальность).

Реализация зависит от знания грамматики языка и правил связности

дискурса, и дает синтаксическое описание текста как промежуточное

представление. При этом выделяется не только лингвистическая форма, но

также знание относительно критериев, которые показывают, как используются

эти формы. В многих исследованиях процесс, который проводит грамматическую

реализацию, называется лингвистическим компонентом(10), а иногда

планирование и вместе с процессом идентификации цели называется

стратегическим компонентом (13). Обычно это - только лингвистический

компонент, который имеет любое прямое знание относительно грамматики

производимого языка. Какую форму эта грамматика принимает - один из самых

больших различий среди проектов порождения.

Традиционно для лингвиста, грамматика - костяк в отрезке утверждения/

высказывания. Содержание утверждений - специфические факты данного

естественного языка - не представляет такого интереса для лингвиста.

Аналогичная ситуация с порождением текстов, за исключением того, что

запись - процедурная и декларативная - разработана, чтобы обеспечивать

очень специфическую функцию, с которой традиционный лингвист не

сталкивается, а именно: вести и сдерживать процесс порождения текста со

специфическим содержанием и целями в присутствии специфической аудитории.

Грамматика теперь ответственна за наличие выбора, который язык

предоставляет для формы и словаря. Исследователи порождения должны сделать

верный выбор, чтобы, используя функции различных конструкций для достижения

конкретной цели. Другая функция грамматики - следить за грамматичностью

текста, т. е. определение зависимостей и ограничивая решения.

Технический уровень

Разноплановое развитие и творческий потенциал в порождении текстов

является возможным при следующих условиях:

1. Генератор включает в себя весь объем основной грамматики;

2. Основная программа имеет сложное, разносторонее, концептуальное

представление(вид);

3. Текстовый планировщик может использовать модели аудитории и дискурса.

К сожалению, такие генераторы - все еще только предмет исследования

сегодня, т. к. техническая сторона остается на уровне программы SHRDLU

Винограда в 1970 (17), которая порождала предложения в процессе ответа на

вопросы, система “непосредственной замены”, порождающая простые

грамматические глагольные корректировки в целях достижения удобочитаемого

текста.

When did you pick up [the green pyramid]?

While I was stacking up yhe red cube, a large red block, and a large

green cube.

К концу 1970-ых такие системы стали достаточно популярны в работе ЭС:

для перевода многочисленных правил в этих системах. Необходимость программ

порождения текстов в системах с составной структурой и коммуникативным

контекстом была очевидной.

Исследователи заинтересованы в более сложных текстах, нежели в

контекстно-свободных представлениях, которые требуются правилами системы. В

качестве примера приводится простое описание из программы Сигурда, чья цель

была выяснить, как в помощью интонации выявляется группировка:

The submarine is to the south of the port. It is approaching the port,

but is not close to it. The destroyer is approaching the port too.

Использование слов-ссылок “but” “too” является большим прогрессом в

структурировании системы. Предложение, которое является источником в базе

данных ЭС , рассуждающее о субмаринах и эсминцах, не будет обрамлено

концептуальными эквивалентами таких функциональных слов, и может быть

прочтено простым шаблоном, потому что ссылки специфичны и могут быть

употреблены только в отдельном конкретном случае.

Еще одна техническая, пока не разрешенная, проблема - “последующая

ссылка”. Какими должны быть слова-заменители, если предмет появляется

больше, чем один раз в тексте? Постоянное употребление местоимений может

привести к неоднозначности. В качестве примера приводится отрывок из

исследований Гранвилле, который классифицирует отношения между референтом и

предметом и разрабатывает правила, по которым бы могли строиться

последующие ссылки.

Pogo cares for Hepzibah. Churchy likes her, too. Pogo gives a rose to

her, which pleases her. She does not want Churchy’s rose. He is jealous. He

punches Pogo. He gives a rose to Hebzibah. The petals drop off. This upsets

her. She cries.

Неудивительно, что у исследователей, разрабатывающих основную программу,

генераторы обладают наибольшей эффективностью, что дает уверенность в

том, что имеется концептуальная основа для группирования отдельных

предложений/ утверждений в тексте. Важным моментом на этом этапе является

программа PROTEUS, разработанная Дэйви в 1974. Программа дает описание игры

крестики-нолики и считается одной из программ, наиболее свободно владеющей

естественным языком. PROTEUS имеет модель толкования конкретных шагов:

нападение, встречное нападение, включает в себя риторический принцип, что в

текст нужно помещать только наиболее существенную информацию в ситуации.

Грамматика и средства реализации выбирают описанные и сгруппированные

шаги, исправляют формы, так чтобы они были грамматичны в английских

предложениях, и порождают собственно текст.

Следует упомянуть и программу ERMA Клиппенгера (1974)- единственная

программа на тот момент, работающая со спонтанной речью. Как люди

размышляют о том, что они говорят, как они динамически планируют или меняют

свои намерения относительно того, что они хотят сказать в разговоре? В

целях моделирования этого процесса, Клиппенгер анализировал стенограмму

речи пациента по психоанализу с тем, чтобы понять рассуждения пациента,

дающие объяснение одному из параграфов стенограммы, который ERMA могла

подробно воспроизвести. Клиппенгер разработал структуру из пяти основных

взаимосвязанных компонентов, участвующих в порождении спонтанного текста.

Но для компьютерного программирования в 1974 реализовать этот план было не

под силу, вследствие чего проект был оставлен.

Исторический обзор проблемы. По сути дела, программы PROTEUS Дэйви и

ERMA Клиппенгера являются самыми старшими в этой области. Во-первых, потому

что до начала 80-ых сравнительно мало людей работало над проблемой

порождения , во-вторых, сама проблема достаточно сложна, по мнению авторов

статьи, намного сложнее проблемы понимания речи. На самом деле, проблемой

серьезно занимались в начале 1970-ых. Но справедливо отметить, что на

важной конференции по данной проблеме в 1975г представленные отчеты о

проделанной работе не нашли должного отклика, после чего исследования по

порождению естественного языка были почти приостановлены до начала 1980-ых.

До 80-ых специалисты в области ИИ склонны были считать проблему

порождения достаточно легкой. В самом деле, разве трудно взять к-л

утверждение из некоторого речевого фрагмента, связать его с определениями,

хранящимися отдельно, и произвести, например, следующее “The big black

block supports a green one”. Это было под силу SHRDLU Винограда уже в

1970г. Если бы можно было ограничиться этими знаниями, то, на самом деле,

не возникало бы проблем. Но вариативность языка не давала такой

возможности. Каким образом человек представляет грамматические знания,

которые позволяют генератору использовать синтаксическую структуру

предложения в целях cоздания соответствующего относительного предложения

(“the green block that’s supported by the big red one”, “a green one”, а не

Страницы: 1, 2



2012 © Все права защищены
При использовании материалов активная ссылка на источник обязательна.