Рефераты. Порождение текстов на естественном языке






“a green block”), а также вообще иметь представление о возможности таких

относительных предложений и подобных замен.

Общие подходы к проблеме. Трудно идентифицировать общие элементы в

различных проектах исследования по порождению естественного языка.

Напротив, в исследованиях по пониманию речи можно выделить несколько

основных подходов к проблеме: использование расширенных сетей переходов,

семантические грамматики (qv), рабочие системы, основанные на представлении

концептуальной зависимости, процедурная семантика и многое другое.

Исследование порождения не может дать подобной классификации, поскольку

очень мало специалистов ставили эту проблему во главу угла. Большие

исследовательские группы, полностью сконцентрировавшиеся на вопросе

порождения естественного языка, начали создаваться в последние два года.

Основная проблема состоит в отсутствии общего отправного пункта, конкретной

основы для сравнения, что осложняет работу, не дает возможности для

взаимопомощи между исследователями: практически невозможно проверить свои

эксперименты на системе другого разработчика. Однако имеются общие нити,

связывающие различные проекты: похожие подходы, похожие представления,

похожие грамматики.

Существует два вопроса, представляющих общий интерес. Первый вопрос: как

сопоставить многообразие форм в естественных языках, чтобы разработать их

функциональное использование, ответить на вопрос, почему человек использует

одну форму, а не другую, а далее формализовать этот процесс.

Второй вопрос - это контроль над процессом порождения. Что определяет

выбор говорящего в данной языковой ситуации? Как человек организовывает и

представляет промежуточные результаты? Какими знаниями о зависимостях между

вариантами выбора должна обладать система? Как представлены эти зависимости

и как они могут влиять на алгоритмы управления? Ответы на поставленные

вопросы будут рассмотрены в этой статье.

Контроль над постепенной обработкой сообщения. Среди порождающих систем,

которые были специально построены для работы в основных системах,

преобладающий подход контроля состоит в обработке сообщений как

определенного вида программ. Эти "сообщения" не просто выражения, чьи

контекст и форма изоморфны по отношению к конечному тексту. “Сообщения”

могут быть закодированы на компьютерном языке. Их нельзя просто перевести.

Конечно, при самой простой обработке порождения, перевода было бы

достаточно (как почти во всех существующих ЭС), но в обработке, которая

сосредоточена на порождении текстов на естественном языке, отношения и

содержание в сообщении лучше всего просматриваются в виде команд для

достижения определенного эффекта лингвистическими средствами. Оценка

происходит при постепенной обработке от внешних команд к внутренним. Эта

методика контроля естественна для разработчиков систем, так как она

имитирует стиль языков программирования, которые они используют.

Наиболее общие сообщения сегодня не создаются планировщиком, а являются

просто структурами данных, которые извлекаются из основной программы и

которым генератор дает особую интерпретацию. Подобная практика

распространена в программах, которым необходимо объяснять свои рассуждения,

заключенные в доказательстве дедуктивным методом исчисления предиката. Ниже

приводится такого рода доказательство.

На входе

Line 1: premis

Exists(x) [barber(x) and

Forall(y)..shaves(x,y) iff not.shaves(y,y)l

Line 2: existential instantiation (1)

barber(g)and Forall(y)..shaves(g,y) iff not.shaves(y,y)

Line 3: conjunction reduction (2)

Forall (y)..shaves(g,y) iff not.shaves(y,y)

Line 4: universal instantiation (3)

shaves(g,g) iff not.shaves(g,g)

Line 5: tautology (4)

shaves(g,g) and not.shaves(g,g)

Line 6: conditionalization (5,1)

(Exists(x) [barber(x) and

Forall(y)..shaves (x,y) iff not.shaves(y,y)]

implies (shave(g,g) and not.shaves(g,g))

Line 7: reductio-ad-absurdum (6)

not(Exists(x) barber(x) and

Forall(y)..shaves (x,y)

iff not.shaves(y,y))

На выходе

Assume that there is some barber who shaves everyone who doesn’t shave

himself (and no one else). Call him Giuseppe. Now, anyone who doesn’t shave

himself would be shaved by Giuseppe. This would include Guiseppe himself.

That is, he would shave himself, if and only if he did not shave himself,

which is a conradiction. Therefore it is false, there is no such barber.

Модель дает объяснение действиям автора доказательства в выборе, какое

правило применять, например, что цель правой части условия в первой строке

наложить ограничение на переменную Y ("... Кто не бреет себя "). Это дает

право воспринимать доказательство особым образом. Эти действия, однако,

нигде в доказательстве (которое было единственным входом в программу) не

появляется. Они только предполагаются и, таким образом, имеют силу только

для нескольких примеров доказательств, произведенных естественным

дедуктивным методом.

Недостаток информации в сообщениях основной программы - постоянная

проблема в работе с порождением текстов. Специалисты по вычислительной

лингвистике вынуждены вчитываться в структуры данных основных программ,

потому что последние уже не включают те виды риторических команд, которые

необходимы генератору, если следовать синтаксическим конструкциям языка,

которые использует человек. Без “дополнительной” информации связность

произносимого - особенно для длинных текстов - будет зависеть от того,

насколько непротиворечиво и полно авторы основных программ представили

информацию: каждый раз, когда генератор встречает к-л символ, ему ничего

не остается как обрабатывать его как "посылку" или как условие одним и тем

же способом, если он встречает их в одинаковом контексте. Если

поддерживается непротиворечивость, проектировщик может восполнять

неточности, усовершенствуя структуры данных, как только они оказываются

внутри лингвистического компонента.

Средства, направленные на достижение беглости и преднамеренной

детализации формы, объясняют использование фразовых словарей и

промежуточного лингвистического представления. Простой пример показывает,

почему это необходимо. Рассмотрим логическую формулу, которую программа

обычно использовала бы внутренне. В этом примере обработка проводится тем

же методом, что описан выше. Пример представляет из себя наиболее общий вид

сообщения: выражение прямо из модели основной программы (система

доказательства естественным дедуктивным методом), которому теперь дается

особая интерпретация, так как это выражение служит для анализа текста.

(exists x

(and barber(x)

(forall y

(if-and-only-if shaves(x,y)

(not shaves(y, y) )))))

В этой формуле генератор одновременно сопоставляется с выбором

реализации. Должно ли навешивание кванторов выражаться буквально

("Существует такой X, что ..."), или должно быть свернутым внутри основной

части как определяющая информация относительно реализации переменных

("...some barber”)? Должно ли условие if-and-only-if реализовываться

буквально как конъюнкция подчинения или может быть интерпретировано как

ограничение диапазона переменной? Утверждение типа barber(x), по-видимому,

всегда должно декодироваться и преобразовываться в детальное описание

переменной. Остальное реализуется независимым образом, однако, после

тщательного обдумывания.

Объекты, которые заполняют "мозг" основной программы, в данном случае -

логические связки, предикаты, и переменные, полностью связаны со словами и

грамматическими конструкциями, которые подлежат обработке "специальными

процедурами/ процедурами знаний" поддерживаемыми внутри генератора. Эти

процедуры - эквивалент словаря в понимающей системе. Специалисты строят

фразу для понимания, используя лексическую информацию, связанную

непосредственно с индивидуальными логическими объектами. Каждый объект

обычно ассоциируется с к-л лексическими единицами: константа может иметь

имя; предикат может иметь прилагательное или глагол. Специалист помещает их

во фразовый контекст, который будет дополнен рекурсивной прикладной

программой других специалистов, например, двуместный предикат "shaves(x,y)"

становится шаблоном предложения "x shaves y."

Таким образом, лингвистические шаблоны обеспечивают упорядоченную

реализацию параметров, что поддерживает эффективное функционирование с

наименьшим количеством блокирований, ускоряя процесс порождения в целом,

избегая необходимость "резервировать" преждевременные решения, которые

могут оказаться несовместимыми с грамматическим контекстом, определенным

более высоким шаблоном.

Лексический Выбор. Некоторые подходы к машинному пониманию основываются

на небольшом наборе базисных элементов (qv) и, формулируют знания

программы в виде набора выражений к базисным элементам, что упрощает работу

программы: становится легче выводить умозаключения, потому что при помощи

базисных элементов они распределяются в естественные группы. Однако,

сведение диапазона человеческих действий к определенному набору, например,

лишь к 13 концептуальным базисным элементам, означает, что специфика

значений распределяется в выражениях и извлекается оттуда каждый раз, если

во время порождения необходимо использовать глаголы со специфическим

значением. Голдман первый провел исследования по использованию сетей

распознавания. Он показал, как производится выбор слова, в отрыве от

основных базисных элементов. Например, из базисного элемента действия

"глотать" можно получить глаголы "пить", "есть", "вдыхать", "дышать",

"курить", или "проглотить", как бы проверяя при этом, был ли проглоченный

объект жидкостью или дымом.

Проект сети распознавания заставляет исследователя порождения выходить

за рамки основных различий типов объектов и включать контекстные факторы,

напр., эмоциональные рассуждения говорящего. Ниже - выборка из работы Хови,

цель которой состояла в том, чтобы сместить текст, чтобы подчеркнуть

желаемую точку зрения (в данном случае сообщить в февральских первичных

выборах так, чтобы результаты понравились Картеру, даже если он проиграл.

Kennedy only got a small number of delegates in the elections on 20

February. Cater just lost by a small number of votes. He has several

delegates more than Kennedy in total.

Фразовые словари. Какое слово ассоциируется с простыми понятиями, типа

"парикмахер" или "брить", является очевидным; однако, для объектов в

комплексных основных программах, лексический выбор может оказаться более

проблематичным. Помощь в этой ситуации может оказать использование

фразового словаря. Это понятие было введено в 1975 Бекером и с тех пор

стало важным инструментом систем порождения. С лингвистической точки

зрения, "фразовый" словарь - концептуальное расширение стандартного

словаря, включающее все непроанализированные фразы, - на той же самой

семантической основе, что и словарь отдельных слов. Это обеспечивает

фиксацию незаконсервированных идиом и различных речевых способов, которые

люди используют каждый день. Так как люди используют эти " фиксированные

фразы " как нерасчленимое целое, программы должны научиться делать то же

самое. Пример ниже - из работы Кукича.

Wall Street securities markets meandered upward through most of the

motning, before being pushed downhill late in the day yesterday. The stock

market closed out the day with a small loss and turned in mixed showing in

moderate trading.

Это информационное объявление было вычислено непосредственно из анализа

данных по поведению рынка в течение дня. Качественные моменты в сообщении

были соединены непосредственно со стереотипными фразами подобного рода

объявлений: "a small loss", "a mixed showing", "in moderate trading".

Объекты, действия и указатели времени были отображены непосредственно в

соответствующих цепочках слов: "Wall Street securities markets", "meandered

upward ", "be pushed downhill", "late in the day". Композиционный шаблон

состоит из предложений, сформированных на основе S-V-Advp фразы: (рынок)

(действие) (указатель времени).

Обработка Грамматики

В изучении порождения выбор формализации представления грамматики языка

всегда связывался с выбором протокола контроля. Известны три основных

подхода к решению этого вопроса:

1. грамматика как независимый корпус предложений и фильтр к ним

(например, объединенная функциональная грамматика);

2. использование грамматики с целью выявления всех возможных

поверхностных структур, доступных для языка; затем проведение выбора и

реализации среди данных поверхностных структур (смысловые подходы);

3. грамматика как структура пересеченного графа, который контролирует

весь процесс, как только создается план текста (план выражения) (грамматика

расширенных сетей переходов, а также систематическая грамматика).

В этой статье не оказывается предпочтение ни одному из трех подходов.

Однако каждый из них будет рассмотрен в соответствие с поставленной

задачей, которая мотивирует использование этих подходов.

Объединенная Функциональная Грамматика (ОФГ) в порождении.

Объединенная Функциональная Грамматика была разработана Кейем, является

“реверсивной” грамматикой, т. е. может использоваться как при порождении,

так и при понимании речи.

Термин "функциональный", по мнению разработчиков, говорит о том, что

следует оттолкнуться от описания структуры лингвистических форм, чтобы

обратиться к причинам, почему используется язык. В отличие от

систематических грамматик, функциональные элементы в ОФГ представляют к

настоящему времени лишь минимальное расширение стандартного категориального

лингвистического словаря, используемого традиционно, чтобы описать

синтаксическую форму (например, "clause", "noun phrase", "adjective"), и

имеют много общего с "лексико-функциональной грамматикой", (стоящей в той

же парадигме грамматик). Классическое функциональное значение, типа

различие между "уже имеющейся" и "новой" информацией в предложении, подобно

различию между "темой" и "ремой”, еще не включено в ОФГ. ОФГ использует

“telegram” грамматику, разработанную Аппельтом, понимающий компонент,

написанный Босси.

Первый пример (из Аппельта) описывает одну из составляющих ролей,

которые сопровождают фразовую категорию, именную фразу.

ОФГ используют, чтобы изложить в деталях минимальные, концептуально

полученные функциональные описания, например, что главным словом к-л

именной фразы должно быть слово "отвертка". Недавняя работа Паттена

использует систематическую грамматику в очень схожим образом. Операции

такого типа на семантическом уровне, выполняемые в других подходах путем

планирования уровня, специалисты определяют как набор особенностей вывода

внутри систематической грамматики, эквивалент начального функционального

описания, которое управляет ОФГ. Обратное и прямое формирование цепочки

перемещается через систематическую грамматику, затем определяет, какие

дополнительные лингвистические особенности должны быть добавлены к

грамматической спецификации текста.

ОФГ используются в процессе последовательных объединений, ограниченных

правилами, которые следят за тем, как два описания могут быть объединены.

Ключевая идея состоит в том, что планировщик первоначально создает

минимальное описание фразы, что можно делать и стандартным способом. Чтобы

излагать в деталях описание к пунктам, где это было бы грамматически верно,

оно затем объединяется с грамматикой: описание фразы и спецификация

грамматики успешно объединены. Конкретизация понятий прежде не определенных

особенностей описания константами, снабженными грамматикой, вызывает эффект

ряби во всей системе: решения, которые зависят от только что

конкретизированных особенностей, провоцируют дальнейшее циклическое

объединение, пока не будет сформулировано грамматически полное описание

высказывания. Кроме того, элементы в описании планировщика побуждают к

отбору среди дизъюнктивных спецификаций в грамматике. Например, определение

глагола приводит к выбору грамматической подклассификации.

Полное описание составляет дерево подописаний (составляющих) как

определено "стандартом" (образцом), который предписывает последовательный

порядок на каждом уровне. Фактически текст создается при просмотре этого

дерева и чтении слов с лексическими особенностями каждой составляющей.

Ограничения накладываются в процессе объединения: только совместимые

частичные описания присутствуют в конечном результате. Это имеет большое

значение, так как планировщику не нужно разбираться с грамматическими

ограничениями и зависимостями, что, с другой стороны ограничивает его

потенциал: он не может пользоваться знаниями по грамматическим

ограничениям, даже когда ему это понадобится.

С точки зрения разработки грамматики, ОФГ является вполне

удовлетворительной, так как данный подход позволяет компактно формулировать

языковые факты, то есть необязательно расшифровывать взаимосвязь между

предложениями, так как это происходит автоматически во время объединения.

Прямой Контроль Грамматики при Понимании: Систематическая Грамматика и

Грамматика Расширенных Сетей Переходов (РСП). Расширенная сеть переходов

используется в порождении почти с момента своего определения. РСП

использовали сначала Симмонс и Слокум в 1970, чью систему затем использовал

Голдман. РСП также применял Шапиро, чей генератор, в этой группе, является

наиболее продуманным. Все системы имеют схожую структуру. Они просматривают

структуру данных, которую поддерживает основная программа. Сети

поддерживают формат сверху-вниз, как обычно у всех РСП-парсеров

(синтаксических анализаторов). Для ранних РСП подобная структура являлась

семантической сетью, основанной на теории фреймов с глаголом в центральной

части (еще одна "функциональная" лингвистическая система). Специальный узел

в сети, "вектор модальности", определяет информацию на корневом уровне,

например, время и вид; является предложение активным или пассивным.

Первичная функция РСП в ранних системах состояла в линейном упорядочении

сетевой структуры, которая была главным образом уже закодирована в

лингвистическом словаре.

РСП, по существу, представляет из себя процедурное кодирование

порождающей грамматики. Регистры, которые дают сетям "расширенное" влияние,

используются как представление грамматических отношений с глубинной

структурой, и пути в сетях кодируют все составные поверхностные

альтернативные последовательности. Ограничения распространяются по дереву

сверху-вниз (то есть к рекурсивным подсетям РСП) через значения в

обозначенных регистров, приводя в действие подсети при контекстном

управлении. Проект РСП Шапиро особенно впечатляет, поскольку его структура

управления данных занимает весь вычислительный режим основной программы.

Дальнейший аспект проекта РСП - тот факт, что средства создания слов

текста являются выполнением побочного эффекта по прохождению ребра графа,

что приводит генератор к действию почти в тот момент, когда ситуация

воспринимается. Особенно впечатляет то, что оценивает, что РСП Шапиро

никогда не пользуется резервированием. Это - совершенно необычное поведение

для РСП, так как порождение является в сущности процессом планирования.

Наиболее значительной проблемой для проектов РСП - трудность выделения

понимания из действия. Генераторы, основанные на систематической

грамматике, имеют дело с этой проблемой, непосредственно представляя

срединную репрезентацию в форме набора характерных признаков, что позволяет

спецификации текста постепенно накапливаться, предоставляя ограничениям

возможность распространяться и влиять на более поздние решения.

Две важных системы порождения были основаны на систематической

грамматике: PROTEUS Дэйви(обсуждали ранее) и NIGEL Манна и Маттхиссена.

NIGEL - самая большая систематическая грамматика в мире и, очень вероятно,

одна из самых больших машинных грамматик любого сорта.

Страницы: 1, 2



2012 © Все права защищены
При использовании материалов активная ссылка на источник обязательна.