Вероятностная модель языка

«ОНС». Что же дает нам вероятностная логика, задаваемая бейесовским силлогизмом?
В.Н. Перед нами открывается возможность осмыслить процесс понимания текстов.
Как мы понимаем тексты? Как мы понимаем друг друга, если говорим на языке, слова которого не имеют точечных (атомарных) смыслов? Как, скажем, можем мы понимать смысл английского слова set, значения которого в двухтомном Англорусском словаре разъясняются через 1816 слов? Почему мы любим метафорически насыщенные тексты? Каким образом мы понимаем фразы явно алогичные, подчас формально бессмысленные с позиций привычной нам логики? Как переводим мы иностранные тексты, если для ведущих слов текста часто не находим семантически однозначные слова на другом языке?
Мне представляется, что эти и подобные им вопросы являются ключевыми как для понимания природы нашего сознания, так и для поиска путей развития искусственного интеллекта. Я сформулировал их со всей остротой еще лет двадцать пять тому назад. Первым, правда, теоретически еще недостаточно четко разработанным ответом на них была книга Вероятностная модель языка, второе расширенное издание. Позднее к этой теме я возвращался во всех своих публикациях, относящихся к проблеме сознания.
Ответ, коротко говоря, звучит так: читая или ведя беседу, мы оказываемся вовлеченными в языковую игру, погружая важные для данного текста слова в ту или иную, новую нам ситуацию y, порождающую фильтр понимания p(y/m). Смысл слова, таким образом, сужается – конкретизируется. Но выбор фильтра всегда индивидуален. Бейесовская логика, в отличие от Аристотелевой, всегда свободна – свободна в понимании текста. Мы знаем на своем опыте, как тоталитаризм пытался изжить эту свободу. Именно свобода понимания делает общество гибким.
Из интервью с В.В. Налимовым (Впервые в сокращенном варианте текст был опубликован в журнале Общественные науки и современность, 1995, № 3, с.122–132)
***
На четыре четверти размерена речь.
Их знают брахманы, которые мудры.
Три тайно сложенные (четверти) они не пускают в ход.
На четвертой (четверти) речи говорят люди.
- РигВеда, стих из гимна-загадки I, 164, 45
***

...Для специалистов по кибернетике - изучение языка — это одна из основных задач. Объектом исследования в кибернетике являются самоорганизующиеся системы - своеобразные организмы, образованные из некоторого множества вещей, объединенных системой управления. Управление осуществляется путем передачи и переработки сигналов. Структура управления — это структура языка системы. Кибернетика может изучать как живые системы — биологические организмы и их объединения, скажем сообщества людей или их отдельные группы, так и неживые объекты — автоматы, искусственно созданные людьми, или естественно возникшие системы. Наконец, изучаются смешанные системы, скажем биосфера, где происходит информационное взаимодействие между живыми и неживыми вещами. С позиций кибернетики и науку можно рассматривать как самоорганизующуюся систему, которая ведет себя как живой организм: в процессе ее развития возникают существенно новые, заранее не предсказуемые идеи, проходящие в дальнейшем путь сложной эволюции. Эти идеи создаются и развиваются в результате информационного взаимодействия ученых, которое происходит на особом языке — языке науки, отличном от обыденного языка людей. Поэтому изучение языка науки представляет особый интерес для всех тех, кто занимается методологией и историей науки. А если говорить об информатике — том новом направлении знаний, которое пытается осмыслить и улучшить систему научных коммуникаций, то здесь развитие теоретических представлений возможно только на основе глубокого понимания того, как функционирует язык научных связей.
Биология, в нашем представлении, также занимается в значительной степени проблемами языка. Вопросы биохимического кода, или, более широко, вопросы межмолекулярных взаимодействий в живой клетке, вопросы генетики, проблема эволюции и совсем старые задачи классификации и систематизации, представление о биосфере как о большом организме и связанная с этим проблема большой экологии — все это может быть сформулировано в терминах науки о языке, если на биологию посмотреть с широких кибернетических позиций.
Наконец, и искусствоведение — с определенных позиций — можно рассматривать как учение о языке коммуникаций в эмоциональной сфере жизни. Можно говорить о языке абстрактной живописи, о языке музыки, о языке ритма в поэзии и вести совсем серьезные исследования в этих направлениях.
...Оставаясь на позициях кибернетики, мы рассматриваем язык как некоторый организм, полагая, что возникнув под влиянием определенных (может быть, еще далеко не понятых нами, тем более в деталях) причин, он продолжает самостоятельно развиваться, проходя свой, специфичный путь эволюции и оказывая подчас решающее влияние на иерархически выше стоящие системы, скажем на мышление человека.

3. Бейссовская модель языка
Попробуем теперь построить модель языка, содержащую в явной форме вероятностную структуру смыслового содержания знака. Здесь нам прежде всего надо сказать несколько слов о теореме Бейеса и необейесовском подходе к обоснованию правил вывода в современной математической статистике. Основная идея здесь заключается в том, что, принимая какое-либо решение после того или иного эксперимента, мы всегда используем как вновь полученные знания, так и предыдущие знания об изучаемом явлении. До постановки опыта у исследователя всегда есть какие-то знания, которые могут быть выражены на вероятностном языке, — мы можем ого назвать априорной вероятностью, или, иначе, субъективной, или персональной вероятностью. Теорема Бейеса позволяет формализовать процесс принятия решения, моделируя такую процедуру, в которой используется как априорная информация, так и информация, полученная из опыта, ответ выдается в вероятностных терминах в виде апостериорной вероятности.
Поясним смысл этой теоремы в обычных статистических терминах. Допустим, что производится измерение величины m для некоторого объекта H. Имеется пространство Y всех возможных результатов измерений y. На этом пространстве задана вероятность p(y/m). В простейшем случае это просто функция нормального распределения для ошибок наблюдений при измерении объекта H. Далее, будем считать, что нам известна априорная вероятность p(m), т.е. априори (до проведения опыта) известно распределение всех возможных значений m. Тогда теорему Бейеса можно записать так:
p(y/m)= k * p(y /m) * p(m),
где k – константа, полученная из условия нормировки.
Вводя в рассмотрение априорную информацию, мы как бы задаем вход в систему, а затем, используя теорему Бейеса, образуем логически безупречным образом выход из системы, который записывается в виде апостериорной вероятности p (m/y). Если теперь мы вернемся к анализу процесса восприятия знаковой системы, то в этом случае p(m) будет априорным распределением суждений о смысловом значении знака. Это распределение может быть построено, скажем, так: “приемник” имеет в своем сознании некоторое представление о возможных смысловых значениях знака, – одно из них имеет большую вероятность появления, другое – меньшую и т.д.
Все это может быть представлено функцией распределения, построенной так, что по оси абсцисс отложены ранги смысловых значений, установленные по вероятности их появления, по оси ординат отложены сами вероятности. Эта априорная вероятность создает вход в систему восприятия читаемого текста. Система чтения позволяет образовать функцию p(y/m) . Она задается многими факторами – способами комбинирования читаемого знака с другими знаками фразы и общей эмоционально-интеллектуальной настроенностью “приемника” в момент чтения; последнее обстоятельство вносит тот же элемент неопределенности, что и ошибка эксперимента в обычных физических экспериментах.
В частном случае полного априорного незнания или априорного безразличия функция p(m) будет просто равномерным распределением, и тогда p(m/y) сведется к p(y/m), но вряд ли это может иметь место, когда “приемником” является человек. Если для “приемника” и “передатчика” p(m) более или менее одинаковы, то процесс чтения будет вносить только случайные искажения. Но может оказаться, что “приемник” и “передатчик” вкладывают совершенно разный смысл в знаковую систему...как это, например, имеет место при эстетическом восприятии коллекции насекомых. В этом случае у “приемника”-человека имеется некоторая система эстетических представлений, задаваемая функцией p(m) , которой нет у “передатчика”-природы, т.е. у системы генетической информации насекомых.
...Вводя в рассмотрение априорную информацию, мы как бы задаем вход в систему, а затем, пользуясь теоремой Бейеса, образуем разумным образом (используя аксиому об умножении вероятностей) выход из системы, который записывается в виде апостериорной вероятности р(m/у). Вся трудность этого подхода заключается в понимании того, что значит априорная вероятность р(m), об этом много написано (см., например, |88|, [89)). Во всяком случае ясно, что человек как в своей научной, так и в повседневной деятельности постоянно оценивает вероятности различных событий. Эти оценки всегда субъективны в том смысле, что они определяются интеллектуальной настроенностью данного субъекта и степенью его информированности, но они и в каком-то смысле объективны, или, может быть, лучше сказать — всеобщи, поскольку предполагается, что приходится иметь дело с разумными наблюдателями, настроенными в какой-то степени одинаково.
Важно здесь другое: если субъективная вероятность какого-либо события как-то оценена, то с нею можно поступать так же, как с вероятностью, введенной в математике, полагая, что она обладает теми же свойствами и подчиняется тем же постулатам.
Если априори мы ничего но знаем о характере распределения р(m), то наше незнание можно выразить, приняв равномерно (на прямой) распределение всех значений m. В этом случае, как нетрудно видеть, апостериорное распределение сведется в статистических исследованиях к исходному распределению ошибок измерения р(у/m), построенному относительно найденного в эксперименте значения у (коэффициент к при этом будет равен единице). Мы получим в конце концов измеренное значение y с теми же двух- или трехсигмовыми границами, что и в традиционной статистике. Все различие сводится лишь к обоснованию. И это различие оказывается очень глубоким. Оно позволяет избежать тех затруднений, с которыми приходится сталкиваться в традиционной статистике, когда доверительные границы задаются еще до того, как сделано измерение; ведь действительно непонятно, почему они должны всегда сохранять свою силу и после того, как измерение выполнено.
В.В. Налимов. 1974. Вероятностная модель языка. О соотношении естественных и искусственных языков. М.: Наука, 272с. (2-е расширенное изд. – 1979. М.: Наука, 303 с.; 3-е дополненное изд. – 2003. Томск – Москва: Водолей Publishers, 367с.; на польск. яз. – 1976. Probabilistyczny Model Jzyкa. Warszawa: Pastwowe Wydawnictwo Naukowe, 336 s; на англ. яз. – Nalimov V.V. 1981. In the Labyrinths of Lang uage. A Mathematician’s Journey. Philadelphia: ISI Press, 246 p.).
vk.com/doc-123708210_448176121
web.archive.org/web/20180212160153/http://kirsoft.com.ru/freedom/KSNews_980.htm
Василий Васильевич Налимов - математик и мыслитель
vk.com/doc399489626_578212272