Публикации Форум

03 декабря 2016, 18:47Просмотров: 180

Искусственные нейронные сети

Искусственные нейронные сети (ИНС) — математические, программные модели, или аппаратные комплексы, построенные по принципу взаимодействия множества простых элементов со многими входами и одним выходом (искусственные нейроны), соединенных относительно большим числом связей, обладающих разными параметрами. ИНС возникли как попытка смоделировать структуры, из которых состоит мозг человека. Существует несколько существенно разных парадигм ИНС, однако их общим свойством и главным преимуществом по сравнению с другими алгоритмами является возможность обучаться решению некоторой задачи на примерах, без анализа сути проблемы человеком. Часто обучающие примеры состоят из пар входной образ-правильный ответ, но в некоторых моделях возможно обучение без знания точного ответа (только «правильно-неправильно»), и есть модели, обучающиеся решению некоторых задач без ответа вообще. Под обучением имеется в виду изменение параметров связей между нейронами (обычно — коэффициента, на который умножается сигнал при прохождении данной связи, называемого обычно весом связи, в некоторых моделях также изменяется задержка, которую испытывает сигнал), которое приводит к формированию желаемого ответа на выходах сети. Обычно целью обучения ИНС является достижение ей такого состояния, чтобы она давала правильные ответы не только на образы, использовавшиеся в обучении (для этого хватило бы и базы данных), но и на другие, в каком-то смысле подобные, образы. Хотя бывают и другие цели — например, ИНС могут решать задачу кластеризации, в которой нужно сгруппировать входные образы в несколько кластеров, выработав критерий отнесения образа к тому или иному кластеру.

Классификация искусственных нейронных сетей
На данный момент не существует единой общепринятой классификации ИНС, поскольку в процессе исследования были перепробованы практически все мыслимые комбинации свойств, характерных тем или иным парадигмам. Тем не менее, можно ввести некоторые признаки, общие для большинства современных ИНС. В большинстве ИНС нейроны сгруппированы в несколько слоев нейронов. Все нейроны одного слоя связаны со всеми нейронами некоторого другого слоя (иногда нескольких других слоев), а внутри одного слоя связей между нейронами нет вообще. Однако в некоторых типах однослойных сетей может быть отдельно оговорено, что каждый нейрон связан с каждым (если это действительно так, то связь обязательно имеет некоторую временную задержку, и такую структуру можно представить как последовательность идентичных слоев, разнесенных во времени). Во многих ИНС время или явно не фигурирует (сети прямого распространения), или дискретно (т.е. мы оперируем состоянием сети в момент t, t+1, t+2 и т.д.). Модели с непрерывным временем обычно относятся к спайковым сетям, и заслуживают отдельного рассмотрения. Обучение ИНС делится на два основных типа: итеративное и неитеративное. При градиентном обучении тем или иным способом определяется, какой вклад в ошибку сети внесла каждая связь, и в соответствии с этим она немного модифицируется на каждой итерации. При неитеративном обучении решается определенная система уравнений, и результатом решения является новое состояние связей, которые будут удовлетворять поставленной задаче.

Ниже приведен один из возможных вариантов классификации, по принципам организации связей и типу метода обучения.
ИНС прямого распространения

В сетях этого типа обработка сигнала устроена строго последовательно: сначала образ попадает на входной слой, потом проходит некоторое количество промежуточных слоев нейронов (их обычно называют скрытыми слоями), и формирует отклик на одном или нескольких нейронах выходного слоя. В сетях такого типа от времени ничего не зависит — для корректной работы достаточно соблюдать последовательность просчета по слоям, и как только мы прошли все слои, изменения прекращаются.

Наиболее известным и хорошо исследованным представителем этого типа является многослойный перцептрон. Его обучение происходит по методу обратного распространения ошибки: зная реальный ответ сети, и правильный ответ, можно вычислить ошибку нейронов выхода, далее, можно распространить ее по связям, идущим к выходным нейронам (с учетом веса связи, и сигнала, который по ней пришел) на нейроны предпоследнего слоя, и таким образом определить их ошибку, потом спустить ее еще на один слой, и т.д.. Зная же ошибку нейрона, несложно определить вклад каждой связи. При подаче одного образа, веса связей меняются на небольшую величину в сторону уменьшения ошибки, и при многократном прогоне обучающей выборки (обычно несколько тысяч повторений), сеть обучается реагировать правильно. Этот метод является наиболее популярным методом итеративного обучения.

Рекуррентные ИНС
В сетях этого типа сигнал с выходного слоя попадает обратно на вход сети (в некоторых модификациях — не с выходного, а с одного из промежуточных, или не на вход, а на один из промежуточных, но главное — в циркуляции сигнала есть замкнутый цикл). Это создает явную зависимость от времени, и потенциально сеть может до бесконечности изменять свои состояния после того, как мы подали один-единственный входной сигнал (впрочем, в существующих на сегодня моделях этого обычно не происходит, при подаче одного образа через некоторое время сеть переходит в одно из устойчивых состояний, или один из коротких устойчивых циклов, в зависимости от начального состояния и свойств матрицы связей). Наиболее известным представителем этого класса сетей является рекуррентный перцептрон. Он также обучается по методу обратного распространения ошибки, который в этом случае должен быть адаптирован для учета цикличности прохождения сигнала (при попытке применить немодифицированный метод, нам придется прогонять ошибку в прошлое до бесконечности).
Сети ассоциативной памяти формально попадают под определение рекуррентных, однако ввиду существенных отличий, их принято выносить в отдельный класс.
ИНС ассоциативной памяти
Сети этого типа обычно состоят из одного (автоассоциативная память) или двух (гетероассоциативная память) слоев нейронов. В случае одного слоя, каждый нейрон в нем связан с каждым другим, и сам с собой. В обеих случаях, состояния сети последовательно эволюционируют во времени, входом сети служит принудительная установка нейронов в начальное состояние, выходом служат состояния нейронов после того, как сеть придет в устойчивое состояние. Важное отличие от других сетей состоит в том, что ассоциативная память обладает рядом устойчивых состояний (т.е. по достижению этого состояния, дальнейшие состояния сети на каждом временном шаге будут такими же), называемых аттракторами, и структура матрицы связей делает неизбежной сходимость к одному из аттракторов (в некоторых специальных случаях аттрактор может состоять из нескольких последовательно сменяющихся состояний).

Другие типы ИНС
Ряд архитектур существующих ИНС не укладывается в данную классификацию. Во-первых, к этой категории относятся гибридные и нестандарнтые архитектуры: например, сеть Эльмана, которая является комбинацией трехслойного перцептрона и ассоциативной памяти, сеть Кохонена состоит из одного слоя нейронов, которые не связаны друг с другом, но между которыми определена мера расстояния, использующаяся в обучении (такая сеть способна решать задачу кластеризации данных без учителя).
Во-вторых, сюда следует отнести спайковые сети. Этот тип сетей в наибольшей степени напоминает биологические нейронные сети: сигнал кодируется не вектором чисел, а потоком импульсов, связи характеризуются не только весом, но и временем, за которое сигнал по ним проходит, реакция нейрона представляет собой также поток импульсов, тем более частых, чем больше его активность. Однако ввиду большой сложности этих сетей, на данный момент не разработано методов их обучения, которые бы обеспечивали преимущество перед другими подходами.

Практическое применение ИНС
В первую очередь ИНС эффективны для задач распознавания образов высокой размерности (от десятков до тысяч параметров), для которых имеется достаточно большая статистика (тем большая, чем выше размерность данных), и по каждому образу есть заключение эксперта, чему он соответствует. Например, данными могуть быть развернутые во времени показания химических сенсоров разных типов, а заключением эксперта — запах, который в данном случае действует на сенсоры. В такой ситуации, когда человеку не удается проследить четкую связь между параметрами объекта и его типом (но эта связь тем не менее есть), обычно ИНС могут решить подобную задачу достаточно хорошо (хотя на успех сильно влияет качество параметризации — например, при распознавании изображений, не стоит в качестве входа использовать картинку попиксельно — в реальной ситуации изображение может быть сдвинуто, повернуто, и т.п. — эффективнее использовать некоторые производные параметры, например коэффициены Зернике, или гистограммные характеристики разных частей изображения).
Помимо этого, ИНС могут использоваться для моделирования объектов без анализа их внутренней структуры: если долгое время обучать сеть по входам объекта в данный момент времени предсказывать его состояние в следующий момент, то, если сеть выбранного типа вообще в состоянии смоделировать этот объект, модель будет построена, и в дальнейшем такая сеть может быть использована для различных экспериментов вместо самого объекта. Это применение часто бывает полезным при решении задач управления и прогнозирования (в частности, при прогнозировании погоды моделирование некоторых процессов нередко выполняют ИНС).
Также, ИНС эффективны для решения задач управления динамическими объектами. И хотя для управления разработано немало других методов, основным преимуществом ИНС в этой области является их адаптивность, возможность дообучения в реальном времени при изменении характеристик объекта управления.

Перспективы ИНС
Безусловно, наиболее перспективной областью применения ИНС является создание сети, настолько близкой по своим свойствам нейросетям мозга, чтобы стало возможным непосредственное подключение ИНС к биологическим нейронам, и полноценная работа такой гибридной структуры расширила мыслительные способности человека. Прямым следствием такой гибридизации станет бессмертие за счет постепенного замещения функций отмирающих биологических нейронов искусственными (при достаточной совместимости, этот процесс будет идти автоматически — известно, что в процессе работы мозга функции поврежденных участков передаются нормально работающим).
В ближайшей перспективе можно ожидать создание системы компьютерного зрения, которая будет базироваться на принципах, похожих на механизм распознавания изображений человеком, создание систем нейроуправления, которые сделают возможным распространение роботов (в том числе летающих), способных нормально удерживать равновесие и приспосабливаться к изменяющимся условиям, а также разработки систем интерфейса мозг-компьютер, которые, вместо длительных тренировок оператора, сами будут к нему адаптироваться.

Смотрите также:

Сообщить об ошибке