В мозге по-прежнему еще множество тайн, но мы уже смогли прийти к важному выводу: большая часть мозга работает не как система фиксированных двухточечных соединений наподобие телефонной сети, а как паутина бесчисленных нейронных связей, то есть как нейронная сеть. В наши дни нейронные сети обычно ассоциируются с компьютерами, но их идея впервые была выдвинута более полувека назад прозорливым канадским нейробиологом Дональдом Хеббом. Несколько лет спустя эту теорию подхватили специалисты в области теории вычислительных систем. В последующие десятилетия нейронные сети то входили в моду, то теряли популярность, но более совершенные компьютеры в конечном итоге привели к рождению новой области искусственного интеллекта (ИИ), известной как машинное обучение. Разработчики ИИ показали, что компьютерные нейронные сети могут научиться впечатляющим вещам, и тем самым побудили нейробиологов вновь посмотреть на головной мозг сквозь призму нейронных сетей. Сегодня у нас есть замечательный альянс нейробиологии и компьютерных наук, в котором каждая дисциплина служит источником идей для другой.
Действительно ли мозг использует нейронные сети для восприятия и осмысления мира? Функционирует ли он согласно принципам, применяющимся в «машинном обучении»? Ответ, судя по всему, да — и мозг делает это намного лучше компьютеров. Безусловно, компьютеры поражают нас некоторыми своими способностями — не только игрой в шахматы, но и выполнением других более сложных задач. Но по большому счету они как цирковые пони, умеющие делать только один трюк. И даже самые простые системы ИИ требуют большого количества оборудования и, как следствие, большого количества энергии. В отличие от них, наш скромный по размерам мозг способен выполнять огромное разнообразие задач, потребляя при этом меньше энергии, чем ночник для чтения. С этой точки зрения компьютеры очень примитивны, поэтому цель — сделать их хотя бы немного похожими на человеческий мозг.
Как это давно понял Дональд Хебб, нейронная сеть с фиксированными соединениями неспособна учиться. Ключ к обучаемости нейронной сети (биологической или искусственной) — в способности синаптических связей между ее нейронами меняться под влиянием опыта. Такая пластичность — общее правило для всего мозга, а не только для сенсорных систем. Благодаря ей мозг может оправляться от повреждений и выделять дополнительные ресурсы под особенно важные задачи. В зрительной системе нейронные сети могут научиться заранее идентифицировать визуальный объект, дополняя сенсорную информацию, поступающую с сетчатки, знаниями об увиденных ранее аналогичных объектах. Это означает, что значительная часть нашего восприятия — не столько фиксированная, сколько приобретенная в результате обучения реакция на зримый объект. Нейронные сети распознают определенные комбинации признаков, когда они их видят.

Из книги "Глубокое обучение", Николенко С., Кадурин А., Архангельская Е.
Чего не хватает современным нейронным сетям? Можно ли довести их до человеческого уровня понимания, и если да, то как?
Известные когнитивисты и специалисты по байесовскому выводу Джошуа Тенненбаум и Самуэль Гершман) попытались дать ответ на эти вопросы. Они начинают с того, что выделяют разницу между тем, как обучается человек, и тем, как это делают программы даже в успешных случаях. Человеку практически всегда нужно гораздо меньше тренировочных данных, чтобы успешно обучиться: например, чтобы освоить одну из игр Atari, глубокой сети требуется около тысячи часов опыта; это стало очень ярким шагом на пути развития глубокого обучения с подкреплением А человеку, даже ранее абсолютно незнакомому с игрой, для повторения этих результатов достаточно пару минут посмотреть прохождение, чтобы понять, что надо делать, и потом еще полчаса поиграть самому, чтобы воплотить понимание в навык. А в задаче распознавания символов человеку обычно достаточно буквально одного-двух изображений, чтобы начать узнавать новый символ даже в других формах и с серьезными искажениями. Почему же люди настолько лучше обучаются?
Во-первых, у человека еще в раннем детстве появляется понимание нескольких крайне важных для нормального функционирования основных предметных областей — то, что называется базовым знанием (core knowledge). Кроме понимания операций с числами и множествами и навигации в пространстве, в особенно подчеркиваются два компонента, которые отличают живого человека от искусственных нейронных сетей.
1. Интуитивная физика: понимание того, как работает окружающий нас физический мир. Младенцы довольно быстро начинают разбираться в окружающем их физическом мире. К шести месяцам ребенок уже хорошо понимает постоянство объектов физического мира, то, что они должны двигаться непрерывно и не менять мгновенно свою форму, и уже даже различают твердые и жидкие объекты. А к году малыши уверенно овладевают такими понятиями, как инерция, поддержка, способность одних объектов содержаться в других и т. д. У ученых нет уверенности в том, как это все работает у человека, но по современным представлениям, интуитивная физика — это нечто вроде логических рассуждений, построенных на модели физической симуляции, вроде физической модели в компьютерной игре . Модель эта, конечно, крайне приблизительная, мы не проводим настоящих вычислений, но достаточно точная для повседневных выводов и, главное, способная к очень мощным обобщениям и переносу на новые визуальные входы. Но пока неясно, как передать это понимание обучающейся модели. Недавняя работа исследователей из Facebook AI Research начинает применять нейронные сети для развития подобной интуиции, но здесь, пожалуй, еще довольно далеко даже до первых неуверенных шагов младенца.
2. Интуитивная психология: тут дела обстоят еще интереснее. Дети, даже младенцы, очень быстро понимают, что некоторые сущности в окружающем мире обладают волей и действуют, преследуя какие-то свои цели. Более того, уже годовалые малыши прекрасно могут различать эти цели и действия по их достижению и даже делать некие зачатки моральных суждений, понимая, когда «плохие» агенты мешают «хорошим» достигать их «хороших» целей. Именно такие рассуждения позволяют нам с вами быстро научиться компьютерной игре, просто наблюдая за тем, что делают другие люди, и осознавая, какие цели они преследуют. Вы можете даже ни разу не увидеть, как Марио умирает, столкнувшись с черепашкой, — просто посмотрев на то, что опытный игрок все время избегает или убивает черепашек, вы поймете, что это враг и с ним нужно поступать именно так. Откуда все это берется — пока тоже до конца не понятно; возможно, из развивающейся сейчас в когнитивистике байесовской теории сознания, а возможно, и нет. Но понятно, что такого рода рассуждения искусственные нейронные сети сейчас совершенно не умеют вести, и это может быть важным направлением для дальнейших исследований. Во-вторых, люди очень хороши в том, что называется переносом обучения (transfer learning): мы можем быстро построить модель нового объекта или процесса, порождая правильные абстракции из очень, очень маленького числа обучающих примеров. Известно, что дети с трех до 14–15 лет изучают в среднем 8–9 новых слов каждый день. На самом деле это довольно очевидное рассуждение: просто разделите словарный запас взрослого человека (около 30 тысяч слов) на те 10 лет, в течение которых его основная масса нарабатывается. Довольно очевидно, что они не могут получить большое число разных контекстов для каждого нового слова и должны обучаться по считанным единицам тренировочных примеров. Сейчас начинают проводиться исследования о том, как перенести такое обучение (его обычно называют обучением по одному примеру, one-shot learning) в нейронные сети и модели машинного обучения в целом. С помощью байесовского подхода к обучению уже достигнуты некоторые успехи в таких задачах, как распознавание рукописных символов и речевых сигналов, но основная работа здесь еще впереди.
В-третьих, настоящим камнем преткновения для искусственного интеллекта остается причинность (causality), то есть способность распознавать и выделять «истинные причины» наблюдаемых эффектов, строить модели процессов, которые могли бы привести к таким наблюдениям. Когда человек смотрит на фотографию, в его воображении обычно создается некий нарратив, объясняющий происходящее на снимке как связную последовательную историю. А когда нейронная сеть порождает подписи к фотографиям, ничего подобного не происходит; часто бывает так, что сеть корректно распознает все ключевые объекты на фото, но не может связать их правильным логическим образом. Это, разумеется, обычно связано и с вышеупомянутыми интуитивной физикой и интуитивной психологией: они помогают нам выбрать правильное объяснение. Психологические и когнитивные исследования показывают, что причинность в этом смысле может появляться и на более низком уровне: например, классические теории восприятия речи утверждают, что ее проще всего объяснить через «обращение» услышанного, распознавание движений речевого тракта, которые могли бы привести к таким звукам.
И наконец, люди гораздо лучше умеют учиться. Младенцы учатся относительно медленно, но затем способность к обучению постепенно «раскручивается», и мы с вами осваиваем новое гораздо более эффективно, чем имеющиеся у нас данные позволили бы, например, современным архитектурам нейронных сетей. Это показывает, что у людей при обучении появляются очень сильные ограничения, априорные распределения. Первые шаги в направлении такого «абстрагирования» уже, конечно, делаются. Например, довольно очевидно, что даже самые разнообразные системы компьютерного зрения могут переиспользовать первые уровни анализа изображения, выделение базовых признаков, которые могут оставаться общими для самых разных изображений. Однако это пока все еще только первые шаги, причем ограниченные конкретными областями применения — здесь мы еще только в начале большого пути.
Что ж, современные нейронные сети действительно еще очень далеки от «настоящего» искусственного интеллекта. Но есть у специалистов по глубоким сетям и позитивная программа о том, как двигаться вперед. Так, например, Томаш Миколов и его соавторы попытались изложить свое видение того, как нейронные сети могут двигаться в сторону AI. По мнению Миколова, есть два основных качества «настоящего» интеллекта, которые нужны, чтобы признать программу разумной:

Для этого в работе предлагается построить специальную экосистему для обучающихся агентов, похожую на компьютерную игру. В этой экосистеме будет Учитель (Teacher), чье поведение полностью контролируется экспериментаторами, и Ученик (Learner), которого мы, собственно, и выращиваем. Они общаются через вышеозначенный канал связи, по которому также отдельно передаются стимулы (награды) за желаемое и нежелательное поведение Ученика. Идея системы состоит в том, чтобы Учитель последовательно обучал Ученика задачам возрастающей сложности:

Переходить между этими «уровнями» можно за счет изменения структуры вознаграждений: когда Учитель видит, что Ученик обучился давать простые команды, он перестает поощрять за любые корректные команды и начинает вознаграждать только за приводящие к нужному эффекту; затем «нужные эффекты» усложняются и т. д. Миколов с соавторами пишут, что основным компонентом систем, которые могли бы обучиться абстрактному мышлению, должна стать долгосрочная память в той или иной форме; она должна быть способна хранить обученные моделью паттерны поведения, присваивать им ярлыки (например, запомнить, что такое «найти яблоко») и затем «доставать» нужные паттерны по этим ярлыкам. Существующие сейчас нейронные сети вряд ли способны к такому уровню абстракции при интерактивном обучении; нужны новые идеи.
Хотя современные модели машинного обучения и делают множество потрясающих вещей, постепенно превосходя человека во многих ранее недостижимых для компьютера областях, до «универсального черного ящика», который мог бы самостоятельно обучиться действовать в новой обстановке, как это делает человек, пока еще очень, очень далеко.

Куда это приведет нас в наших поисках понимания механизмов восприятия, мышления, эмоций? Конкретные детали нам неизвестны, но мы можем заглянуть в далекое будущее и попробовать увидеть ответ. Это будут фактологические, поддающиеся проверке научные знания в каждой точке. В этой книге мы с вами пройдем часть пути — до того места, где сенсорный опыт превращается в восприятие и мысль.
Наконец, где во всем этом наше «я»? Легко говорить о мозге с позиции внешнего наблюдателя, но что представляет собой — и где обитает — тот «внутренний человек», который смотрит на мир нашими глазами? Задумываясь об этом, мы неизбежно наталкиваемся на вопрос о природе сознания, нашего «я», а на этом пути мы, люди, едва ли сделали первые шаги.