Введение
Изучение искусственных нейронных сетей началось с попыток понять человеческий мозг — самый сложный объект в мире. В начале 40-х годов XX века философ Уоррен Маккалок, математик Уолтер Питтс и норберт Винер заложили теоретические основы этой области искусственного интеллекта.
Их революционная идея заключалась в том, что мышление можно представить как обработку информации, а нейроны — как логические элементы. Объединение биологии, математики и философии открыло путь к пониманию работы мозга и создало предпосылки для разработки обучающихся систем. Маккалок и Питтс в 1943 году опубликовали работу «Логическое исчисление идей, присущих нервной активности», где математически доказали способность сетей простых нейронов выполнять любые логические операции. Эта публикация заложила фундамент теории нейронных сетей и оказала глубокое влияние на развитие информационных технологий, вдохновив Джона фон Неймана на создание архитектуры современных компьютеров.
Principia Mathematica
В 1935 году молодой Уолтер Питтс обнаружил в Детройтской районной библиотеке трёхтомник Уайтхеда и Рассела. Principia MathematicaЗачитавшись книгами, юноша провел там три дня, пока не прочитал всё. В тексте томов он обнаружил ошибки и написал об этом письмо самому Бертрану Расселу. Тот впечатлился порывом юноши и пригласил его в аспирантуру. Но Питтс не смог принять такое предложение: Кембридж в Британии, Детройт — в Мичигане, а мальчику всего двенадцать лет. Однако спустя три года, когда Питтс узнал, что Рассел намерен посетить Чикагский университет, он сбежал из дома, отправился в Иллинойс и больше никогда не видел свою семью.
Вернемся на начало. В 1923 году Уолтер Питтс только появился на свет, а двадцатипятилетний Уоррен Маккалок уже читал. Principia MathematicaВ отличие от детройтского самоучки, Маккалок имел происхождение из зажиточной семьи юристов, врачей и теологов, обучался в Нью-Джерси и Пенсильвании. Познание в области философии и психологии углубил в Йельском университете. В 1923 году едва не получил докторскую степень по нейрофизиологии. Тем не менее Маккалок был скорее философом, чем практиком, и сильнее всего стремился понять значение знания. вообщеВ то время популярность психоанализа Зигмунда Фрейда была на пике, поскольку он недавно выпустил труд «Я и Оно». знание о знанииМаккалоку требовалось это; он не разделял взглядов Фрейда и считал, что за обычные и аномальные функции мозга отвечают исключительно электрохимические реакции в нейронах.
В психологии понятие нейронной сети актуально при исследовании психических явлений с помощью выявления минимально значимых единиц – «психонов», аналогичных отдельным нейронам. Активность квантована, поэтому психические явления носят семиотический характер и описываются языком символов, где принцип «всё или ничего» отражается в двузначности «да — нет». В разных областях психологии – умозрительной, поведенческой, физиологической – процесс всегда описывается двоичной логикой.
Уоррен Маккаллок, «Воплощения разума»
Маккалок и Питтс, начав жизнь на разных ступенях социальной лестницы с разницей в 25 лет, связали свою судьбу совместной жизнью и работой, а также умерли в один год, правда от разных причин. Как будто сошедшие с противоположных страниц одной книги — два непохожих героя, чей союз казался невозможным. Маккалок, сорокадвухлетний философ и поэт с большой бородой и острым взором мудреца, был деятелен лишь в часы бессонных ночей, питаясь мороженым и виски. Нескладный гигант с серыми глазами, в которых горело неукротимое пламя буйного интеллекта. Питтс — невысокий и хрупкий восемнадцатилетний юноша с чеховским лбом мыслителя и близорукими глазами книгочея, беглец и бродяга, нашептывавший свои сокровенные тайны пустым университетским аудиториям. Первый был успешным, признанным ученым, второй — призраком школярства на заднем академическом дворе. Маккалок беспрестанно курил и философствовал, а Питтс украдкой бегал на лекции, урывая там желанные крохи знаний, как нищий — милостыню.
Судьбы героев переплелись благодаря Джерому Леттвину, случайному гению этой истории. В первые минуты знакомства между героями промелькнула искра, а затем вспыхнул священный огонь интеллектуального братства.
Готфрид Лейбниц, мыслитель XVII столетия, объединил их общими мечтами. Он пытался создать «алфавит человеческой мысли» и преобразовать несовершенный внешний мир в идеальный внутренний, библиотеку разума, где каждая буква — концепция, а каждое слово — откровение.
Маккалок рассказал Питтсу о своей попытке создать модель человеческого мозга на базе логики Лейбница. Principia Mathematica… в которой Уайтхед и Рассел стремились доказать возможность создания математики без привлечения каких-либо предпосылок, опираясь только на очевидные логические аксиомы. Базовым элементом их концепции являлся утверждение— самое простое высказывание, которое может быть истинным или ложным. С ним производили фундаментальные логические операции — конъюнкцию («и»), дизъюнкцию («или») и отрицание («не»), чтобы связать утверждения в сложные комбинации. Из простых утверждений росла сложность.
Подход заставил Маккалока размышлять о нейронах. Ему было известно, что каждый из них активируется как спусковой механизм только после достижения определенного порогового электрического потенциала: клетке нужно набрать достаточное возбуждение через синаптические контакты, и только тогда она передаст свой импульс наружу. Маккалоку пришло в голову, что эта система двоична: нейрон либо активируется, либо нет. Стало очевидным, что сигнал нейрона — это утверждение, а каждая нервная клетка работает как логический вентиль с несколькими входами (отростками-дендритами) и одним выходом (отростком-аксоном). Изменяя порог срабатывания, можно заставить вентиль выполнять все три функции: «и», «или» и «не».
Статья британца Алана Тьюринга пронзила Маккалока, подобно молнии священного откровения. Тьюринг доказал возможность создания машины, способной вычислять любую функцию за конечное число шагов, и Маккалок узрел в этом едва ли не доказательство бытия божия: мозг есть совершенная логическая машина, где нейронные сети плетут кружева вычислений с мастерством именитых математиков. В его воображении нейроны становились живыми философами, способными, как настоящие маэстро, выстраивать симфонические цепи хитросплетения мыслей. Principia MathematicaПростое соединение элементов давало начало всей сложности математического мира. Точно так же нейроны, связываясь между собой через отростки, словно нитями логики, сплетали интеллектуальные узоры сознания.
Не заметил, как сильно привязался к Маккалоку, и где-то написал, что, быть может, через сто лет его сочтут величайшим философом ХХ века наравне с Бертраном Расселем и такими же.
Марвин Минский
Когда Маккалок открыл свой свиток научных мыслей, юный Питтс сразу почувствовал магическую энергию его ума. Числа и функции сливались в едином потоке, математически точные и ясные, как линии классической архитектуры и цвета готического витража. Очарованный интеллектуальным родством с молодым гением, Маккалок пригласил его в свой дом в Хинсдейле, где кипела оживленная богемная жизнь. Дом был подобен храму свободомыслия: чикагские интеллигенты и писатели торопили друг друга, делясь впечатлениями о революционной поэзии и радикальных мечтах. Патефон воспроизводил баллады испанских повстанцев, воздух наполнялся неукротимым духом познания. И только когда домашний очаг окутывала ночная тишина, а жена и трое детей Маккалока погружались в сон, два искателя знания — опытный ученый и юный волшебник математической мысли — совершали свой священный ночной ритуал.
Над стаканами дорогого виски, в тишине ночи наперегонки друг с другом они стремились раскрыть великий шифр головного мозга, начиная с загадки крошечного нейрона — микрокосма человеческого интеллекта.
Поэтика познания
Маккалок и Леттвин писали стихи мастерски и часто печатали свои творения. Питтс любил сочинять стихи и иногда показывал им свои произведения.
Небольшие мальчики оставляют случайные заметки.
In wet cement; synapses in the brain
Die off; renewing uplift glyphs mountain
В долине на равнине с плавными склонами; устья округляют шум.
To consonants in truisms: Thus expands law
Cankering the anoetic anonymous.
«If any love magic, he is most impious:
Him I cut off, who turn his world to straw,
Making him know Me.» So speaks the nomothete
Concealed in crystals, contracting myosin,
Imprisoning man by close-packing in his own kind.
We, therefore, exalt entropy and heat,
Борьба за комнату, смена места, импульс, вращение.
Successful enough if life is undesigned.
Используя нейросеть, написал песню на стихи Уолтера Питтса, озаглавленные автором «Объёмы информации» (у нас — «Случайные заметки»).
До появления Питтса Маккалок столкнулся с парадоксом: нейронные сети иногда создавали замкнутые цепочки, где выходной импульс последнего нейрона поступал на вход первого. Такая нейронная последовательность напоминала магический змей Уроборос, кусающий себя за хвост. Маккалок пытался смоделировать это явление, но с точки зрения логики формирование таких петель было парадоксом: следствие становилось предпосылкой, а эффект — причиной своего появления. t, то следующий — в момент t+1 и так далее. Но когда цепи замыкались, t+1 внезапно оказывался стоящим перед t.
Питтс предложил решение проблемы, применив… модульную математику и показал, что парадокс с t+1, наступающим ранее tВ циклических изменениях модуля понятия «раньше» и «позже» утрачивают смысл. Время исключается из уравнения. Если бы кто-то увидел молнию в небе, сигнал от глаз отправился бы в мозг через цепь нейронов. Начиная с любого нейрона можно было бы проследить сигнал и установить время возникновения молнии. А если эта цепь сформировала петлю? Тогда информация о молнии просто вращается по кругу и теряет связь с реальным событием, то есть превращается в событие, оторванное от времени. содержимым памяти.
Общая теория нейронных сетей применима и к случаям нестационарной активности. В таких случаях необходимо установить условия стабильности, то есть существования точки равновесия, и определить функции изменения возбуждения во времени. Существует обратная задача: при наличии заданных параметров активности построить нейронную сеть с характерной матричной структурой. Также следует определить архитектуру кластеров нейронов как систем с особой топологией, эквивалентной классической сети по характеристикам.
Уолтер Питтс, «Линейная теория нейронных сетей»
Погрузив последнюю формулу в систему расчетов, Питтс понял, что с Маккалоком сотворил нечто более важное, чем простая научная модель — появилась первая версия. карты сознанияПрименение математики для постижения секретов человеческого разума — первый шаг на этом пути.
Соединяя простые нейроны в сложные сети, словно композитор строит мелодию, открыли важнейшую истину: мозг способен выполнить любую логическую операцию, постичь все, чему может научиться машина Тьюринга. В уроборических петлях, бесконечно скручивающихся подобно змее, кусающей свой хвост, скрывалось откровение о сути мышления. С помощью петель познания мозг получал способность к абстракции, усвоению и преобразованию информации, создавая комплексы идей, многослойные динамические иерархии мысли – структуру того, что мы называем «мышлением».
В статье «Логическое представление идей, присущих нервной деятельности», опубликованной в «Бюллетене математической биофизики», Маккалок и Питтс представили новое видение проблемы. Их модель, простая и гениальная, стала основой для будущих исследований, доказав возможность постижения разума с помощью математических методов. Встреча со студентами завершилась формулировкой итога:
Наука впервые раскрыла тайну нашего познания.
Уоррен Маккалок
Заявление прозвучало как призыв новой научной эпохи: мистицизм уступает место логике, а человеческое мышление приобретает математическую определённость. Нет больше нужды обращаться к оккультизму, мудрствовать, строя фрейдистские теории и погружаться в противоречия борьбы эго и самоидентичности. Сознание становилось ясным и чётким, как математическое уравнение, прозрачным и чистым, как хрусталь.
В Маккалоке Питтс нашел не только покровителя, но и убежище души, интеллектуальное пристанище, которого ему не хватало. Маккалок стал другом, отцом, проводником в мир высокой науки. Несмотря на краткость времени, проведенного в Хинсдейле, дом навсегда остался для Питтса единственным. истиннымДом, место первое истинного принятия и понимания. Маккалок тоже очаровался юным дарованием. В Питтсе он обрел больше, чем просто ученика — родственную душу, интеллектуального сообщника. Математический дар мог преобразовывать туманные, наполовину сформированные идеи философа в простые, но стройные научные конструкции. «О, если бы всегда был со мной!» — писал Маккалок, и в этих словах были отеческая любовь, восхищение коллеги, наслаждение редким интеллектуальным сходством.
Алтарь Норберта Винера
Питтс произвел сильное впечатление на математика и философа Норберта Винера, отца кибернетики. В 1943 году Джереми Леттвин привел юного гения в кабинет Винера в Массачусетском технологическом институте. Вместо формальной церемонии Винер сразу же включил Питтса в ритуал научного творчества. Не тратя время на представления и разъяснения, он подвел Питтса к огромной черной доске, покрытой начертанными мелом доказательствами. И началось их сотрудничество: Винер работал, а Питтс время от времени предлагал замечательные идеи. Уже после второй исписанной доски стало ясно, что Винер обрел не только ассистента, помощника, коллегу, но и единомышленника. Позже он напишет о Питтсе:
Это самый способный молодой учёный, которого мне довелось знать. Буду крайне удивлён, если он не станет одним из самых значимых людей своего времени — не только в Америке, но и во всём мире.
Норберт Винер
Впечатление, которое Питтс произвел на Винера, было настолько глубоким, что тот пообещал ему докторскую степень по математике в МТИ, не обращая внимания на отсутствие у соискателя среднего образования — обстоятельство неприемлемое в академической среде. Предложение стало судьбоносным для Питтса. К осени 1943 года он находился в Кембридже, получил статус «особого студента» МТИ и обучался под руководством одного из величайших умов своего времени.
Винер стремился направить талант Питтса на создание более точной модели мозга. Несмотря на революционность исследования Питтса и Маккалока, интерес «мозговедов» к нему был невелик из-за сложности логики и схематичности модели, не отражающей всю полноту работы живого мозга. Винер оценил важность их работы, понимая, что более реалистичная модель могла бы произвести переворот в науке. Он предвидел, что воплощение нейронных сетей Питтса в искусственных машинах могло бы проложить путь к революции в кибернетике, о которой он мечтал.
Приступив к работе в МТИ, Питтс пришел к важному выводу: хотя генетика и определяет основные нейронные структуры, она не может организовать триллионы синаптических связей в мозге — такой объем информации нельзя закодировать ДНК. Он выдвинул гипотезу, что изначально мозг располагает лишь базовым набором случайных межнейронных связей в виде простейших сетей, обладающих состоянием с высокой вероятностью трансформации и минимальным информационным наполнением. Посредством изменения нейронных порогов со временем хаос может преобразоваться в порядок. Для проверки гипотезы он обратился к статистической механике. Винер поддерживал это направление, осознавая, что если такую модель удастся воплотить в машине, то она приобретет способность к обучению.
В июне 1945 года Джон фон Нейман создал «Первый черновик отчета о EDVAC», в котором впервые описано устройство современного компьютера — двоичной вычислительной машины. Предшественник ENIAC занимал площадь более 160 квадратных метров и больше напоминал гигантский калькулятор. Несмотря на возможность перепрограммирования, процесс был крайне трудоемким: нескольким операторам требовались недели для переподключения блоков. Фон Нейман пришел к мысли, что эти переподключения могут быть излишними. Представление каждой конфигурации переключателей и проводов в абстрактном виде и её кодирование позволили бы загружать программы в компьютер наравне с данными. Это без необходимости физической перенастройки превратило бы машину в универсальный вычислитель Тьюринга. Для реализации идеи фон Нейман предложил взять за основу нейронные сети Питтса и Маккалока. Вместо нейронов он планировал использовать вакуумные трубки в качестве логических вентилей, что позволило бы выполнять любые вычисления. Новшеством стала потребность в памяти для хранения программ и данных. И здесь пригодились разработанные Питтсом петли. Опираясь на модульную математику Питтса, ученый писал:
Самостимулируемый элемент может поддерживать стимул вечно.
Джон фон Нейман
Фон Нейман, предоставив детальное описание архитектуры новой вычислительной машины, в своём труде указал лишь одну научную ссылку — «Логическое исчисление» Маккалока и Питтса.
В 1952 году Джерри Уизнер, заместитель директора Электронной лаборатории МТИ, предложил Маккалоку возглавить новый проект по изучению мозга. Маккалоку предложение понравилось, и он без колебаний сменил должность профессора и просторный дом в Хинсдейле на позицию научного сотрудника и скромное жилье в Кембридже. Проект ставил амбициозную цель: используя весь арсенал теории информации, нейрофизиологии, статистической механики и вычислительной техники, раскрыть тайну возникновения разума в мозге. Маккалоку и Питтсу присоединились Джереми Леттвин и Патрик Уолл. На двери их лаборатории появилась табличка: «Экспериментальная эпистемология».
В последней год своей жизни Уоррен Маккаллок ещё раз проявил свой поэтический талант, написав…
До свидания, милые утрушки, отложенные надежды и всё остальное.
Твёрдые годы полны серьёзной, но незрелой жадности.
Осенние дни наступают стремительно.
Октябрь с такой же скоростью, как и время, не щадит никого.
Моих прекрасных дней уже не осталось, и более никаких не предвидится.
Я едва удерживаю пыл страсти.
in temperance terrible charged i abide
the desperate victor of my last race run
Желание броского испытания избытку жизни.
Чтобы остановить этот безумие, мне нужно скрыться иначе.
i cry no quarter of my age and call
on coming wits to prove the truth
В моём начинании на холодном поприще Судьбы.
Где мысли бросают жребий на судьбу.
Мы использовали нейросеть, чтобы поставить текст на музыку, и создали видеоклип к композиции «Чтобы успокоиться, брось жребий».
Итог и следствия
Маккалок и Питтс положили начало кибернетике и искусственному интеллекту. Труды учёных привели к переходу от фрейдистского психоанализа к механистическому представлению когнитивных процессов. вычислительную природуУчёные изучили мозг и определили ментальную деятельность как процесс обработки информации.
Демонстрируя принципы вычислений, вдохновили специалистов на создание архитектуры современных компьютеров. Благодаря их исследованиям нейронауки, психиатрия, компьютерные дисциплины, математическая логика и искусственный интеллект слились, воплотив идею, впервые высказанную Лейбницем:
Человеку, машине, числу и разуму информация служит всеобъемлющим средством обмена ценностями. .
Полученное преимущество имело свою цену: символическая абстракция, делая мир прозрачным, скрывала от мозга понимание сущности. Когда всё сводилось к информации, управляемой логикой, конкретные механизмы теряли значение — универсальность вычислений достигалась за счёт отказа от рассмотрения бытия. Фон Нейман первыми осознал эту проблему. В письме к Винеру предвидел будущий разрыв между искусственным интеллектом и нейронаукой.
Понимание фундаментального вклада Тьюринга, дополненное работами Маккалока и Питтса, усложняет картину. Эти исследователи утверждают, что любой процесс можно реализовать соответствующим механизмом, например, нейронным, при этом каждый механизм может быть универсальным. Противоположному взгляду следует: никакое знание не даёт представления о работе нейронного механизма без микроскопического, цитологического изучения.
Джон фон Нейман
Благодаря универсальности создать практическую модель мозга не удалось, что привело к отвержению и забвению многих начинаний Маккалока и Питтса. Эксперименты продемонстрировали ограниченность чисто логического подхода к пониманию мышления, ведь природа выбрала неопределенность жизни, а не строгость логики. Однако Маккалоку и Питтсу было неизвестно, что их идеи положат начало эпохе распределенных вычислений, нейросетям, машинному обучению, которые в свою очередь будут использованы при написании материала о них.
Для создания данного текста применялись нейросети.
- музыка — Suno.ai
- видео — Runway ML
- графика — Leonardo.ai
- фактология — YesChat.ai