Читать книгу - "Вся фигня - от мозга?! Простая психосоматика для сложных граждан - Василий Чибисов"

Но нам не важно, какая форма у нервного сигнала. Важно, что другие нейроны одинаково реагируют на этот сигнал, воспринимая его как (простите за тавтологию) сигнал к действию. То есть напряжение с дендритов нейрона передаётся на аксоны «подконтрольных» нейронов. Аксоны, в свою очередь, получают сигналы от множества нейронов. Все сигналы, попавшие на аксон, суммируются на входе нейрона. И если сумма достаточно большая, то уже новый нейрон начинает верещать.

Теперь немного упростим и немного усложним картину. На рисунке 2.3 для удобства нейрон изображён кружочком. Аксон и дендриты вообще заменены на линии. Этот минималистский стиль активно используется в математической теории нейронных сетей, в схемотехнике, в теории графов… Короче, в любой технической дисциплине, когда нужно отвлечься от деталей и ухватить суть, прочувствовать саму архитектуру сложной системы.

Рис. 2.3. Упрощенная схема суммирования сигналов в нейроне. Сумма входящих подставляется в функцию активации. Результат подается на единственный выход, где его уже ждут благодарные нейронные соседи

Мы видим, как несколько, а именно произвольное число n (подставьте на его место возраст соседского кота), сигналов поступают на вход круглого чёрного ящика. Там сигналы складываются (знак суммы) и сравниваются с пороговым значением. Если порог преодолён, нейрон выдает на выходе единицу. Иначе — ноль.

Функция f, имеющая форму ступеньки и превращающая входной сигнал в выходной (рис. 2.4), называется функцией активации. Само слово «функция» здесь употребляется в непривычном для многих значении. Обычно функция какого-то объекта — это его способности или предназначение. Например, функция паяльника — нанесение расплавленного припоя в место контакта деталей. В особых случаях — терморектальный криптоанализ. Но в нашем контексте функция — это математическая операция, превращающая одно число в другое (одно числовое множество в другое).

Рис. 2.4. Функция активации, то есть зависимость исходящего сигнала (вертикальная ось) от суммы входящих (горизонтальная ось)

Простейший вид функции активации — ступенька. Если число на входе меньше порогового значения U, то функция превратит это число в ноль. Если больше порога, то в единицу. Так вся бесконечная числовая ось отображается в две точки: ноль или один. Удобно, не правда ли? Удобно, но возникает несколько вопросов.

Почему ноль — понятно. Но вот почему именно единица? Почему не корень из двух, почему не минус сто, почему не потенциал ионизации атома водорода? Да потому что сравнивать не с чем. Все нейроны одинаковые. Эталон сигнала мы выбираем сами. Так что мешает положить максимально возможный сигнал равным единице? Ничего не мешает. Вот мы и кладём. Чтобы считать было легче.

А почему, либо ноль, либо единица? А если порог почти-почти преодолён? Или сумма входных сигналов застыла прямо на пороге? Направление вашей мысли понравилось бы любому специалисту по нейронным сетям. Чем дальше в лес, тем более хитрые зависимости выходного сигнала от входного придумывали учёные. Вместо ступеньки теперь часто рисуют «сигмоиду» — такую гладенькую возрастающую выпуклую кривую (рис. 2.5), прижимающуюся к единице по мере возрастания входного сигнала. То есть нейрон как бы верещит, но не громко.