Итак, я читал эту статью Сети со стохастической глубиной станут новой нормой и там увидел статью Глубинные сети со стохастической глубиной . Прочитав эту статью, я увидел диаграмму ниже. И сразу же я был вдохновлен на создание собственного Res Net. Однако, поскольку пакетную нормализацию немного сложно реализовать для обратного распространения, я не буду учитывать их в сегодняшней реализации. Но обещаю, скоро их реализовываю! Сетевая архитектура (математическая форма)..

В сегодняшней статье мы реализуем матричный алгоритм обратного распространения с градиентным спуском в Python. Для этой цели мы будем использовать только библиотеку Numpy, чтобы объяснить немного математики, лежащей в основе процесса (в основном, многомерное исчисление). Чтобы лучше закрепить концепцию, мы построим нейронную сеть XOR (сеть, которая учится вести себя как логический вентиль XOR). Рассматривайте этот пост как часть 2 моей серии статей о нейронных сетях, начиная с Как..