Добрый вечер, двач. Сегодня мы поговорим о такой интересной теме, как искусственные нейронные сети. Да-да, тема хайповая, все дела. Давайте разберемся, что к чему и зачем, а заодно поймем, почему нейронки пытаются запихнуть буквально везде лично я этот момент так и не понял.Вообще, пока что выделяют три поколения нейронных сетей, где наиболее популярное на сегодня -- второе. Также существует такая специфическая вещь, как иерархическая темпоральная память, о ней даже будет пара слов в конце. Но давайте обо всем по порядку.Итак, с чего же все началось? А началось все с публикации МакКаллока и Питца [ https://link.springer.com/article/10.1007/BF02478259 ] кто найдет в публикации ошибку в первых 4 предложениях после абстракта -- тот молодец (но на тот момент ошибкой не было, я полагаю). Если совсем грубо, то в данной статье были высказаны две довольно важные мыслишки:1) Нейроны работают принципу все-или-ничего, то есть, используют пороговую функцию активации (о функциях активации сказано ниже)2) Сети таких нейронов вполне себе способны аппроксимировать логические функции.Ну, теоретическая возможность выражения в терминах нейронных сетей логических функций, конечно, дело хорошее, но как же это сделать на практике? Ответ на это был дан чуть позже, на основе исследований такого замечательного человека, как Дональд Хэбб. Он совершил достаточно интересное наблюдение: "When an axon of cell A is near enough to excite a cell B and repeatedly or persistently takes part in firing it, some growth process or metabolic change takes place in one or both cells such that A's efficiency, as one of the cells firing B, is increased"или, чуть короче и понятнее: "cells that fire together wire together", что в переводе означает примерно следующее: чем чаще два нейрона одновременно становятся активными, тем сильнее между ними синаптическая связь. Следует, однако, заметить, что мало близкого расположения аксона, для образования полноценной синаптической связи должен произойти еще ряд событий. На основе данного наблюдения было разработано Дельта-правило Видроу-Хоффа. И вроде бы все нормально шло, разрабатывали всякие Розенблатты свои перцептроны, но вдруг появился Марвин Минский и начал затирать про ограниченность нейронных сетей, а именно, указал на тот факт, что нейронки того времени были неспособны решить простейшую логическую задачку под названием XOR а значит, не были способны адекватно решать задачи с линейно неразделимыми классами элементов, хотя на самом деле двухслойному перцептрону Розенблатта это вполне себе по силам, если не путать с однослойным перцептроном. Вот подобная критика нейронок и спровоцировала первую "зиму" нейросетей -- падение интереса в академических кругах и финансирования.Однако затем был изобретен метод обратного распространения ошибки чем-то напоминающий обратное распространение импульса от сомы нейрона вниз по дендритному дереву. К нейроночкам снова начал расти интерес. На самом деле, здесь уже можно (и даже нужно) говорить о втором поколении нейросетей, поскольку для применения обратного распространения функция активации должна быть всюду дифференцируемой. Настало время поговорить про функции активации. Итак, что же представляет из себя стандартный нейрон сеток второго и третьего поколений? Взвешенный сумматор, т.е. такую штуку, которая берет выходное значение предыдущего нейрона, умножает его на силу их синаптической связи и аккумулирует у себя где-нибудь. Делает так для всех входных нейронов, затем пропускает получившуюся сумму через функцию активации и получает свое собственное значение активации. Так вот, в первом поколении была только одна функция активации -- пороговая. Т.е., если сумма всех помноженных на нужные веса синапсов входных значений превысила некоторый порог, то нейрон отдает вышестоящим нейронам единичку, иначе -- нихера. Хорошо, но как же применяется обратное распространение ошибки? О какой ошибке идет речь? А вот о какой. Возьмем обычную такую многослойную полносвязную сеть, запилим ей на последнем слое n нейронов, где n -- размерность выходного вектора, который мы взялись, на свою голову, предсказывать. Подадим сетке на вход нужные значения, получим на выходе вектор размерностью n с ответом сети (вектор O). Затем возьмем вектор, который мы ХОТЕЛИ БЫ увидеть в ответ на поданные данные (вектор T). А теперь пройдемся по всем позициям от 1 до n, суммируя квадраты разницы между элементами по соответствующим индексам [(O_1 - T_1)^2 + ... + (O_n - T_n) ^ 2], а затем просто разделим на два. Вот мы и получили меру ошибочности ответа нашей сети. И вот эту уже меру мы можем обратно по сети распространять. Тут уже найдете сами, чай не маленькие. После распространения всех значений ошибок по всем нейронам сети нам остается применить стохастический градиентный спуск с нужными параметрами вроде скорости обучения -- и все, шаг обучения закончен, можно приступать к следующему. Как можно видеть, ничего сложного или сверхъестественного в этом процессе нет, простые рутинные расчеты которые мне пиздец как лень приводить, поэтому ограничусь только упоминаниями названий нужных алгоритмов.Теперь стоит упомянуть тот факт, что существуют как сети прямого распространения, так и сети с обратными связями. Собственно, перцептроны -- эталонный пример сетей прямого распространения, прямиком из парижской палаты мер и весов. Сети с обратными связями еще называются рекуррентными (recurrent). Мне дико лень приводить такие никому не всравшиеся вещи, как сети Хопфилда, поэтому я лучше сразу перескочу к Long Short-Term Memory -- LSTM [ https://www.bioinf.jku.at/publications/older/2604.pdf ]. Шикарная вещь. Для многих задач нейронных сетей их раньше хватало с головой (да и сейчас частенько можно ими и ограничиться). Где-то слышал вскукареки про возможность реализации LSTM-ками требующих полноты по Тьюрингу алгоритмов, но что-то как-то я сильно в этом сомневаюсь, т.к. объем доступной LSTM памяти пиздецки ограничен. Вот с LSTM и ей подобными рекуррентными сетями стало лучше видно на практике, что нейронные сети подвержены таким нехорошим вещам, как взрыв или затухание градиентов.Для борьбы с этим явлением, а также с явлением чрезмерного подстраивания под изученные образцы с неспособностью к адекватной работе в реальности, т.е. переобучением, были созданы всяческие штуки для регуляризации.К примеру, штраф на силу синаптической связи был бы такой же штраф, но за силу родственной связи в некоторых заведениях..., или dropout (когда с определенной вероятностью выходной сигнал нейрона вне зависимости от входа равен 0).Множество таких методов существует, и каждый чем-нибудь да помогает, если не переборщить.Но, вероятно, следует пояснить разницу между сетью прямого распространения и рекуррентной. Сеть прямого распространения -- это как математическая функция, ты ей X, она тебе некоторый Y, не зависящий от предыдущего поданного сетке значения. А вот рекуррентная сеть уже полезна для обработки имеющих какую-то внутреннюю связь последовательностей. Внимательный анон мог к этому моменту понять, что текст является крайне годным примером такой последовательности. А вот помешаный на деньгах анон мог подумать о предсказании финансовых котировок. Да, предпринимались и предпринимаются попытки делать обе эти вещи. Вообще, область машинного обучения, связанная и текстом, называется NLP (Natural Lanugage Processing, в переводе -- обработка естественного языка). Кстати, обработка естественного языка вполне себе может помочь в предсказании рыночных котировок, поскольку дает нейронке возможность оценивать эту вашу политоту.Нельзя начать пояснять за нейронки, ни разу не упомянув сверточные сети. Все успехи нейронок с обработкой изображений или видео (а зачастую и текста) так или иначе связаны со сверточными сетями но, возможно, в дальнейшем будут уже связаны с капсульными сетями. Как они работают -- прошу погуглить самостоятельно, ничего сложного в них нет, это просто неполносвязные сети с общими синаптическими весами.Но ведь видео -- это последовательность кадров, спросит анон, как же сеть прямого распространения может обрабатывать видео, если ничего не помнит о предыдущем входе? А вот тут, товарищи, в дело вступает комбинация из CNN (Convolutional Neural Network) и RNN (Recurrent Neural Network).
Одним из главных свойств нейронок второго поколения является адовая комбинируемость. Можно накласть LSTM поверх LSTM и приправить это все дело полносвязной сеткой для изменения размерности выходного вектора! А перед LSTM вставить слоев 10 сверток с пулингом (pooling)! Словом, простор для творчества. К сожалению, нашлось много желающих воспользоватья этим положением, в связи с чем на arxiv.org на котором, между прочим, полно весьма годных статей, необходимых к прочтению всем заинтересованным можно наблюдать тонны papers с откровенной лажей в виде добавления к сети еще одного скрытого слоя для увеличения чего надо еще на 1e-99 %. Ах да, автоэнкодеры! Существует целый класс сетей, предназначенных для -- вы не поверите -- выдачи вам того, что вы дали на вход. Казалось бы, зачем? Но тут есть подвох. Вот возьмем полносвязную сеть прямого распространения. Пусть входной вектор будет иметь размерность 64, соответственно, в последнем слое сети для получения вектора той же размерности будет 64 нейрона. Теперь я опишу архитектуру сетки:(64 нейрона) -> (32 нейрона) -> (16 нейронов) -> (8 нейронов) -> (4 нейрона) -> (8 нейронов) -> (16 нейронов) -> (32 нейрона) -> (64 нейрона)Так вот, что нам мешает в случае хорошо восстанавливающей исходный сигнал сетки взять результат работы слоя из 4 нейронов и отправить его вместо изначального вектора? Сжатие получается порядка 16x. Неплохо, правда?Такое вот промежуточное представление содержит в себе основные, наиболее важные черты входного сигнала. Стоит отметить, что для качественного обучения автоэнкодера нужно запастись большим объемом данных, набором подходящих для задачи функций подсчета ошибки и... терпением, потому что обучение -- процесс небыстрый, особенно если у вас нет в запасе кластера с кучей TPU. Кстати, функция вычисления ошибки сети, или функция потерь (loss function) имеет огромное значение. Если будете изучать вариационные автоэнкодеры -- поймете. Именно эта функция указывает, насколько сильно следует бить сетку за косяки и что мы вообще считаем косяками. Вообще, у автоэнкодеров дохера применений, например, кластеризация. Но тут уж сами, сааамиииии, не ленитесь, блядь да-да, ОП -- хуй и ленивый пидорас.Автоэнкодеры еще бывают denoising, т.е. восстанавливающие. И у меня есть серьезные подозрения, что именно на таких сетках и построены в основном ваши разцензуриватели. Подозрение потому, что я так и не удосужился зайти на нужный реп в гитхабе и почитать про архитектуру используемой сетки. Лень. Но помните -- автоэнкодер частенько вынужден додумывать, поэтому восстановить исходные данные с его помощью не получится!О, а ведь есть еще и GAN-сети! Если коротко, то берутся две сетки -- одна учится наебывать, а другая учится распознавать наебку. В чем состоит наебка? Возьмем классический случай. Закодируем картинку в понятный для нейронки вид. Возьмем рандомный вектор нужной размерности. Подадим его сети, специализирующейся на пиздеже. На выходе она должна выдать тензор (ну или многомерный массив, если совсем грубо) той же размерности, что и у закодированной картинки. Теперь подадим слева выход наебщика, а справа -- реальную картинку. Задача распознающей сетки -- отличить наеб от реальности. Разумеется, мы сообщаем ей, была ли она права (но иногда врем, а то скатится в ебучий солипсизм). И вот, в один прекрасный момент, отвечающая за пиздежь сетка выучивается из рандомного говна давать нам вполне годные картиночки, похожие на реальные. PROFIT! Так и работает тот самый генератор лиц.В общем, классов архитектур много, больших и маленьких. Кстати, при помощи нейронок вполне себе можно находить вирусню в бинарниках, у невидии было подобное исследование (гуглите MalConv).У нейронок второго поколения до хе ра применений, от машинного перевода с одного языка на другой до управления автомобилем. Кстати, а вы знали, что, капчуя, вы размечаете для гугла датасеты, на основе которых учатся в том числе и беспилотные автомобили? Коротко о том, как эксплуатировать человеческий труд безо всякого согласия, лол.Кстати, вот еще интересная штукенция, эдакая попытка добавить в сети второго поколения аналог STDP [ https://arxiv.org/abs/1804.02464 ].Еще оооочень советую рыть в сторону обучения с подкреплением. Вы просто задаете правило, согласно которому на каждое действие нейронка получает определенное вознаграждение или наказание и пускаете сетку в окружение, чтобы она училась максимизировать вознаграждение. А как иначе? Алсо, не могу найти статейку, в которой описывался алгоритм обучения с подкреплением с несколькими выходами, нашедшему -- ноль нефти, лол. Там еще на примере сделанного в юнити шутана все было.Почти забыл упомянуть сети с памятью. Почитайте на досуге про дифференцируемые нейрокомпьютеры, весьма и весьма полезная штука, если найти правильное применение. Обучать, правда, пиздос трудно. Но у меня такая сетка в шахматы худо-бедно с подкреплением играть научилась как-то раз.Ну хорошо, крааааааатенький обзор на сетки второго поколения я дал. Теперь стоит рассказать о том, на чем их херачить и что для этого предварительно нужно изучить.Из теории:советовал раньше почитать Хайкина, но тут вышла книжка про deep learning в синей обложке, которая мне показалась весьма годной, поэтому все же советую в первую очередь её (а вот и ссылочка)[ https://www.litres.ru/aaron-kurvill/glubokoe-obuchenie-28259806/ ].Из инструментов -- в первую очередь выучить питон. Берете Лутца, читаете его "Изучая Python", готово.Затем идете качать TensorFlow / Keras / Pytorch. Новичку лучше всего зайдет Keras, дальше можно уйти в TensorFlow, но я бы посоветовал использовать PyTorch.И, собственно, практикуйтесь. Берите задачки с Kaggle, пытайтесь их решить нейронками, осознавайте, что одними нейронками сыт не будешь, изучайте нормальные методы... может, и до градиентного бустинга докатитесьАлсо, советую пытаться реализовывать описываемые в статьях архитектуры. И статьи почитаете, и понимание углубите, и опыта наберетесь. Ну и заодно проверите, а не пиздит ли автор.Еще почитайте про tSNE, крайне годная штука, может пригодиться. Это, как и многие другие полезные штуки, можно найти в scikit-learn. Для графиков используйте MatPlotLib.
А теперь -- самое вкусное! Сети третьего поколения!Итак, вначале была публикация, и публикация называлась "A quantitative description of membrane current and its application to conduction and excitation in nerve" [ https://physoc.onlinelibrary.wiley.com/doi/abs/10.1113/jphysiol.1952.sp004764 ].В ней примечательно то, что получившаяся модель (называемая, по фамилиями авторов, моделью Ходжкина-Хаксли, Hodgkin-Huxley model) очень точно описывает поведение мембраны биологического нейрона, а точнее, то, каким образом генерируются спайки.В общем, шикарная вещь. Но это далеко не первая попытка описать поведение мембраны нейрона, вроде, некто Lapicque пилил первую в своем роде integrate-and-fire модель. Кстати, честь открытия одной из самых дешевых вычислительно и одновременно реалистичных моделей точечного импульсного нейрона принадлежит Ижикевичу [ http://www.izhikevich.org/publications/spikes.pdf ]. У него вообще полно интересностей на сайте [ http://www.izhikevich.org/ ].Но ведь сети на то и сети, чтобы между элементами были связи, верно? Какой бы реалистичной ни была модель, ее ценность начинает резко стремиться к нулю в отсутствие адекватных моделей для синаптических связей. И такие модели существуют.Например, BCM. Но на сегодняшний день наиболее популярной моделью изменения силы синаптических связей является STDP с кучей всяческих модификаций вроде tripletSTDP, vSTDP и тд. Бывает даже анти-хеббовское STDP (как я помню, вроде, для синапсов от тормозящих нейронов применяется). Да, кстати, если в сетях второго поколения у любого нейрона могли быть на выходе синапсы как с положительными, так и отрицательными весами, то здесь либо нейрон создает исключительно либо тормозящие, либо активирующие связи. Так-то!Казалось бы, живи да радуйся! Вон, обучение с подкреплением даже завезли [ https://www.izhikevich.org/publications/dastdp.htm , https://florian.io/papers/2005_Florian_RL_for_spiking_NNs.pdf ]. Но вот проблема. У реальных-то нейронов есть дендриты и аксоны! Дендриты долго считали простыми интеграторами сигнала, мол, единственное, что от них зависит -- это насколько сильный сигнал и насколько быстро придет в сому. Даже теорию кабелей выдумали для более детального моделирования. Но вот незадача -- дендриты-то тоже активные [ https://www.ncbi.nlm.nih.gov/pubmed/12740112 ]! И это их свойство вполне себе полезно, повышает вычислительную мощность одного нейрона [ https://www.sciencedirect.com/science/article/pii/S0896627301002525 ].Даже была статейка, в которой сравнивали пирамидальный нейрон с двухслойной сеткой второго поколения [ https://www.sciencedirect.com/science/article/pii/S0896627303001491 ].Но реальные нейроны намного, намного сложнее и мощнее, конечно же. Кстати, надо прояснить, как происходит передача сигнала об активации от пресинаптического нейрона к постсинаптическому.От сомы активировавшегося нейрона (а точнее, от аксонного холмика, где самый низкий порог активации во всей соме, насколько я помню) вдоль по аксону идет импульс, который доходит до терминалей аксона. В терминалях происходит хитрый процесс, вследствие которого в синаптическую щель из специальных везикул дозами выливается нейромедиатор, молекулы которого, как правило, захватываются лиганд-активируемыми ионными каналами, которые, в свою очередь, начинают избирательно пропускать ионы, благодаря чему мембранный потенциал изменяется. Понятное дело, что мгновенно изменение мембранного потенциала не происходит. Существуют даже учитывающие это модели синапсов но чет мне их маловато в плане реалистичности.Очевидно, что запас нейромедиатора в терминали ограничен и требует постоянного пополнения, поэтому информация об активации сомы не всегда может быть передана. Эта проблема, кстати, как я понял, обходится мозгом путем излишнести нейронов.Кстати, синапсы имеют обыкновение кластеризовываться на дендритах, они могут не быть раскиданы равномерно (а могут и быть, и такое встречается, да).Дендриты мало того, что активные, так еще и снабжены механизмом, обеспечивающим некоторое подобие One-Shot Learning-а [ https://physoc.onlinelibrary.wiley.com/doi/full/10.1113/jphysiol.2004.072678 ]. Это ведь далеко не все, что мы знаем.Ой, увлекся. Надо бы вернуться к сетям третьего поколения. Самый актуальный подход к моделированию дендритов -- это разделение дендритного дерева на небольшие сегменты, оснащеные поведением обыкновенного точечного импульсного нейрона. Такие модели называются многокомпонентными (compartmental model).Существует целый класс компьютеров, созданных исключительно для моделирования импульсных сетей.Вообще, IBM truenorth создавался исключительно для моделирования точечных импульсных нейронок. Жрет, кстати, очень мало, а работает достаточно шустро. Проект spinnaker выглядит интересным. Вот в этом роде.Но, к сожалению, я крайне редко имею удовольствие наблюдать публикации, в которых нормально рассматривалась бы тема синаптогенеза. Это же какая пушка! Нейрон не просто адаптирует веса синапсов, которые могут и не выстрелить, а создает новые/уничтожает старые связи. Кстати, наиболее интенсивно этот процесс происходит в детстве, а в определенном возрасте случается жесткий прунинг ненужных синапсов, что, как я понял, увеличивает стабильность сети, отсекая лишние способы обработки информации. Если заинтересовала эта тема, то можно почитать fundamental neuroscience. Годная книжка. Советую не поскупиться на 4-е издание.И очень рекоммендую почитать про астроциты. Видел кучу статей, в которых говорилось о том, что эти ребята могут участвовать в вычислениях наряду с нейронами. Мутная пока что тема, но нельзя упускать этот момент из виду.
Ну и пара слов про HTM. В самой модели иерархической темпоральной памяти я уже как-то успел разочароваться. Да, неплохо ищет аномалии. Да, интересная. Но далеко не настолько сильно следует нейрофизиологии, насколько это заявлено авторами. Да и применений маловато как-то. Собственно, ссылка на whitepaper [ https://numenta.com/neuroscience-research/research-publications/papers/hierarchical-temporal-memory-white-paper/ ].Что из себя представляет? Попытку запилить модель работы неокортекса. Есть нейроны, есть дендритные сегменты, синапсы, синапсы на лету создаются и уничтожаются. Синапсы могут быть потенциальными и полноценными. Информация всегда представлена в распределенном виде, сеть устойчива к помехам (относительно). Из плюсов:- Новизна- Реалистичнее сеток второго поколения- Неплохо детектит аномалииИз минусов:- Жрет память как не в себя- Тормозит- Точность не шибко высокая- Нет реальных примененийВ общем, решай сам, анон, тратить ли на HTM свое время. А у меня на этом пока все, еще побампаю и спать.
>>191691676а по каким сеткам? Второго поколения или импульсным? Если второго, то несложно, запили какой-нибудь детектор объектов на видяшке и не парься. Ну, можешь еще попробовать GAN замутить текстовый, вроде бы актуально сейчас, видел недавно пару статеек на эту тему.
>>191691847Все что ты мне сейчас сказал для меня чужой язык. Я сейчас только знаю, что буду сверточные сети юзать. А распознавать мне нужно будет изображения связанные уже с моей специальностью.
>>191692390На начальном уровне да, уже че то обсуждали с научруком за библиотеки к нему.Я на самом деле и выбрал тему связанную с нейронками, что бы начать вкатываться в них, ибо диплом писать нужно будет точно. А без доп. мотивации тяжело. Так что схороню все что ты написал, может далее поможет.
>>191691390> В терминалях происходит хитрый процесс, вследствие которого в синаптическую щель из специальных везикул дозами выливается нейромедиатор, молекулы которого, как правило, захватываются лиганд-активируемыми ионными каналами, которые, в свою очередь, начинают избирательно пропускать ионы, благодаря чему мембранный потенциал изменяется.Ты рассматриваешь только ионотропные рецепторы, совершенно забывая о наличии метаботропных. Тот же нейромедиатор может связываться с рецептором, а потом уже изменять метаболический статус что приводит к открытию ионных каналов. Или не приводит, а сказывается, например, непосредственно на экспрессии тех или иных генов в клетке мишени. Упрощая механизм взаимодействия трансмиттера до уровня "везикула -> синапс -> ионный канал" ты игнорируешь целые пласты сопряженного со вторичными мессенджерами сингналинга, G-белки, каскадное фосфорилирование, роль цАМФ и т. д. Собственно, за это всегда не любил программистов/специалистов по мат. моделированию. Не осознавая всей сложности биологических систем делать громкие заявления о том, что мы, мол де, что-то там смоделировали, приблизились к пониманию фундаментальных процессов и т. д.
>>191692975Так я, во-первых, не заявляю, что мы хоть как-то приблизились к пониманию того, что реально происходит -- наоборот, мы ну очень от этого понимания далеки, и я задолбался объяснять манянейронщикам, почему современные нейронки нихера не реалистичные. Во-вторых, как можно было заметить, я совсем кратко пояснял. Ну и в-третьих, спасибо за дополнение.
>>191691372>Берете Лутца, читаете его "Изучая Python", готово.Так значит, ПРОСТО берем, иизучаем питон - ГОТОВО.Ахуеть блять, а 5-10 лет на это откуда высрать? Может время остановить?
>>191693235хз, книжка легкая, питон -- язык несложный, за месяц можно освоить для средних задач, я считаю. Только не надо делать эту книгу единственным источником информации о питоне -- и все будет хорошо
>>191693132А в-четвертых -- зачем ты вообще этот тред создал, если не секрет? Мне лично было интересно почитать, пусть большая часть текста была малопонятна в виду перекладывания близких мне биологических концепций на язык программиста.Ты действительно думаешь, что /b/ -- хорошее место для выкладывания подобных текстов, что здесь имеется достаточно заинтересованная аудитория и все такое? Я мог бы долго разглагольствовать тут, например, о любимой эпигенетике или той же нейробиологии, да даже в целом, о последних трендах в тех же биотехнологиях и т. д. Но тут у аудитории немного другие интересы, ты не находишь? Да и какая цель может быть в подобном?
>>191693480Просто убить время. А почему бы и нет? Настроение такое. Наличие аудитории не критично, тащемта. Алсо, подкинь годной литры, чтобы поглубже изучить предметную область? А то интересно пиздос, вот время появилось, а малая глубина знаний подбешивает.
>>191691359 (OP)>лично я этот момент так и не понялэто же лазер 21 века, лол. Solution lookin for a problem, как говориццо. Просто хайп и тупизм журналошлюх, которые тупо скипают подробности и подводные камни в совокупности с действительно широким потенциальным применением сабжа
>>191693468А что, программирование должно быть, по-твоему, сложным? Я должен был пыхтеть 5 лет, чтобы освоить питон на ультравысоком уровне и узнать фичи, которые мне никогда не понадобятся?>>191693692Не вики, а вот этого вот https://www.ncbi.nlm.nih.gov/
>>191693770А ты собрался погромировать на передовой науки(если это можно так назвать) с помощью hello world?
>>191693480>Но тут у аудитории немного другие интересы, ты не находишь?мне вот норм сам создавал тред про полупроводники как-то
>>191693649>Алсо, подкинь годной литрыДля меня нейробиология -- область интересов, а не основная специальность. С точки зрения учебников, я начинал с "Principles of Neural Science" Кендэла, а потом уже просто по статьям, на фоне присутствия базы по биохимии, генетике и всему остальному.>>191693656Смотря что ты понимаешь под евгеникой. Евгеника, как перенос принципов и методов классической селекции на вид homo sapiens -- никак, это просто смешно.Если евгеника, как генотерапия, направленная на использование технологий редактирования генома тем же криспером ради устранения потенциально-негативных мутаций -- хорошо, это, в общем-то, очевидный шаг на пути развития современной медицины. Если евгеника, как принципиальное улучшение человеческой особи на пути, так сказать, к совершенству и добавление новых качеств -- весьма скептически но с большим энтузиазмом и вниманием, если по-секрету между нами, анонами, говоря
>>191693870Лол, ты можешь представить только два состояния: либо полностью изучил, либо никак не изучил. Да и предъявы какие-то туповатые, вроде "ты меньше меня изучал питон, а значит, не умеешь ничего". Странно, не находишь?>>191693900Да что ты привязался к этой викилол, спасибо, что напомнил, у меня ж principles of neural science на очереди стояла, как я про нее забыл?
>>191694260>у меня ж principles of neural science на очереди стояла,Почитай, может быть интересно.Собственно, меня нейробиология более всего всегда привлекала в двух, хм, "философских" аспектах: а) как мое самоощущение, состояние "здесь и сейчас", осознание собственного "я" транслируется на базовый язык биохимии и молбиола, выражается в уровнях экспрессии тех или иных генов, посттрансляционных модификациях участвующих в сигналинге белков, статуса транскрипционных факторов и т. д. Такая сакральная для человечества на протяжении всей его истории штука, как мысль, "Я мыслю, следовательно я существую" (с) и т. д. -- запечатленное на полотне и в красках всех этих бесконечных факторов на уровне протеома, генома, транскриптома, эпигенома. Завораживает, как вид звездного неба вдали от цивилизации. б) как это состояние можно модулировать за счет внешних факторов.Я мало знаком с программированием как таковым, на базовом уровне -- с мат. моделированием, но этого достаточно чтобы понять: сверхсложные многомерные системы, которые меня так восхищают и завораживают при рассмотрении процессов в мозге приматов homo там и рядом не лежали. По крайней мере пока что. Это ничуть не обидно, просто вызывает невольно "пф", хоть я прекрасно осознаю востребованность в чисто-прикладном аспекте всех этих вещей.
>>191694910В последнее время совсем забросил, времени не было даже чтобы поспать нормально. Раньше решал. А сейчас появившееся время буду тратить на лютый дроч нормальной литры по нейробиологии, лул.>>191694891Опять же, нейронки разные бывают. Есть нейронки, в которых есть тупо синапс с определенным весом и относительная частота активации нейрона на данном шаге, а есть проги, в которых и биохимия учитывается. Конечно, на практике применяют что попроще. у самого подгорает, когда называют ЭТО нейронками, это ж просто смесь линала с теорией оптимизации
Разумен ли ты? Если да? То где вычисление протеинов, и строительство вечных капсул? Ведь Смысл жизни, сама жизнь - без смерти.
>>191695317Все это так круто и интересно, но я рос в бедной семье и в школе меня пиздил, так что нюхал клей вместо школы. У меня совсем нет математического образования, я не знаю что такое интеграл, как работают матрицы, да даже алгебру не знаю. Несколько раз пытался начинать что-то читать по нейронкам и постоянно сосал. Рад за тебя, ОП, искренне рад твоей увлеченности, удовольствию от общения с этими технологиями, ну и завидую, конечно.
>>191691359 (OP)Я не читалИскуственным Интеллектом можно считать любое действие электронных вычислительных машин, вот что скажу
Привет. Расскажи, пожалуйста, как предположительно работает searchface? Как им удалось добиться такой точности?>>>191694891>как мое самоощущение, состояние "здесь и сейчас", осознание >собственного "я" транслируется на базовый язык биохимии и >молбиолаК каким выводам ты пришёл в результате своих размышлений?
>>191696042>почему это смешно?В основном из-за малой плодовитости особей, долгого периода созревания и, главное, довольно длительного периода практически полного бездействия естественного отбора в отношении данного вида. Последнее привело к серьезному росту т. н. "генетического груза" (т. е. набора условно-негативных мутаций в популяции), которые а) довольно сложно учитывать исходя из целей селекции (например закрепление и развитие какого-то конкретного признака у потомства особей, без возникновения новых негативных мутаций) б) неоднозначны с т. з. последствий.В общем и целом, если в двух словах: материал тухловат. Без возможности выделять чистые линии, скрещивать с эндемиками/носителями "полезных" мутантных аллелей и т. д. К тому же, сам по себе генетический материал обладает заметной сложностью с т. з. эпигенетической регуляции и "мусорного" генома, роль которого все более и более усложняется после исследований последних лет. У менее сложно организованных в этом плане видов животных проще составлять селекционные стратегии скрещивания и отбраковывать дефектные особи.
>>191691359 (OP)Скажите, пожалуйста, вот для задачи восстановления регрессии применяются методы машинного обучения: полиномиальная регрессия, SVR, случайный лес, градиентный бустинг. Так вот вопрос такой для gradient boosting можно использовать аппаратное ускорение GPU? Или GPU - это только для нейронок?
Анонсы, это можно без матеши и формул осилить? Сложнее логарифмов ничего не знаю, но читал дискретку чисто для себя.
>>191696406Понятное дело, что сначала вполне классическими методами на фотке находят лицо, затем каким-то образом из обрезанной фотки сеткой извлекают вектор, характеризующий основные черты человеческого лица, а затем -- ооочень быстро должны сравнить этот вектор со всеми имеющимися у них векторами в базе. Вероятно, для этих целей делают то же, что делает фейсбук -- ужимают до размера пары int-ов. Но вот прикол -- построение этой базы дело долгое. Поэтому возникает закономерный вопрос -- откуда у них ресурсы и доступ ко всем фоткам того же контакта? Мне кажется, тут обкатывают какую-то правительственную хрень, чтобы любого человека по снимкам с камер автоматически опознавать. Вот какую архитектуру сеток они используют -- мне не очень ясно, но, возможно, за основу взяли разработку того же фейсбука заимстововать -- так заимствовать полностью.>>191696653https://xgboost.readthedocs.io/en/latest/gpu/>>191696871Нет, для НОРМАЛЬНОГО освоения тебе придется выучить матан, линал, теорию оптимизации, мб диффуры это для начала
>>191696811То есть там ускорение на GPU тоже применяется для восстановления регрессии с помощью gradient boosting? >если руки не из жопы и голова не оттуда жеЯ не сам параллелю, я посмотрел в scikit-learn и там написано, что поддерживается только параллельность на CPU. И я спрашиваю тут для ускорения gradient boosting не применяют GPU?
>>191697029>поддерживается толькоЗначит руки из жопы.Или скорее всего - всем похуй и насрать, оплати разработку - все будет.
>>191697029scikit-learn, конечно, хорош, но если нужен градиентный бустинг -- используй что-нибудь другое. Scikit-learn не приспособлен для GPU от слова совсем.
>>191697156>scikit-learn, конечно, хорош>Scikit-learn не приспособлен для GPUЕбать ты политкоректно толерантная феминистка.
>>191697438Хорош тем, что есть туева хуча алгоритмовПлох тем, что нет поддержки GPUТащемта, для подавляющего большинства задач базового уровня хватает.
>>191697106>>191697156Спасибо огромное. А что насчет тензорного процессора TPU из google? На нем тоже можно распараллелить gradient boosting для задачи восстановления регрессии? Или TPU только для нейросетей?
>>191691359 (OP)Пока нет адекватной математики для спайкинг сетей, нового прорыва тут не будет. А ее пока нет и не особо предвидится, насколько я знаю.
>>191696969>затем каким-то образом из обрезанной фотки сеткой извлекают вектор, характеризующий основные черты человеческого лицаВот это самое интересное. Как ты думаешь, эти ребята сами создали эту нейронку или тоже позаимствовали у коллег?
>>191697704Адекватной математики чего конкретно? Обучения с учителем? А ее и не будет, да, ты прав. Тут только с подкреплением. Собственно, я поэтому и не рассчитывал никогда на их применение в МЛ (хотя у меня получилось заставить сеть импульсных нейронов решать МНИСТ исключительно при помощи описанного Ижикевичем алгоритма обучения с подкреплением, но ушло неоправданно много времени). Я видел алгоритмы обучения с учителем для многокомпонентных нейронов. Это какое-то торжество матанодроча над разумом. Если найду ссыль на статью из противоположного лагеря, где изменения в нейроне на уровне мат.модели объясняются за счет в основном локальных факторов с появляющимися время от времени глобальными, скину. >>191697648TPU для нейронок онли, да. Они ж и называются -- Tensor Processing Unit.>>191697658А что, стрелять из пушки по воробьям? Представь, что тебе нужно развернуть какую-то систему, по минимуму использующую мл, основанную на алгоритмах, реализованных в scikit. У тебя есть онли VPS без видяшки. Что делать-то будешь?>>191697747Да взяли у фейсбука наверняка. Зачем самим создавать? В крайнем случае, купили у китайских коллег.
>>191691359 (OP)ОП, ты ещё здесь?Тред не читал, но скоро прочту целиком, поэтому заранее спасибо за всю инфу, а пока есть пара вопросов.В области инс я пока нихуя не знаю, но по касте я математик+программист+аналитик + у нас отдельный предмет в этом семестре по инс и ии. Из-за того, что я не долбоеб и умный, смышлёный парень, мне подвернулась работка от моего товарища разработать инс в мед. целях (клетки разглядывать). То, что я нихуя не знаю и придётся учиться с нуля, они в курсе.Что посоветуешь для более мягкого вхождения и быстрого перехода "к делу"?. Смогу ли в одного справится с такой задачей или по итогу придётся ещё подключать людей? Сколько стоит такая разработка?
>>191698197Ну смотри, для теоретического вката можно почитать "Глубокое обучение", я выше упоминал. Для практического -- берешь в руки Keras, хреначишь распознавалку. Если тебе совсем уж нужно детектить из разряда где на пикче конкретно изображено -- https://pjreddie.com/media/files/papers/yolo.pdf , не знаю, насколько актуально, давно не следил за темой, но используй вот это вот. Я лично более к pytorch привычен, но, опять же, дело привычки, да и для твоего рода задач керас мб лучше подойдет.Алсо, бросай медиков, по опыту скажу -- не платят нихуя, требуют дохуя, ведут себя не очень адекватно. Хотя, смотря какие медики. Если не государственные -- то мб еще можно.
>>191691359 (OP)Этой хуйне где-нибудь вживую учат с нуля? Желательно кабанчиковые курсы, чтобы понимать всю терминологию, но не конкретные реализации.
>>191698853Про ирл не знаю, вкатывался, читая Хайкина и пописывая свой фреймворк нейроночный. А дальше начал читать статьи, ну и вкатился постепенно. Уже писал в самом начале треда -- arxiv.org наше все.>>191698879Не читал, когда вкатывался, не было еще этой книги.
>>191698503>Алсо, бросай медиков>не государственные -- то мб еще можно.Да, это частная конторка, всё схваченоБольшое спасибо. Я всё прочту и потом задам ещё вопросы.
>>191699049Ну хорошо, что конкретно тебя не устроило? Можешь расписать? Потому что иметь пробелы в образовании не очень приятно, знаешь ли.
>>191698080>Да взяли у фейсбука наверняка. Зачем самим создавать? В крайнем случае, купили у китайских коллег.шо-то ты какой-то еблан.Украинец наверное.И фаиндфейс и сёрчфейс - отечественные разработки, там на святом западе вообще этой технологии нет в каком-то массовом применении. Фаиндфейс со своей ёбой брал все награды на выставках-хуиставках. А ты нам тут про какой-то фейсбук затираешь, ту дурак что ли?Теория про "не гражданские обкатывают ко-ко-ко" - хуйня, все уже обкатали и под ноготь загнали создателей фаиндфейса, это какие-то другие специалисты вылезли, может отколовшиеся сотрудники фаиндфейса. Кстати сам фаиндфейс сейчас полная хуета, качество поиска снизилось пиздецки, ощущение, что действительно ушли сотрудники и забрали с собой какие-то технологии, потому и бугурт со стороны ВК(наверное по линии МВД).Почему-то ВК не беспокоит, что фаиндфейс продолжает шуршать ЛИЧНЫМ ДАННЫМ БЕЗ СОГЛАСИЯ бла-бла-бла, а вот как серчфейс вылез - сразу загудели, пидорасы.
>>191698080Да в принципе хоть какой-нибудь обобщенной формы функционала из входа в выход и каких-нибудь способов работы с таким говном. Пока я себе могу представить только какую-то ебанутую вещь с кучей вложенных, сложенных и переложенных целочисленных делений вещественных чисел.
>>191699260Я банально выдвинул предположение о том, как это работает. Знал бы -- дал бы ссылку. Предположил, что может быть основано на том, что делал фейсбук для детекта лиц и связывания с профилями, потому что показалась похожей задача. Оказался не прав, ну что ж, окей, понял, принял. И таки зачем сразу сводить тему к украине?Алсо, скинь пруфцы, плес.>>191699273Объяснения причины своего вывода, конечно же, не будет.>>191699458То есть, ты говоришь про аппаратную оптимизацию? Не про теоретическую базу? Если так, то да, тут пока с этим сложно.
>>191699577Про математическую теоретическую базу.Без нее даже делать стабильные сети мне кажется дохуя сложным, не то что придумывать пороговые функции получше и все такое.
>>191699458>>191699577Что-то я не совсем понял.Это у вас проблемы с импульсами что ли?Вы что - закодить это говно не осиливаете?Нет, не может быть что люди настолько дебилы, скажите что я ошибаюсь.
>>191699786Закодить - как нехуй. Понять как эта гадость будет себя вести при размере больше двух нейронов и при произвольной последовательности входных сигналов - ебаш, получишь нобелевку я думаю.
>>191699577>И таки зачем сразу сводить тему к украине?Потому что ты предположил все что угодно, вплоть до того, что собака накодила, но только не пидорашки поганые, пидорашки только украину захватывают ко-ко-ко.Блять, да, фейсбук, по почте свои наработки прислали, ЗА ПРОСТО ТАК. Они же всегда так делают. Тебе нужны какие-то куски кода, разработки - позвони в фейсбук, они дадут.
>>191691359 (OP)Пиздос, как же парашно написано. Как будто автор тужился высрать из себя шуточки, но получалось высирать только кишку. Харртьфу тебе в ебальник, скот.
>>191699898>Понять как эта гадость будет себя вести при размере больше двух нейронов и при произвольной последовательности входных сигналовТо есть это для вас сложно.Ок, приматы, с вами все ясно.Снова.
>>191699786Ты ой как ошибаешься, закодить как раз-таки вообще не проблема. Чувак имел в виду непредсказуемость этого всего дела.Тащемта, он уже отписался вот здесь >>191699898>>191699788Пруфцы на отечественную разработку, почитать про нее захотелось.>>191699942Я не понимаю смысла в такого рода высказываниях. Во-первых, повторяюсь, я не знал, что это российская разработка. Во-вторых, будь добр воздержаться от политоты. Ну вот пожалуйста. Здесь только этого не хватало.>>191699946И тебе не хворать.>>191700024Ну хорошо, просвети нас, глупеньких, что ты имеешь в виду?
>>191700281>Пруфцы на отечественную разработку, почитать про нее захотелось.Т.е. вместо тебя погуглить findface?Вместо тебя хотя бы на их сайт зайти, посмореть что они сами о себе пишут, где участвуют, какие премии и т.д. получают?И опять же, что ты хочешь почитать, ты думаешь они свои алгоритмы в открытом доступе описывают или что?
>какой-то бессвязный поток баззвордов вперемешку с рандомными фактамиБлеванул с этого обосранного студента.
>>191700536тогда накати нейронку, чтобы вместо тебя искала, а тебе небесный концентрат прямо по биоинтерфейсу через глубоко-анальный возвратно-поступательный передатчик отправляла
>>191700463Да-да, спасибо за логичную и развернутую критику.>>191700595Ну я же просил без политоты и я не хохол, между прочим>>191700609Увы, я обосранный студент и не могу даже загуглить, о чем ты?
>>191700698>и не могу даже загуглитьБольше ничем помочь не могу, все ключи я тебе дал, ты, как студент(обосранный), должен иметь навык самостоятельного поиска и освоения информации.
>>191691359 (OP)ОП, ты, конечно, молодец, но боюсь что для неподготовленного читателя текстик хреновато читаетсяИ да, я так и не понял что конкретно ты имеешь в виду под третьим поколением. Что там по математике то изменится?
>>191700823Бля, это как в дейз есть Вещь_нейм (состояние_вещи), только студент(обосранное), чет проиграл.>>191700463 так до сих пор и не пояснил, что его не устроило, лол>>191700928Во-первых, да, соглашусь, вышло как-то не очень. Просто захотелось поболтать за нейронки, вот и написал, потом понял, что надо было проще.Третье поколение -- импульсные нейронки. Ну вот яркий пример: модель Ходжкина-Хаксли. Нейрон моделируется системой дифференциальных уравнений уже. У нейрона есть некоторое состояние, которое не стирается полностью на следующем шаге. Как это еще называется, нейрон интегрирует входные сигналы.
>>191691359 (OP)И вообще, ОП. Ты хорошо разбираешься в спайковых сетях?Я б поспрашивал некоторые вещи, ибо сам начал ими интересоваться
>>191691359 (OP)Что по математическому бекграунду стоящему именно за современным глубоким обучением и rl почитать?
Может быть, слышал про вот этот пакет - https://www.neuron.yale.edu/neuron/?Модель hodgkin-huxley, кстати, там есть.Но вот уёбищный язык hoc отбивает почти всё желание ей пользоваться.
Почему все носятся с дипбрейном: мам оно само научилось в го и дотку играть!!1 Это же наебалово, там внутри алгоритмов какие-то с небо свалившиеся видимо преобученные модели и оценки.
>>191701213Статейки по ним пилю, спрашивай>>191701336Лол, пишу свой пакет, потому что нужна большая детальность с соответствием последним исследованиям до которых я смог дотянуться.>>191701262Для начала, матанчик и линал -- must have. Теория оптимизации. Матстат может пригодиться спокойно. Вот после этого уже можно идти читать про RL. Тут перечислили нужноеhttps://www.reddit.com/r/math/comments/53fumz/mathematics_for_reinforcement_learning/d7v7q4d/
>>191701086>openwormЯ мало знаю о самом проекте, то есть не слежу за деталями. Но там для нейронов используется модель Ходжкина-Хаксли, а значит, с большой вероятностью, та же электрохимия на основе ионных каналов хотя, чтобы посмотреть детали можно погуглить. Там много модификаций наплодили, насколько мне известноЧто касается самой идеи мат. моделирования полноценных организмов -- все зависит от уровня абстракции. Если они очень-очень упростят всякого рода биохимию и будут рассматривать только клетки и их взаимодействие между собой в некой единой системе -- вполне возможно. Если пойдут на несколько уровней них, до белков, белковых комплексов, метаболической системы каждой клетки и т. д. -- это в принципе невозможно. Даже на полноценное моделирование взаимодействия нескольких отдельных белков с каталитической активностью имеются определенные (непреодолимые) на сегодняшний день ограничения, не то что целого комплекса регуляторных сетей на их основе. А в одной единственной клетке может содержаться 2-3 тысячи этих самых белков.
>>191701684Про central pattern generator в курсе? Пробовал ли зафигачить ЦПГ на основе спайковых сетей?
>>191701684Ну это какой-то стандартный набор первокура, я скорее спрашивал что-то вроде math heavy книжек по rl и диплернинху которые кратко и строго излагают основные принципы именно этих областей от которых можно уже отталкиваться и дальше уже читать статейки.
>>191701915Зафигачить не пробовал но теперь попробую. Вот это https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4963406/ выглядит прикольно>>191701917Опять же, "Глубокое обучение"ну и этоhttps://www.amazon.com/Practical-Reinforcement-Learning-Maxim-Lapan/dp/1788834240>>191702234> И нахуя это тут?Чтобы ты спросил, да-да
>>191702369Ок, нахуй средний слой нейронов в сетке?>>191702354Ну так то да, вот только ты её с прочими конями мешаешь.
>>191702369ОП, а с тобой как-нибудь можно будет ещё пообщаться? Мне явно не хватает опыта в этой теме, нужны более сведущие в ней люди.Какой-нибудь вк, или фб, или телеграм.А пока - ещё вопрос по точности симуляции.>Лол, пишу свой пакет, потому что нужна большая детальность с соответствием последним исследованиям до которых я смог дотянуться.Вот тут ты говоришь, что не хватает детальности. Ты про какие именно детали оворишь? Про особенности взаимодействия рецепторов в синапсе? Или про какие-то другие элементы, которые влияют на поляризуемость, проводимость, возбудимость, etc.?
>>191702452>прочими конями мешаешьЕдинороги, друг мой.Мне очень нравятся единороги. Очень-очень. Но, честно, я бы предпочел, если бы ты спросил нечто более...Хм... Биологичное.
>>191702580>Мне очень нравятся единороги. Очень-очень. Так бы и выебал? Но ты в курсе, что они к целочкам тяночкам приходят, а к тебе нет?
Ладно, я спать, сегодня опять на работу пиздосanonymousprogrammer@yandex.ru , пишите, если есть вопросы / считаете, что ОП хуй / нехер делать>>191702452Так уж и быть, отвечу. Предположим, что имеется в виду многослойная сетка прямого распространения. Тогда все просто. Без этого слоя стека не сможет разносить по категориям объекты из линейно неразделимых классов. Очевидно же, еще у Хайкина было.>>191702558Уже написал, куда что кого. По точности симуляции -- мне нужно вплоть до моделирования всасывания рандомными мимоастроцитами излишков ионов калия, типа такого правда, пока еще хз, как моделировать астроциты, нашел несколько матмоделей, но они какие-то корявые и неточные, что-то подсказывает, что далеко в направлении астроцитов в ближайший год я точно не уйду. >>191702812Блять, уже отойти на кухню нельзя в своем-же доме.
>>191702950Нихуя не пони. Ты нормально отвечай. 5к нейронов на входе, 100 на выходе. Нахуй средний слой и сколько их там должно быть? Сетка которая ошибку в веса перегоняет, по книжке Создаем нейронную сеть.pdf
>>191703052Тебе же ответили уже. С двумя слоями ты только линейными функциями можешь аппроксимировать.
>>191703122>>191703125А теперь подмылись и объяснили без заумных слов тому, кто нихуя не знает про эти сетки и только чуть почитал на днях.
>>191703207>ой бля а без матеши можно не хочу гуглить книжки что вы сказали>сетка ошибку в веса перегоняетНейросети -- это не твоё, забей.
>>191703207Чем больше слоёв тем больше нелинейности. Нелинейность модели нужна потому что большинство сложных вещей для которых тебе вообще нужны нейросети - нелинейные, с линейными и так всё понятно.
>>191703536Так сколько нейронов в среднем слое? И чего тогда не сделать 2 таких слоя?блядская обезьяна не шатай
>>191703536На самом деле достаточно одного слоя, чтобы аппроксимировать любую функцию.Однако несколько слоёв подряд требуют меньшего количества нейронов чем один слой для той же функции.Лучше 2 понемногу, чем один, где дохера.>>191703629Универсального ответа нет, архитектура зависит от конкретной задачи.Можно и 2, и 3, но есть подводные камни. Читай книжку дальше (хотя хз написано ли там, иначе читай нормальную книжку), про затухающие градиенты и т.п.
>>191703629>Так сколько нейронов в среднем слое?Скоко надо для задачи, больше не имеет смысла, меньше не будет достаточной точности.>И чего тогда не сделать 2 таких слоя?'Можно и два и три, но слишком много всё-таки не так просто. C количеством слоёв другие проблемы есть, самая очевидная из них - растёт сложность, больше параметров больше вычислений.
>>191703207Ну, допустим, ты обучаешь нейронку. Вот, у тебя 5к пикселей в изображении и 5к нейронов на входе. Каждый нейрон воспринимает 1 пиксель. Следующий уровень будет воспринимать 2х2 пикселей, тип, квадратик, и так далее. То есть, будет сохраняться некий общий признак. А последний слой, допустим, будет распознавать уже конкретные типы входных данных, то есть, говорить, что на изображении собака/кошка/etcтак-то, это ахуенно далеко от реальности, но для совсем тупых, наверно, сойдет
>>191703776создаём датасет, где половина картинок "лицо анона", а другая половина - что-то другое@по видеопотоку находим лицо@плюём
>>191703743>На самом деле достаточно одного слоя, чтобы аппроксимировать любую функцию.Ну, только если можно набирать для каждой функции специальные активационные из бесконечномерного пространства всех функций. Для какого-то конкретного фиксированного набора или конечномерного семейства всё-таки нельзя.
>>191703867Ну ты сейчас про свёрточные сети говоришь, а он походу только для полносвязных дошёл.Хотя суть там примерно такая же.
>>191703867>Следующий уровень будет воспринимать 2х2 пикселей, тип, квадратикТам не так в примере. Все 5к идут на каждый нейрон среднего слоя. А они все идут на каждый выходного слоя.В книжке есть график, где типа и 100 хватит, но у них на входе 784 и выход 10. У меня же несколько больше. Тупо делать и смотреть что будет, не лучший вариант.
>>191704019>Тупо делать и смотреть что будет, не лучший варианЛол, тут всё экспериментально проверяется.Ну поставь среднее геометрическое размеров входа и выхода.
>>191704019Если все так, как ты описываешь, у тебя нет никакого среднего слоя, только входной и выходной
>>191704255Это pdf говно лагает пиздец, так что искать нормальную картинку никак, там страница 20 сек грузится. Вот что попалось. 3 слоя. Но все они так слеплены, как говорил выше, все на каждый следующего.
>>191691359 (OP)Спасибо оп, теперь впилю нормальные нейросети в свою поделкуАбу благословил этот пост.
>>191691359 (OP)Если ты такой умный, то почему ты такой нищий ты здесь?А если у тебя есть действительно рабочая версия, то бери и запиливай, хоть из говна и палок, лишь бы тебя власти за жопу не схватьли.
>>191692975А ещё я люто бомблю с тех, кто заявляет, что симуляция выдаёт офигенные результаты, но в лучшем случае у их софта - пара исходников, написанных на коленке через жопу, которые не компилируются без танцев с бубном. В худшем - сырцов для экспериментов вообще не найти.Вот НеСТ - молодцы, выложили образ виртуальной машины, просто скачиваешь к себе, и можешь играть сколько влезет
