Программирование

Ответить в тред Ответить в тред
Check this out!
НЕЙРОНОЧКИ И МАШОБ ТРЕД №38 /ai/ Аноним 25/05/21 Втр 16:02:52 20425221
image 223Кб, 2000x1612
2000x1612
image 96Кб, 1398x1000
1398x1000
image 182Кб, 546x774
546x774
image 225Кб, 1080x1845
1080x1845
Очередной тред про хипстерские технологии, которые не работают

Я ничего не понимаю, что делать?
Без петросянства: смотри программу стэнфорда CS229, CS231n https://see.stanford.edu/Course/CS229 (классика) и http://cs231n.stanford.edu/ (введение в нейроночки) и изучай, если не понятно - смотри курсы prerequisites и изучай их. Как именно ты изучишь конкретные пункты, типа линейной алгебры - дело твое, есть книги, курсы, видосики, ссылки смотри ниже.

Почему такой фокус на нейронки?
Потому что остальные чистят вилкой данные в банках с помощью LGBTboost и им некогда предлагать обновления в шапку

Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus

Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/

Почему python?
Исторически сложилось

Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет

Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python
https://d2l.ai/index.html

В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials

Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.

Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел

Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой

Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся

Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Версии для зумеров (Килхер): https://www.youtube.com/channel/UCZHmQk67mSJgfCCTn7xBfew

Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском

Где посмотреть must read статьи?
https://github.com/ChristosChristofidis/awesome-deep-learning#papers
https://huggingface.co/transformers/index.html
То, что обозревает Килхер тоже зачастую must read

Где ещё можно поговорить про анализ данных?
http://ods.ai/

Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Google Colab дает бесплатно аналог GPU среднего ценового уровня на несколько часов с возможностью продления, при чем этот "средний уровень" постоянно растет. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь

Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом

Кто нибудь использовал машоб для трейдинга?
Никто не использовал, ты первый такое придумал. Готовь камаз для бабла.

Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/

Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.

Предыдущий:
https://2ch.hk/pr/res/1980946.html
Аноним 25/05/21 Втр 17:53:37 20426952
>>2042638 →
>inverse Reinforcement Learning и Imitation Learning это одно и то же или нет сука
Inverse RL это про поиск функции вознаграждения по действиям эксперта. Imitation Learning это поиск стратегии.
Аноним 25/05/21 Втр 18:37:21 20427893
Аноним 25/05/21 Втр 19:09:11 20428414
Аноним 25/05/21 Втр 19:51:03 20428875
>>2042789
Уже года два каждые три месяца пиздарики
Аноним 26/05/21 Срд 04:43:09 20432876
>>2042789
> Пиздарики программистам, ребята
Нет конечно же. Автодополнение формул в екселе это не "пиздарики программистам", а смех на палке.
Аноним 26/05/21 Срд 09:31:04 20433567
Аноним 26/05/21 Срд 13:25:06 20435668
Аноны, серьезный вопрос.
Можно ли хоть как-то вкатиться если я немного туповат?
С логикой я дружу, но вот со всякими матрицами и пятиэтажными формулами совсем плохо.
Есть ли какой-то лайфхак как с этим работать, абстрагируясь от матана?
Аноним 26/05/21 Срд 14:03:03 20435969
>>2043566
Так то для самой базы математика и не нужна. Конечно если ты не собираешься делать свою архитектуру или воспроизводить чужую с нуля либо менять что то в фундаменте. А потом с опытом появится какое никакое понимание и взгянув на эти пятиэтажные формулы можно будет увидеть - ага, эта закорючка тот кусок кода, эта кусок кода из той нейронки, это из той, а что не понятно можно будет отдельно изучить, объема будет значительно меньше.
Аноним 26/05/21 Срд 14:06:27 204360110
>>2043566
Ты должен бизнесу выгоду приносить своими изысканиями, а с формулами или нет - вопрос вторичный.
Аноним 26/05/21 Срд 14:08:30 204360311
>>2043566
Можно, но нахуя? У тебя будет выбор между аналитикой, девопсом и фит-предикт макакой без возможности роста.
26/05/21 Срд 14:22:45 204361612
>>2043596
Спасибо!
Хоть какая-то надежда есть, уже хорошо.
А есть ли какой-то гайд для базового вката, чтобы можно было начать кодить не вдаваясь сильно в архитектуру?

>>2043603
Ну надо мне очень. Зачем и почему долго рассказывать да и не суть важно. Если кратко, то проект в который я влез теперь переобули на нейронные рельсы.
Аноним 26/05/21 Срд 15:21:03 204370913
>>2043616
Что раньше было вместо нейронки?
Аноним 26/05/21 Срд 17:59:42 204401014

>>2042695
Блин. спасибо, анон. А то я уже сидел читал и простейшую вещь вкупить не мог. То ли от того, что я устал и в целом не очень умный, то ли от того, что в имеющихся немногочисленных источниках не очень понятно объясняют.
Аноним 26/05/21 Срд 20:30:15 204423415
Анон, прошу твоей помощи. Есть задача по переработке таблиц в Экселе с данными на таблицу в Экселе с другими данными. Например в таблице значение яблоко менять на апельсин, но вместо яблока может быть "яблоко", "эппл", "плод яблони", "я6лок0". Есть уже таблицы в которых эти строки сопоставлены. С чего можно начать если есть начальные (python tutor сам прорешал на 70%) знания python. Может уже где-то есть такие написаные сети? Или есть место где разбирают такую сеть?
Аноним 26/05/21 Срд 20:35:01 204423716
1618149898387.png 157Кб, 746x629
746x629
>>2044234
регекс загугли, поридж
Аноним 26/05/21 Срд 20:36:42 204423817
>>2044234
>Есть уже таблицы в которых эти строки сопоставлены
Нихуя не понял, чем тебя ВПР не устраивает?
Аноним 26/05/21 Срд 20:37:11 204423918
Ачо не индексируется поток в каталоге?
Аноним 26/05/21 Срд 20:37:51 204424019
>>2043709
ну... были нейронки, белковые.
Аноним 26/05/21 Срд 21:17:11 204427920
>>2044238
Я совсем нюфаня. Что такое ВПР?
Аноним 26/05/21 Срд 21:17:37 204428021
>>2044237
Спасибо, анон. Загуглю
Аноним 26/05/21 Срд 21:21:19 204428222
>>2044279
Если ты про ВПР в excel, то это не подойдёт, потому что бывают значения, которые я ещё не размечал и надо чтобы нейросеть сама делала предположение, а я говорил права она или нет
Аноним 26/05/21 Срд 21:21:36 204428323
>>2044237
Что происходит на пике?
Аноним 26/05/21 Срд 21:39:11 204429924
>>2044282
Для начала ты не сможешь сам говорить напрямую права она или не права. Сделай такую хуйню - собери датасет вида строка (яблохуй) сложный разделитель (<-хуйок->) что это (яблаки, апельсины). А потом прогони циклом регулярочкой в питоне чтобы он брал нужную колонну, генерировал строку где в конце будет написано что это и этим же регулярным выражением отдели до разделителя. Тут короткая строка поэтому смело бери gpt-2 с макс длиной строки около 100 токенов и дефолтной вокабой а дальше по желанию.
Ну или выбери более правильный с точки зрения логики но так же более сложный путь. Но это самый легкий.
мимо-анон-тренирующий-говнонейронку-для-lr
Аноним 26/05/21 Срд 22:51:58 204435025
Анончики, помогите.

Я вообще не местный, нейросети копаю пару недель, и это для меня не основное направление. Но возникла нужда сделать сетку для регрессии 20 входящих значений и 20 выходящих. Примерную архитектуру спер из статьи по аналогичной задачи: двухслойный модуль GRU для учета динамики. Но сеть не сходится.

Точнее, она сходится просто к одинаковым усредненным значениям, будто зависимости там и нет. Но она есть, инфа 100%, я точно знаю. В чем может быть проблема, что надо крутить?
Аноним 27/05/21 Чтв 02:41:31 204450526
Аноним 27/05/21 Чтв 09:21:07 204459927
>>2044350
Поменяй на полносвязную сеть.
Аноним 27/05/21 Чтв 10:15:30 204464128
>>2044599
Но мне нужно учитывать предыдущие данные. Я, конечно, могу добавить скорости в качестве входящих значений, но это точно норм подход?
Аноним 27/05/21 Чтв 10:24:06 204465229
>>2044599
Я нашел статью, в которой описывается решение той же самое задачи, но через другие данные (у них те же входы, но больше выходов). И там описано решение именно через GRU. Я буквально воссоздал параметры сети из статьи. Только вот процесс обучения у них, увы, не описан.
Аноним 27/05/21 Чтв 12:32:39 204487330
>>2043709
Обычная статистика была раньше
Аноним 27/05/21 Чтв 13:58:56 204500531
>>2044641
>>2044652
Тебе точно нужны ВСЕ предыдущие данные или хватит только последних двух-трех шагов?
Аноним 27/05/21 Чтв 14:09:37 204501532
>>2045005
Должно хватить последних шагов.
Аноним 27/05/21 Чтв 14:23:05 204503733
В общем, у меня есть координаты в пространстве объектов, которые движутся взаимосвязанно. Надо по координатам одних объектов вычислить координаты других.
Аноним 27/05/21 Чтв 14:25:15 204504034
Аноним 27/05/21 Чтв 14:34:06 204505835
>>2045040

Дык не получается. Я о том и пишу. Сеть выдает средние координаты по всей выборке.
Аноним 27/05/21 Чтв 19:32:39 204548536
Сап, как сжать модель gpt-2? Хотел в процессе тренировки заменить в скрипте оптимизатор AdamW на MADGRAD так как заебался вручную менять lr во время прогонки по разным датасетам чтобы хоть как то ускорить обучение, а выделенные 16 гигов колаба поводили мне по губе. На удивление этот оптимизатор требует больше видеопамяти. А так как тренировал модель впритык дохуя времени, остается только сжатие. Модель в формате bin но как я понял на формат похуй, весит 1,5гб и содержит 400М параметров. Желательно ссылку на код чтобы ввести расположение модели и нажать кнопку сделай заебсись.
В квантизацию пытался но так и не смог.
Аноним 27/05/21 Чтв 22:55:45 204576337
02.png 56Кб, 1920x1040
1920x1040
03.png 50Кб, 1920x1040
1920x1040
04.png 90Кб, 1920x1040
1920x1040
>>2045037
Блин, почему так сложна? Я думал, что закину данные, и компьютер дальше всё сам посчитает. А тут столько геморроя, оказывается.

Пытаюсь разобраться, в чем проблема. Немного масштабировал входящие данные и выходные данные сократил до одного значения. Получается так себе. Что дальше крутить? Сложна, непонятна.
Аноним 28/05/21 Птн 05:16:02 204605138
>>2045763
Судя по скринам, ты не дообучаешь сеть, увеличить эпохи и докинь пару линейных слоев
Аноним 28/05/21 Птн 10:46:16 204615439
>>2045485
Посмотри в сторону DistilGPT2.
Аноним 28/05/21 Птн 11:23:00 204620240
>>2046154
Едва откопал, как я понял он был какое то время в репе хугфейсов, но в 2020 его от туда выпилили. И там скорее скрипты выполнения а не сжатия модели.
Сейчас копаю во всех направлениях и в каждом втором примере используют структуру для квантизации:
загрузка модели
загрузка вокаба и текста для разбивания его на токены (?)
конверсия модели
трассировка по этим токенам(?)
сохранение модели

Ну и потом, во первых эту модель не дообучить, во вторых ее хуй загрузишь на гп.

Копал в направлении прунинга но там все еще сложнее а примеров и вовсе не нашел.
Аноним 28/05/21 Птн 12:02:16 204625941
pogchamp.jpg 9Кб, 250x318
250x318
>>2045763
>Я думал, что закину данные, и компьютер дальше всё сам посчитает
Добро пожаловать в реальный ML.
Аноним 28/05/21 Птн 12:42:18 204632142
>>2046051
А может, не хватает данных для восстановления зависимости? В более поздних экспериментах у меня многие точки экстремума угадываются, но график все равно сильно отличается.
Аноним 28/05/21 Птн 13:01:31 204634543
>>2045037
> В общем, у меня есть координаты в пространстве объектов, которые движутся взаимосвязанно. Надо по координатам одних объектов вычислить координаты других.
Задача N тел? Для нее есть численные методы решения, например метод Жопеншмульцера Рунге-Кутты, зачем натягивать сову на глобус? Алсо, возрастание ошибки при уменьшении шага интегрирования - известная проблема при численном решении задачи N тел.
Аноним 28/05/21 Птн 13:18:41 204637544
>>2046345
Нет, совсем другая задача. Здесь отсутствует функциональная зависимость, но неплохая корреляция должна быть.
Аноним 28/05/21 Птн 13:32:32 204640145
>>2046345
Как же ты фантазируешь.
Аноним 28/05/21 Птн 14:56:52 204652746
изображение.png 204Кб, 1920x1040
1920x1040
Убрал слой GRU и добавил скорости в качестве входящих параметров. Стало вот так. Это слишком много линейных слоев?
Аноним 28/05/21 Птн 18:29:13 204687247
Есть ли готовые проекты/архитектуры/трансформеры, которые позволяют генерировать вопросы на основе текста без указания правильного ответа?
Т.е. грубо говоря есть предложение и к нему надо задать все возможные вопросы.
Аноним 28/05/21 Птн 18:51:05 204689948
>>2046875
Пиздец, даже тут этот шизобот.
Аноним 28/05/21 Птн 19:32:00 204700449
изображение.png 479Кб, 1920x1040
1920x1040
Раминь. А что почитать по реалтаймовому сглаживанию данных, анончики? По фильтрации тоже можно, но ее все-таки надеюсь вспомнить.
Аноним 28/05/21 Птн 19:37:41 204701450
>>2046259
Пффф. Сколько я там страдал, три дня? И, считай, занырнул в тему три недели назад. Изи вообще. Отделался легким испугом.
Аноним 28/05/21 Птн 19:58:14 204704651
Аноним 28/05/21 Птн 20:09:28 204707552
>>2047046
В основном - масштабированием входящих данных. Основная проблема был с этим.
Аноним 31/05/21 Пнд 02:05:09 205009353
Screenshot from[...].png 100Кб, 1045x661
1045x661
Screenshot from[...].png 30Кб, 534x348
534x348
В scikit когда сохраняю дерево и там почему-то сумма value не равно количество самплов, а в примере с гайда всё сходится. Что тогда это такое value и samples? Я неправильно что-то построил?
Аноним 31/05/21 Пнд 07:41:53 205014654
>>2050093
Разобрался. Это bootstrap параметр по несколько раз один сампл в дерево пропихивает. Отключил и всё как надо стало
Аноним 01/06/21 Втр 05:43:43 205152055
Eviltoys.jpg 624Кб, 1280x1968
1280x1968
Слыхали про очередную победу машобчика? Боевой дрон на нейроночках по собственной инициативе утилизировал каких-то трюкачей на Сосирии.
> По данным издания, Kargu-2 классифицирует объекты на основе машинного обучения для выбора и поражения целей. Решение об атаке целей не требует взаимодействия между оператором и машиной. Также отличительной способностью этого беспилотника является возможность группироваться с другими дронами в "рой" и действовать сообща.
https://ria.ru/20210531/bespilotnik-1735011067.html
Беспилотный Убер вроде тоже пешеходов расплющивал? Но тут совсем пиздец, это же дроны с оружием.
Аноним 01/06/21 Втр 13:42:24 205182956
>>2051520
Будто бы "Черное зеркало" это не документалка, whee~.
Аноним 01/06/21 Втр 16:56:27 205204557
Машаны, что производительней V100 или 3080 для диип ленинга?
Аноним 01/06/21 Втр 22:29:49 205261358
Как называется такая штука когда каждую фичу отдельно оцениваешь разными моделями (у меня линейная регрессия), а потом считаешь корреляцию предиктов каждой модели и актуального класса (бинарный классификатор) и в конце считаешь взвешенное среднее предиктов всех фич, где веса это нормализованные корреляции после чего смотришь больше или меньше это среднее какого-нибудь порога и на основе этого определяешь объект к какому-нибудь классу. Как это называется?
Аноним 02/06/21 Срд 20:51:15 205396859
Аноним 02/06/21 Срд 21:40:17 205403160
>>2053968
И как это решит уже существующие проблемы? Насколько он должен быть большим, чтобы решать проблему отложенной награды?
Аноним 02/06/21 Срд 21:59:38 205406861
>>2054031
Тем, что GPT это по сути world model. Даем изначальное состояние, конечное нужное нам состояние, просим заполнить пропуски. С хорошей моделью никакие награды будут не нужны.
Аноним 02/06/21 Срд 22:32:26 205412762
>>2054068
Эта говнина не то что в роботов, в видеоигровых ботов не влезает. Куда ей там в RL. Какой кейс?
Аноним 02/06/21 Срд 23:15:12 205419463
image 410Кб, 1054x577
1054x577
>>2054127
>в видеоигровых ботов не влезает
Так остальные методы из RL тоже не влезают.
И ты видимо не понял сути. Взяли код рабочего трансформера для текста, изменили пару строк - получили sota.
Аноним 03/06/21 Чтв 14:28:49 205486264
>>2054194
Ну это смотря какая задача RL. Я не думаю, что можно ТЕКСТОВЫЙ трансформер вот так просто взять и использовать в работе манипулятора-сортировщика.
Аноним 03/06/21 Чтв 14:46:46 205490265
>>2054862
А какая разница, что генерировать.
Даешь гпт первое предложение, последнее предложение - она строит осмысленный текст между ними.
Даешь гпт стартовую позицию робота, конечную желаемую позицию робота - она заполняет состояния-действия между ними. Можно даже обусловить её на стартовое состояние и желаемую награду. Если обучена хорошая модель мира, то никаких проблем быть не должно. Правильно состояния-действия-награды кодируй и обучай как в nlp.
Аноним 03/06/21 Чтв 15:17:16 205496066
>>2054902
>хорошая модель мира
шиза
Аноним 03/06/21 Чтв 15:52:50 205503767
Аноним 03/06/21 Чтв 16:56:10 205515968
>>2054960
Речь не про реальный мир, дебик.
Аноним 03/06/21 Чтв 17:44:59 205526469
>>2055159
Двачую. GPT-2/3 отлично отображает мир н-грамм
Аноним 03/06/21 Чтв 17:47:10 205527070
>>2055037
Видео не смотрел, но у нас на одну вакансию джуна десятки, а то и сотни кандидатов (большинство из Практикума, но многие МФТИ/МГУ). Слава богу, что я раньше вкатился.
Аноним 03/06/21 Чтв 18:45:01 205540871
sam.jpg 48Кб, 999x720
999x720
Поясните за голосовых помощников. Вся эта пежня имеет какое-нибудь отношение к трансформерам? Может ли в зерошот/ фьюшотлернинх итп? Что-то ничего не нагуглил.
Аноним 03/06/21 Чтв 19:57:19 205551172
>>2055408
Мне кажется, ччто оно там если и используется, то только в рекогнайзе. Вся механика и действия завязаны на экспертных системах, для стандартизации и единого API взаимодействия с системой. Так было, вроде.
Аноним 04/06/21 Птн 00:36:46 205577873
Аноним 04/06/21 Птн 01:12:24 205579774
>>2055270
сезон, зумер на нерест прёт
Аноним 04/06/21 Птн 04:58:52 205584975
Видали, там чингчонги запилили трансформер на 1.75Т параметров Wudao2. В 10+ раз больше гпт3. Тоже нихуя доступ не дадут, будут этой нейроночкой уйгуров ебать и социальный рейтинг рассчитывать...
https://en.pingwest.com/amp/a/8693
Аноним 04/06/21 Птн 10:49:40 205600276
>>2055270
А что за контора, если не секрет?
Аноним 04/06/21 Птн 12:11:53 205610777
зумер.png 59Кб, 434x327
434x327
Ну что вы готовы дети?!, вкатышы, готовы сосать хуй? Там очередную автоматизацию пилят, причем не абы дядя вася с горы, а аж huggingface. https://huggingface.co/autonlp пока только бета-тест, но это пока. Выглядит все крайне круто, в перспективе это должно быть нечто уровня: загружаешь свои данные, жмешь кнопку "сделать заебись", и все, получаешь на выходе заебись за 10 долларов / задача. Никакие зумера, местами осилившие attention - all you need не нужны.
Аноним 04/06/21 Птн 15:23:21 205641878
image 67Кб, 227x224
227x224
В ШАД-е на заочке учился кто-нибудь? Какие-то отличия от очки, кроме того, что можно не ходить к ним в здание, есть? Может, список курсов ограничен? Или семинаров нет?
Аноним 04/06/21 Птн 19:42:11 205684679
Кто-нибудь может подсказать, в чём может быть проблема?
При токенизации тестового набора и попытке засунуть его в берт-модель, вылезает cuda error device-side assert triggered pytorch
Хотя на cpu всё идёт без ошибок.
Аноним 04/06/21 Птн 19:50:32 205685680
>>2056846
О, такая же хуйня была буквально на днях с гпт-2. Правда там я делал вокаб вручную, затем прошелся с нулевым, 255 токенов сами добавились и была та же хуйня. Потом увеличил вокаб и ошибка прошла. Вполне возможно это от того что вокаб меньше ебедингов либо другие траблы с ним. Если тренируешь с нуля попробуй пересоздать вокаб минимум на пару тысяч токенов и с другими настройками.
хотя на цп не проверял, в теории работать было не должно, но хуй его знает
Аноним 04/06/21 Птн 19:56:24 205686881
>>2056856
Спасибо, буду смотреть.
Аноним 05/06/21 Суб 04:57:15 205755082
>>2056107
Говно. Погромисты все равно нужны будут. А не нужны - так в операторы чпу иди.
Аноним 05/06/21 Суб 06:11:36 205756783
>>2057550
> . Погромисты все равно нужны будут.
Зачем? Уже гпт3 может сносно писать рабочий код. Ты же прекрасно пынямаешь, что в течение 10-15 лет условная гптХ сможет написать в том числе код гптХ+1. Не говоря о любом другом. Их же пиздец на каких здоровых датасетах обучают, commoncrawl это уже по-сути архив интернетов. В ближайшие лет 10 абсолютно точно нейроночки превзойдут во всём не только зумеров.
Аноним 05/06/21 Суб 08:44:48 205759884
>>2057567
Не сможет. Это же языковая модель. Можешь во всех своих предложениях заменить "GPT" на "Марковская цепь". Гугл завтра придумает новую модель, керас в очередной раз изменит синтаксис, а жаваскриптеры сделают новый модный фреймворк, и GPT можно будет выкидывать на помойку, пока людишки не напишут кучу новых примеров.
Аноним 05/06/21 Суб 08:51:36 205760385
>>2057567
Да и сейчас под "сносно писать код" академики имеют ввиду типовые задачи на алгоритмы. Так как все это было в трейне, то это во многом оверфит. Биморф-3.
Аноним 05/06/21 Суб 11:36:21 205774986
>>2057598
> Можешь во всех своих предложениях заменить "GPT" на "Марковская цепь"
Поридж, хоспаде... Надеюсь, что ты как и принято у зумеров, просто не думаешь что пишешь. Как-то не верится, что тут есть настолько отсталые, что считают гпт и марковские цепи сравнимыми вещами
Аноним 05/06/21 Суб 12:08:27 205778987
>>2057749
Все нейросети по сути старое если-то
Аноним 05/06/21 Суб 12:18:00 205780188
>>2057789
И к чему ты это высрал-то? Как можно сравнивать настолько разные хотя бы по масштабу архитектуры, что для этого надо сделать, мозги продать или что?
Аноним 05/06/21 Суб 12:31:14 205780789
>>2057598
>Не сможет. Это же языковая модель.
Сможет именно потому что это языковая модель.
Аноним 05/06/21 Суб 13:02:11 205781990
>>2057749
Только зумеры с порриджем повелись на хайп от Илона Маска и его ОупенЭйАй. Too dangerous to be released.
Аноним 05/06/21 Суб 13:09:16 205782691
>>2057749
GPT-2 и Марковские цепи абсолютно сравнимые вещи. И то, и другое непригодно для практического применения.
Аноним 05/06/21 Суб 13:23:37 205784192
>>2057819
Маск тут вообще не при чем. Трансформеры создал не он, самый крупный трансформер тоже уже не он.
>>2057826
Да-да, ты главное таблетки пить не забывай, хоть иногда, свидетель экспертных систем...
Аноним 05/06/21 Суб 13:53:32 205786793
>>2057841
Экспертную систему я на акинаторе могу увидеть, а нейросетей нигде нет.
Аноним 05/06/21 Суб 14:27:06 205790394
161571345925625[...].webm 945Кб, 256x256, 00:00:30
256x256
>>2057867
>нейросетей нигде нет
Вот же, это ли не успех?
Аноним 05/06/21 Суб 14:33:33 205791095
>>2057841
Какой зумерский хлебушек в голове нужно иметь, чтобы считать, что 100 матриц со статистикой по токенам достаточно для замены программистов. Год назад до этого дошли в селф-драйвинге, убер сам денег авроре заплатил, чтобы избавиться от своего селф драйвинг подразделения, а лифт поскорее сам продался, кинув гребцов на фантики. Через год/два года дойдет ИИ зима и до остальных отраслей.
Аноним 05/06/21 Суб 14:48:50 205792396
>>2057910
А я напоминаю, что ЭС по диагностической медицине уже во всю были в 70х, даже успешно управляли государством в латиноамерике
Аноним 05/06/21 Суб 14:52:22 205792897
1622893941997.gif 79Кб, 600x450
600x450
>>2057923
> А я напоминаю, что ЭС по диагностической медицине уже во всю были в 70х, даже успешно управляли государством в латиноамерике
И где теперь латиноамерика?
Аноним 05/06/21 Суб 14:54:11 205793198
>>2057928
>И где теперь латиноамерика
На месте, им просто с охуевшими соседями не повезло.
Аноним 05/06/21 Суб 14:55:15 205793599
Аноним 05/06/21 Суб 14:55:31 2057936100
Аноним 05/06/21 Суб 14:57:36 2057939101
>>2057567
>Уже гпт3 может сносно писать рабочий код.
Сколько уж про это слышу, а примеры то будут нормальные ? Или опять "сетка с триллиардом параметров смогла дописать .predict, датасаенс упразднён" кидать будешь?
Аноним 05/06/21 Суб 15:00:35 2057941102
>>2057935
>А жидами?
С печатным станком, при том там еще в 30х продавали детей и дохли с голода.
Аноним 05/06/21 Суб 15:00:38 2057942103
Хватит кормить шизов с их экспертными системами.
Аноним 05/06/21 Суб 15:01:26 2057943104
Аноним 05/06/21 Суб 15:05:27 2057944105
>>2057942
Иначе шизам с гптшками ничего не достанется
Аноним 05/06/21 Суб 15:07:53 2057948106
>>2057941
Пажжи, Латам соседствует с Совком? Дружище...
Аноним 05/06/21 Суб 15:14:31 2057952107
16173151891470.mp4 1811Кб, 640x640, 00:00:11
640x640
>>2057948
Латам ставят Пиночетов и вводят эмбарги, плюс выкупают и уничтожают производства иначе большому США никак не выжить. Взять Кубу, охуенная страна с социальными ништяками, но обложена санкциями по самое не балуй.
Аноним 05/06/21 Суб 15:15:27 2057953108
>>2057948
>с Совком
Ммм Совок была супердиржавай, в отличии от копетоглистических Роисей
Аноним 05/06/21 Суб 15:17:47 2057955109
>>2057953
Супер-пупер державой был, жаль хохлы развалили.
Аноним 05/06/21 Суб 15:20:37 2057957110
>>2057955
>жаль хохлы развалили.
Развалили предатели и падонки захотевшие кружевных трусиков и в ЕС.
Аноним 05/06/21 Суб 15:41:42 2057968111
>>2057952
>Взять Кубу, охуенная страна с социальными ништяками, но обложена санкциями по самое не балуй
Экспроприируешь собственность американских компаний, узурпируешь власть, обвиняешь во всем санкции. Потом рассказываешь в интернете, за какие "грехи" убили каддафи.
Аноним 05/06/21 Суб 15:49:16 2057975112
>>2057968
>Экспроприируешь собственность американских компаний
Словно что то плохое
>узурпируешь власть
Почему кого то должно ебать кто президент другого государства?
Аноним 05/06/21 Суб 15:49:57 2057978113
>>2057968
>"грехи" убили каддафи
Мммм, теперь то в Ливии ништяк и димократия, все как хотели
Аноним 06/06/21 Вск 04:22:01 2058774114
Аноним 06/06/21 Вск 12:24:16 2058942115
Что там по евенту? Будет пиздец обидно если он будет в сессию и как в прошлый раз с требованием играть минимум 6 часов каждый день евента для последнего скина до которого сука даже с таким графиком не хватило 200 поинтов.
Аноним 06/06/21 Вск 14:12:55 2059053116
1290345927846.jpg 30Кб, 355x480
355x480
Есть одна модель, которая выдаёт ответы на вопросы по тексту.
Проблема в том, что если немного перефразировать вопрос (но, по сути, это то же самое), можно получить другой ответ, вплоть до противоположного.
Можно ли как-то решить эту проблему? Какое-нибудь косинусное расстояние тут поможет?
Аноним 06/06/21 Вск 14:13:51 2059054117
>>2059053
Файнтюнинг если уже обучена либо масштабирование датасета же.
Аноним 06/06/21 Вск 18:48:41 2059625118
>>2058942
ты про rl контест по героям или про что?
Аноним 06/06/21 Вск 18:50:49 2059632119
Аноним 07/06/21 Пнд 17:22:30 2060789120
Кто-то здесь пытался запилить свой ИНТЕЛЛЕКТ? Как вы вообще понимаете интеллект, что почитать на эту тему?
Аноним 07/06/21 Пнд 18:06:15 2060877121
>>2060789
Чел, технически все эти нейронки даже сложные по сложности дотягивают примерно до окологлоточного нервного узла дождевого червя. Человечество еще хрен знает сколько лет не сможет даже таракана или плечу сделать чисто автономную(т.е. без скриптов), молчу уже про обучающиеся организмы способные принимать решения(ака крыса).
Дальше чисто утилитарного использования принципов слегка напоминающих работу нервов никто не пошел, т.к. там дальше уже другая наука начинается, которая еще более черно-дырная чем нейронки.
Аноним 07/06/21 Пнд 18:13:53 2060889122
>>2052613
Не знаю, как в МЛ, а в социальных науках есть понятие триангуляции - когда объект измерения ебут разными методами, чтобы результат был понадежнее.
Аноним 07/06/21 Пнд 18:36:41 2060912123
>>2060789
Представления о реальности нейронки основываются на математической статистике, которая является небольшой частью математики. Но даже вся математика в целом - всего лишь моделирование реальности основывающееся на недоказуемых аксиомах.
Аноним 07/06/21 Пнд 18:51:17 2060922124
>>2060877
>>2060912
Тебе ни слова про нейронки не сказали, успокойся
Аноним 07/06/21 Пнд 19:09:06 2060948125
>>2060789
>что почитать на эту тему
Философию
Аноним 07/06/21 Пнд 19:10:27 2060952126
>>2060789
Что нибудь от Тьюринга же.
Аноним 07/06/21 Пнд 19:47:44 2060983127
Аноним 07/06/21 Пнд 19:52:57 2060986128
>>2060983
Кирпич собеседует пизду или пизда кирпич?
Аноним 07/06/21 Пнд 19:57:26 2060990129
>>2060983
Какая же пизда тупая.
Собес точно на мидла, а не на джуна-стажёра?
Аноним 07/06/21 Пнд 20:02:27 2060995130
>>2060952
>Что нибудь от Тьюринга
Жопоебля в обосранном пабе? Что за каргокульт на этого петуха?
Аноним 07/06/21 Пнд 20:06:52 2060997131
Кто-нибудь протестил dl-boost на рокет лейке?
Аноним 07/06/21 Пнд 20:33:39 2061010132
>>2060990
У неё есть работа а у тебя нет
Аноним 07/06/21 Пнд 20:41:14 2061014133
>>2061010
Что ж ты делаешь-то, гад.
Аноним 07/06/21 Пнд 20:45:09 2061019134
>>2061010
ПУССИ-ПАСС
У
С
С
И
-
П
А
С
С
Аноним 07/06/21 Пнд 20:48:58 2061025135
image 78Кб, 1158x280
1158x280
>>2060990
Душнила зеленский, ты?
Чё это всё вообще за хуйня, это из учебников по "настоящей" дедовской статистике какая то залупа никому не нужная что-ли?

мимо-синьёр-дс-мл-нинзя-900k-в-стуртупе
Аноним 07/06/21 Пнд 21:09:27 2061038136
>>2061025
В рашке не существует условно вакансии мл-джуниор, на все вакансии связанные с мл сразу требуется на самом деле человек с знаниями, навыками и способностями мл-ресерчера, а тот кто просто модельки делает, фитит и пайплайнит куда-то - обезьяна. Поэтому хуй знает как можно оценивать собес если на работу требуется действительно обезьяна для моделедроча, да ручного лейбинга картинок с писюнами и сосисками, все равно так и так будешь отвечать на вопросы одного уровня.
Ах, да, не стоит забывать про 15 лет стажа в области которой меньше лет.
Аноним 07/06/21 Пнд 21:10:50 2061040137
Блядь, какое же я никчёмное говно. Работаю почти два года и чувствую, что ничего не знаю и не умею. И всё время ссу, что потеряю работу. Думаете, стоит походить по всяким другим вакансиям? 27 лет, возьмут миддлом?
Аноним 07/06/21 Пнд 21:13:36 2061044138
>>2061038
> вакансии связанные с мл
> для моделедроча, да ручного лейбинга
99,9% процентов задач, "мл-рисёрч" не в гугле или опенai - курам на смех и бумажкомарательство
Аноним 07/06/21 Пнд 21:41:24 2061068139
>>2061038
> В рашке не существует условно вакансии мл-джуниор, на все вакансии связанные с мл сразу требуется на самом деле человек с знаниями, навыками и способностями мл-ресерчера,
Зачем? Будто в Блинолопатии при таком подходе есть хоть один серьезный мл продукт или стартап, а не бесконечное доедалово за западом...
Аноним 07/06/21 Пнд 21:43:54 2061074140
>>2060983
>та самая манда
Сходу можно дизлайкать и скрывать канал.
Аноним 07/06/21 Пнд 21:52:44 2061087141
>>2061068
Спрос / предложение. Людей со сравнительно хорошим образованием в РФ много, а денег мало или они не там.
Аноним 07/06/21 Пнд 23:54:47 2061219142
>>2061038
Срыночек порешал, пиздуй в МакДак толчки мыть как и другие маняматики
Аноним 07/06/21 Пнд 23:55:36 2061220143
>>2061068
>мл продукт или стартап
Нинужна
Аноним 08/06/21 Втр 00:20:43 2061234144
>>2060877
>>2060912

Почему ты исходишь из положения, что лучший способ написать интеллект - сделать его полностью из нейронок? Есть какие-то предпосылки? Ну кроме тех, что все известные нам интеллекты - мясные мешки с жирной нейросетью. Природа худший оптимизатор, чем человек, самолеты пизже птиц по целевым характеристикам. Примерно чувствую, что интеллект, не уступающий человеческому, может существовать менее чем на 10% вычислительной мощности куска жира.

Алсо, МАЛО МОЩИ - для чего? Как считали необходимую мощность, для какой архитектуры, с какими техническими назначениями?

>>2060912
Философия слишком слабо формализована, противоречива и малодоказуема для решения практических задач. Всю человеческую историю, как только философское учение получала формальные правила и доказательную базу, оно становилось обычной наукой.

>>2060952
Спасибо, лучший ответ.

Есть хотя бы что-то, проливающее свет на принципы его работы, и заходящее дальше постулатов/определений, "оптимизатор поиска в пространстве вариантов", "обратная целенаправленная цепочка рекурсивных комбинаторных представлений" (с) итд.
Аноним 08/06/21 Втр 00:50:36 2061248145
>>2060912
> недоказуемых аксиомах.
Не совсем так. Они не недоказуемые, они изначально определенные.

Вот к примеру, я могу написать такую функцию (+), такую, что:
1 + 3 = 5.

Никто не мешает мне это сделать. Я могу определять практически любые функции. Есть конечно никак нерешаемые проблемы, для которых невозможно определить функцию (к примеру функцию решающую проблему остановки), но это скорее из-за того, что формальные системы не полны, и в них всегда есть зависимость от окружающего мира, влияние которого эти закрытые системы не могут предсказать.
Аноним 08/06/21 Втр 01:04:26 2061252146
>>2061234
>самолеты пизже птиц по целевым характеристикам
Не ври
Аноним 08/06/21 Втр 01:24:11 2061262147
>>2060912
>вся математика в целом
>моделирование реальности
Не имеет отношения
Аноним 08/06/21 Втр 07:36:18 2061330148
4127ab8f01ce50b[...].jpg 124Кб, 1024x646
1024x646
>>2061234
>самолеты пизже птиц по целевым характеристикам
Ракеты пизже самолетов по этим же характеристикам. При этом рабочую модель может сварганить школьник. В общем-то средневековые китайцы их уже делали на порохе.
Аноним 08/06/21 Втр 14:42:18 2061719149
Два вопроса по Tensorflow

1.
https://www.tensorflow.org/guide/tensor_slicing
Объясните что передавать в tf.slice, когда речь идёт о размерности батчей?
Вот есть у меня тензор
[-1, 1, 178, 256]
Где -1 это размер банча. Мне нужно из каждой колонки срезать последнее значение, а потом зафлаттенить
Я делаю (да, это C#)
var currentSlice= tf.slice(reshapedPureMatrix,
begin: new[] {-1, 0, BaseLength - 1},
size: new[] {-1, InputListsCountFull, 1},
name: "current_slice");
var flatten1 = tf.reshape(currentSlice,
shape: new[] {-1, InputListsCountFull});

Отладчик говорит, что у меня получается flatten1 = [-1, 178], это то, чего я и ожидаю. Его я потом передаю дальше, никаких ошибок нет.
Отдаю на sess.run(optimizer,.. — получаю ошибку:
Expected begin[0] in [0, 178], but got -1
[[{{node current_slice}}]]

Без слайсов всё окей (само собой, там следующая конфигурация чуть другая). Что делать?

2.
Данные для обучения нормализованы, классов встречается ровно поровну.
Я, когда создавал граф, случайно поверх последнего тензора наложил tf.nn.relu и пытался делать оптимайз уже с relu-тензора.
У меня там в конце получалось
Dense[4096 Relu] -> Dense[4096 Relu] -> Dense[2 Relu]

Оптимизатор Адам постоянно первый нейрон делал больше 100, второй меньше -50. Таким образом получалось True Positive = 50%; False Positive = 50%.
Когда я понял, что на последнем слое лишний RELU, я его убрал, стало
Dense[4096 Relu] -> Dense[4096 Relu] -> Dense[2]

Оптимизатор начал стал реально оптимизировать значения.
Вопрос: почему оптимизатор не мог оптимизировать конечный слой, если там Relu? Из-за того, что Relu недеферренцируема? Ну так два слоя перед этим остались с RELU.
Аноним 08/06/21 Втр 16:20:33 2061848150
>>2061719
> да, это C#
Какой же ты мерзкий. Хррр тьфу.
Аноним 08/06/21 Втр 17:16:21 2061918151
>>2061252
грузоподъемность, скорость, управляемость?
Аноним 08/06/21 Втр 17:24:49 2061930152
>>2061918
И дохуя твой самолет может в воду пикировать за ништяками или в деревьях прятаться?
Аноним 08/06/21 Втр 17:32:52 2061939153
>>2061918
Энергоэффективность.
Аноним 08/06/21 Втр 17:41:22 2061949154
>>2060983
Эти вопросы потянут на ирл собеседование хотя бы уровня джуна?
Аноним 08/06/21 Втр 18:32:26 2062075155
>>2061930
Мне нужен инструмент, а не неуправляемая хоатичная хуита.

>>2061939
Удельная может быть. А теперь попробуй увеличить птицу в 10 раз в массштабе.
Аноним 08/06/21 Втр 18:34:08 2062080156
1623166447492.png 1399Кб, 1072x800
1072x800
Аноним 08/06/21 Втр 18:39:28 2062090157
Аноним 08/06/21 Втр 19:39:54 2062207158
>>2061949
В нормальных местах технические вопросы хоть на джуна хоть на мидла хоть на синиоора одинаковые, различаются разговоры про опыт и общение с кабанами
Аноним 08/06/21 Втр 20:38:43 2062281159
>>2061949
Интервью с вице-президентом по искусственному интеллекту и эффективности платформы «Сбермаркета», который за всю жизнь написал 100 строчек на питоне.
https://music.yandex.ru/album/11801101/track/84297667
Софтскиллы важнее. Ну еще необходимо скептически подходить к результатам.
Аноним 08/06/21 Втр 21:31:46 2062352160
Аноним 08/06/21 Втр 21:42:59 2062362161
XAO5luL79Iw.jpg 955Кб, 1500x1500
1500x1500
>Засовываю в конволюху классифицирующую фотки еды фотки вагин, представляя что у них вкус той еды что выдает предикт
Аноним 08/06/21 Втр 22:29:33 2062424162
Аноним 08/06/21 Втр 23:54:23 2062505163
Поясните пожалуйста.
Есть функция relu с производной 1. Есть глубокая полносвязная сеть.

Каким фигом на первых слоях не происходит переполнения, учитывая механизм обратного распространения? Ошибка же должна накапливаться, а так как мы не уменьшаем ее на каждом слое за счёт производной, а тупо суммируем, умножая на исходящие веса.

Я просто тупо смотрю на веса 9 слоя после обучения равные от 0 до 1, и понимаю.
ЧЗП тут происходит?
Аноним 09/06/21 Срд 00:21:55 2062539164
>>2062505
>Ошибка же должна накапливаться
Она будет накапливаться если у задачи нет правильного решения, т.е. если у тебя поле твоих синеньких и красных точечек одинаково размазано и нет никакой даже кривой что их порежет.
Просто не ясно что ты хотел вообще спросить, как градиент и бэкпропагейшен в принципе работают? Они же явно не для того чтобы ошибка накапливалась работают как бы
Госпади как жутко все это на русском звучит
Аноним 09/06/21 Срд 00:33:50 2062552165
>>2062539
Не ошибка тогда, а градиент, просто в разных местах это по-разному называют. С большим градиентом будут большие скачки веса и из-за этих качелей веса на первых слоях будут улетать в nan. Во всяком случае так мне кажется. Обычная производная сигмоиды умножает каждую сумму предыдущих градиентов максимум на 0.5, те это как бы компенсирует увеличение градиента за счёт суммы следующих и не даёте весам на ранних слоях слишком сильно колебаться.
Я про это.
> Она будет накапливаться если у задачи нет правильного решения, т.е. если у тебя поле твоих синеньких и красных точечек одинаково размазано и нет никакой даже кривой что их порежет.
Вот это уже интереснее.
Аноним 09/06/21 Срд 00:35:59 2062554166
Аноним 09/06/21 Срд 00:57:30 2062568167
>>2062552
Эта проблема разве что для рекуррентных сетей актуальна, вот там наны вполне возникают. У обычных сетей нужно слишком дохуя этих слоёв, чтобы стало заметно, там куда чаще обратная проблема - градиент затухает и тупо не шевелит совсем глубокие слои.
Аноним 09/06/21 Срд 06:05:55 2062661168
А что если во сне подавать изображения каких-нибудь данных, показывать верный ответ, а потом не верный и слегка бить электрошокером, потом в другом порядке. И наш мозг типо научится блокировать электрошокер, когда понимает, что вот сейчас он должен ебануть.
Может быть, мы не усвоим хорошо информацию, но что-то запомним точно, получается, можно и во сне учиться.
Аноним 09/06/21 Срд 06:58:44 2062671169
>>2062661
Какое отношение к треду имеет?
Аноним 09/06/21 Срд 07:14:26 2062675170
Сап, так и не смог урезать модель нейронки. Для дистилляции нужна более мощная модель, для квантизации аваре трейнинг/прунинга ничего не работает. Пробовал все, даже залез до 3 страницы гугла где он выдавал Киркорова, большинство методов не работает, а метод от хугг фейсов ругается на то что в модели нет вершин, метод официального путорча ругается на то же самое.
Модель gpt-2 (GPT2LMHeadModel) тренирующаяся с нуля. Код print(model.weight) так же ругается но уже не помню как но всю модель другой командой выводил.
09/06/21 Срд 09:44:30 2062735171
>>2061719
> begin: new[] {-1, 0, BaseLength - 1},
Понял, надо делать
> begin: new[] {0, 0, BaseLength - 1}
А вот уже у size оставлять -1 по первой оси
Аноним 09/06/21 Срд 11:35:42 2062795172
>>2062671
Я думаю этот гений внезапно понял что в башке у него несколько миллиардов нейронов, а не жалкие пару сотен как в его юпитере
Аноним 09/06/21 Срд 12:43:41 2062851173
>>2062795
>нейронов
А счего нейродебилы решили, что биологические нейроны учавствуют в мышлении?
Аноним 09/06/21 Срд 13:10:13 2062885174
>>2062851
В школу пойдешь, там расскажут
Аноним 09/06/21 Срд 13:36:55 2062939175
>>2062661
Есть мнение, что во сне у тебя мозг делом занят, а не простаивает, и нагружать его в таком состоянии не следует. Кстати, про связь мозга с мышлением пока только мнения и есть.
Аноним 09/06/21 Срд 13:52:04 2062947176
>>2062939
>про связь мозга с мышлением пока только мнения и есть.
С чем оно связано, если не с мозгом?
Аноним 09/06/21 Срд 14:04:23 2062965177
16229489543880.jpg 55Кб, 592x532
592x532
>>2062947
> С чем оно связано, если не с мозгом?
Сейчас бы слушать попыта. Зумера в открывашку не могут, странно думать, что они могут в нейрофизиологию.
Аноним 09/06/21 Срд 14:07:22 2062973178
>>2062965
> > попыта
Кто, буквально? Твой протык?
Аноним 09/06/21 Срд 14:15:39 2062989179
>>2062947
>С чем оно связано, если не с мозгом
С внешней энергетической сущностью, а мозг это панель управления, не более
Аноним 09/06/21 Срд 14:16:24 2062992180
>>2062989
> С внешней энергетической сущностью,
В виде попыта?
Аноним 09/06/21 Срд 14:16:48 2062993181
>>2062885
Это если ебеуть чела по башке, он становится тупымзумером, то связь очевидна, мммм?
Аноним 09/06/21 Срд 14:17:13 2062995182
>>2062992
В виде глобального сознания.
Аноним 09/06/21 Срд 14:27:21 2063012183
>>2061930
Ты перечислил не целевые характеристики. Самое главное, что умеют птицы - полет, и по эффективности полета (аэродинамическое качество, скорость относительно размера, дальность относительно размера, расход энергии на 1000 линейных размеров перелета) мясные низкочастотники давно сосут.

Inb4: не очень то и хотелось.
Аноним 09/06/21 Срд 14:30:44 2063016184
>>2063012
>аэродинамическое качество
У самолета чуть лучше утюга, а вот у птиц супер
>скорость относительно размера
Сапсан 322 км/ч, умножь 20 у получи скорость если бы он был размером с самолет
>расход энергии на 1000 линейных размеров перелета
Самолеты сосут, посчитай сам
Аноним 09/06/21 Срд 14:42:12 2063040185
>>2062995
> В виде глобального сознания.
Это в каком тиктоке такая пропаганда?
Аноним 09/06/21 Срд 14:45:12 2063047186
>>2063040
Тя зумеры проткнули?
Аноним 09/06/21 Срд 14:54:03 2063067187
>>2063040
Почему ты считаешь, что единое энергоинформационное пространство не возможно? С чего ты взял, что твое сознание заключено в физическом теле?
Аноним 09/06/21 Срд 15:15:17 2063101188
>>2063067
А зачем мне нужны такие сказки,если есть твердо установленные факты?
Аноним 09/06/21 Срд 15:16:53 2063104189
>>2063101
>твердо установленные факты
Выкладываешь решение сложной проблемы сознания здесь, твёрдо и чётко, не виляя жопой.
Аноним 09/06/21 Срд 15:19:05 2063112190
>>2063104
Квалиа не существует, философский зомби ничем не отличается от обычного человека, философия сознания - способ срубить бабла.
Аноним 09/06/21 Срд 15:25:16 2063124191
6008375810.jpg 164Кб, 1043x1500
1043x1500
>>2063104
> Выкладываешь решение сложной проблемы сознания здесь, твёрдо и чётко, не виляя жопой.
Ты не осилишь, там не для пориджей.
Аноним 09/06/21 Срд 15:25:37 2063126192
>>2063112
Факты, а не вскукареки
Аноним 09/06/21 Срд 15:28:01 2063128193
>>2063112
> Квалиа не существует,
Существует. Но от третьего лица дать ей определение невозможно, потому что сформулирована она от первого лица.
Аноним 09/06/21 Срд 15:55:25 2063158194
Разобрались уже с сознанием?
Аноним 09/06/21 Срд 16:04:12 2063166195
>>2063158
Да, сознание - это наебка маркетологов.
мимо
Аноним 09/06/21 Срд 17:16:18 2063250196
>>2062973
> Кто, буквально?
Поридж спалился.
Аноним 09/06/21 Срд 17:20:12 2063257197
>>2063128
> Существует
Нет, не существует. Есть хоть одно основание для его существования?
Аноним 09/06/21 Срд 18:27:10 2063382198
Почитал про Марковские цепи, вся эта тема с состояниями почему-то напомнила машину Тютюринга, про которую в школе рассказывали. Есть ли тут более глубокая связь? За исключением того, что машина сможет смоделировать Марковскую цепб.
Аноним 09/06/21 Срд 18:31:24 2063389199
>>2063382
Связи нет, просто разные формализмы.
Аноним 09/06/21 Срд 18:32:27 2063390200
Работаете себе датагребцом и машиноложцем, вдруг посреди недели к вам подходит тимлид-травитель с менеджером и говорят что топ менеджмент конторки решил попиарить себя на датафесте и вам срочно нужно снять промо ролик.
Дают сценарий и срок до конца дня, нужно надёргать ещё пару церебротронов из опенспейса, отснять и скинуть материалы.
Позже, в открытом доступе на ютуб появляется это.
https://www.youtube.com/watch?v=CQ7UHbwnn3g
Ваши действия?
Аноним 09/06/21 Срд 18:33:00 2063392201
>>2063257
> Нет, не существует. Есть хоть одно основание для его существования?
Сам понял что спросил, попыт? Прочитай определение квалиа. Ты может быть и себя считаешь несуществующим?
Аноним 09/06/21 Срд 18:33:01 2063393202
>>2063124
Мммм, настольная манякнижечка бихевиориста?
Аноним 09/06/21 Срд 18:34:12 2063395203
16216356352040.jpg 18Кб, 600x338
600x338
>>2063124
>Ты не осилишь,
Я так понимаю, ты осилил, четко формализировал и запилил сильный ИИ. Или пока ящики тресешь?
Аноним 09/06/21 Срд 18:35:46 2063397204
>>2063382
> Есть ли тут более глубокая связь? За исключением того, что машина сможет смоделировать Марковскую цепб.
Конечно. Универсальная машина Тьюринга - это общее понятие алгоритма как явления, марковская цепь - конкретный алгоритм.
Аноним 09/06/21 Срд 18:35:55 2063398205
>>2063392
То что ты называешь квалиа - это просто сработка паттернов в мозге.
Аноним 09/06/21 Срд 18:36:12 2063399206
>>2063390
>Ваши действия?
Говоришь, что диагностическое мединцинское программное обеспечение было в 70х на основе ЭС, а их говно не работает.
Аноним 09/06/21 Срд 18:38:13 2063406207
>>2063398
>сработка
>так боженька захоиел
И как же он срабатывает, в каком окружении, в каком виде хранится паттерне, как он туда попадает?
Аноним 09/06/21 Срд 18:38:58 2063408208
>>2063393
> Мммм, настольная манякнижечка бихевиориста?
Почему-то пориджи уверены, что доказательная наука и невнятный пук про какое-то "сознание это единое информационное пространство" - это равноценные вещи. Это не так, попыт.
Аноним 09/06/21 Срд 18:39:51 2063409209
>>2063408
Тя зумерки проткнули, мань?
Аноним 09/06/21 Срд 18:40:35 2063410210
>>2063406
Толсто.
Нейронные связи
Аноним 09/06/21 Срд 18:43:55 2063414211
О
Аноним 09/06/21 Срд 18:44:01 2063415212
>>2063408
>доказательная наука
>бихевиористика
>наука
Проорал
Аноним 09/06/21 Срд 18:47:20 2063424213
>>2063410
>Нейронные связи
Мммм, а почему ты осознаешь себя, а не просто пеперабатываешь информацию как робот пылесос? Чем Ромка прыг-скок отличается от тебя?
Аноним 09/06/21 Срд 18:48:10 2063426214
>>2063410
И каким образом тогда возможно мышление? Без воздействия окружающей среды эти связи меняться не должны. Откуда берется образное, а не наглядно-образное мышление? ИМХО сознание таки есть, сводить его до алгоритма просто невозможно, но вряд-ли это "энергетичская сущность". Биология подсказывает, да и физика тоже, что никаких внешних воздействий нет. Скорее мозг - мат. база сознания. Как там, высокороорганизованная материя, все дела.
мимо
Аноним 09/06/21 Срд 18:52:30 2063437215
>>2063426
>Биология подсказывает, да и физика тоже, что никаких внешних воздействий нет
Как они тебе подсказывают если они сами нихуя по большей части не знают? Физики не знают что такое электромагнитное поле и всячески пытаются игнорировать эфир. Но не кто не говорит, что это электромагнитизм, это более тонкие пооя еще нам не известные.
Аноним 09/06/21 Срд 18:53:25 2063439216
Аноним 09/06/21 Срд 18:57:45 2063445217
>>2063399
Значит мы зря платим тебе такие деньги, думаешь? Мм, может ты и прав..
Аноним 09/06/21 Срд 19:16:52 2063488218
>>2063399
Кстати, в защиту шиза, MYCIN действительно непонятно почему загнулся, учитывая то, что по качеству предсказаний он был на уровне хорошего врача.
Аноним 09/06/21 Срд 19:18:32 2063492219
>>2063437
Так блять иди изучай, ищи. Ты пока что только пиздишь и никакие закономерности не строишь. Твоя теория необосонованный и неподкрепленный НИЧЕМ абсурд на уровне объективных идеалистов.
Аноним 09/06/21 Срд 19:20:52 2063500220
>>2063437
>игнорировать эфир
Иди найди блять. Менделеев и Тесла вроде считали его существование оправданным. Куча шизов и по сей день в это ВЕРЯТ. А доказать никто нихера не может. Это как у историков. Им блять дичайшие гранты на опровержения хуиты дают, чето никакого мирового заговора по сокрытию ядерных войн в каменной пирамиде Годзилы Рептилойдского 1337-го еще не открыли.
Аноним 09/06/21 Срд 19:24:32 2063510221
>>2063492
Коммунист в треде, код красный! Повторяю, код красный!
Аноним 09/06/21 Срд 19:32:41 2063531222
sticker-png-pro[...].png 33Кб, 890x640
890x640
>>2063510
Чё в посте не понравилось?
Аноним 09/06/21 Срд 19:57:17 2063561223
>>2063437
Знаешь, сейчас физики взяли тенденцию исследовать темную материю, взаимодействие которой на обычную обнаружили, но саму темную материю, ни единой частицы - нет. Даже карту распространения темной материи по вселенной нейронкой составили. И так вот, выдвинули теорию, мол, темная материя не холодная и взаимодействует между собой, какая то там хуйня но сейчас не об этом.
И так, вот, вся эта хуйня выглядит подозрительно похоже на эфир, сложи то что она влияет на видимую материю, то что ее все еще не увидели, и то что ее во вселенной больше чем обычной материи и получишь практически все пункты эфира.
Так что подожди пару сотен лет, темную материю доисследуют, в сингулярность заглянут, нейросети размером с мозг натренируют, а потом этим всем объяснят твои тонкие поля.

Вот только рассуждать о том существует ли общее бессознательное, находиться ли оно в эфире, работает ли мозг онли как передатчик, и так далее сейчас - все равно что взять нейронку обученную генерировать пасты про говно и спросить - сгенерированный ответ будет настолько же истеннен на данный момент как и любой ответ до которого дойдут люди наших дней. инб4: возможно дойдут если используют костыли, вроде того же обнаружения электромагнитного поля и даже его использования без понимания что это, но для этого людям понадобилось несколько эпох и куча умных людей которых знает любой человек
Аноним 09/06/21 Срд 19:59:38 2063570224
>>2063500
>в это ВЕРЯТ
Посредством какой среды перемещается электромагнитная волна в вакууме?
Аноним 09/06/21 Срд 20:02:54 2063574225
>>2063561
>Вот только рассуждать о том существует ли общее бессознательное
А как ты предлагаешь строить модель мыслительного процесса - ИИ? Нужно философское обоснование, затем формалищация и модель. Но неродибили ничего из этого не имеют и пытаются в каргокульт, когда видят звон, не понимают в чем он, но пытаюися подражать.
Аноним 09/06/21 Срд 20:04:23 2063575226
>>2063570
А почему там должна быть какая-то среда?
мимо
Аноним 09/06/21 Срд 20:05:45 2063581227
>>2063488
>MYCIN действительно непонятно почему загнулся
Все понятно и описано, там светила медицины бугуртнули, когда майсин поставило верный диагноз, а один доктор из консилиума был не согласен. Как итог, медикипедики быстро осознали, что могут быть выброшены на мороз (по крайней мере а диагностической медицине).
Аноним 09/06/21 Срд 20:08:00 2063583228
>>2063575
>А почему там должна быть какая-то среда
Потому, что отсутстаие среды это и есть эфир. Но вговнемоченые это называют физический вакуум и стыдливо прячут глаза.
Аноним 09/06/21 Срд 20:14:34 2063592229
>>2063570
Волна это и есть среда.
Аноним 09/06/21 Срд 20:17:15 2063596230
>>2063574
Суть в том что ты даешь абстракцию происходящего процесса, а потом пытаешься создать алгоритм который будет совпадать с абстракцией.
Это то же самое что я скажу - при записи цифры 2 в текстовый документ, в него записывается растровая белая строка, еще белая строка, белая строка которая один раз прерывается черной, белая строка покрывающая два раза, снова один раз и еще один раз, а затем бесконечность белых строк. Я даже могу сделать скрипт который будет при записи 2 так делать, могу сделать кучу формул для этой двойки, могу развить эту систему чтобы она работала и с 3, 4, да и вообще со всеми буквами. И этот алгоритм будет абсолютно точно соответствовать абстракции.
Но любой кто проходил в школе информатику знает что это хуйня и записывается код символа, а при выводе ему подбирается шрифт. Тут точно то же самое, только абстракция чуть ближе к реальности но вот насколько она полная, и на сколько верны алгоритмы ее реализации сказать нельзя даже если они работают.
Аноним 09/06/21 Срд 20:17:40 2063597231
>>2063592
>Волна
Волна это возмущение среды, например воды или воздуха.
Аноним 09/06/21 Срд 20:19:06 2063600232
>>2063597
Речь идет о ЭМВ, которые являются такой же материей как ты и я.
Аноним 09/06/21 Срд 20:22:46 2063605233
>>2063596
>Суть в том что ты даешь абстракцию происходящего процесса
Да, я считаю мозг черным ящиком. И сейчас меня больше пнтересует в каком бы формате могла бы хранится информация. Этот внутренний формат должен быть универсальным, в который я бы мог преобразовывать любую информацию от любых источников.
Аноним 09/06/21 Срд 20:23:53 2063608234
>>2063600
Волна это возмущение материи, а не сама материя. Физику почитай что ли.
Аноним 09/06/21 Срд 20:26:07 2063614235
>>2063608
P.s.конкретно ЭМВ это возмущепие электромагнитного поля, какова его природа и что оно представляет физики не знают.
Аноним 09/06/21 Срд 20:42:59 2063630236
>>2063605
Их можно придумать дохера, а по крайней мере один из них, бинарный код, используется в компьютерах, и он является
> универсальным, в который я бы мог преобразовывать любую информацию от любых источников.

А чтобы вникнуть в одну из версий как мозг хранит данные, просто вкатись в нейробиологию, как ни странно множество людей пытались понять как в мозге хранятся данные. А кроме нейробиологии есть еще кучка других направлений, то же коллективное бессознательное, эзотерика, и много чего еще.
Аноним 09/06/21 Срд 21:06:23 2063647237
>>2063570
Фиг знает, прикол в том, что их обнаружили, подогнали в теорию, точно описали поведение. А ты просто делаешь предположения без теории вообще.
Аноним 09/06/21 Срд 21:25:18 2063667238
мочааа блядь
чисти чисти шизов
чисти чисти
Аноним 09/06/21 Срд 22:46:53 2063738239
>>2063630
>Их можно придумать дохера, а по крайней мере один из них, бинарный код
Ты не понял суть, каков формат, какова структура, какие в ней поля и какие связи, понимаешь?
>как мозг хранит данные
Смотри выше, не как, а что хранит
Аноним 09/06/21 Срд 22:55:48 2063747240
>>2063738
Так для того чтобы узнать каков формат связей и что именно мозг хранит нужно узнать и как хранит.
А так, нейронки сами по себе пытаются воспроизвести мозг, и с хранением данных там все почти в порядке, например те же латентные координаты ганов, или ембендинг у нлп нейронок. То есть они хранят вершины, скалярные величины которые в среднем дают ровно единицу вроде. Это конечно не нейроны у которых по меньшей мере две значимых величины и у которых есть куча отличий вроде подвижности и затухания импульса, но их можно считать упрощённой моделью мозга.
Аноним 09/06/21 Срд 23:21:35 2063767241
>>2063747
>но их можно считать упрощённой моделью мозга
Каргокульт
Аноним 10/06/21 Чтв 06:46:09 2063921242
>>2063767
Я ведь писал про цепочку абстракции и реализации >>2063596, верно?
Никто не говорит что мозг работает абсолютно по тому же принципу. Однако с абстракцией которую вывели, а затем реализовали, оно совпадает и позволяет добиваться соответствующих результатов, и как минимум поэтому имеет право быть одним из вариантов. В конце концов вопрос был - какие данные хранит мозг, в каком формате, и нейронки сами по себе являются интерпретацией этого и подкреплены 100 лет исследований.
Ну и бонусом это единственная рабочая интерпретация работы мозга которая работает и на бумаге, и при моделировании на компьютерах.
Аноним 10/06/21 Чтв 09:02:43 2063949243
>>2063561
>И так, вот, вся эта хуйня выглядит подозрительно похоже на эфир, сложи то что она влияет на видимую материю, то что ее все еще не увидели, и то что ее во вселенной больше чем обычной материи и получишь практически все пункты эфира.
https://www.youtube.com/watch?v=u7mo7jhQ-90
Аноним 10/06/21 Чтв 09:04:34 2063950244
Аноним 10/06/21 Чтв 09:29:32 2063959245
>>2063921
>которая работает
А ты смешной
Аноним 10/06/21 Чтв 11:13:32 2064012246
>>2063124
Я узнал тебя, ты полгода назад в букаче со сломанным зумеродетектором надрачивал на RFT.

>>2063112
Всегда интересовало, как человек может отрицать квалиа у себя же. Это наивный недоредукционизм? Так зачем останавливаться на сознании, столь же успешно и столь же нелепо и некорректно можно редуцировать мозг с нейронами к физике которая, кстати, только модель, а не истинная правда и объявить их не заслуживающими внимания.
Аноним 10/06/21 Чтв 11:16:27 2064014247
>>2063747
>нейронки сами по себе пытаются воспроизвести мозг
Проиграл
Аноним 10/06/21 Чтв 11:27:41 2064024248
>>2064012
>как человек может отрицать квалиа у себя же?
>Это наивный недоредукционизм?
>и столь же нелепо и некорректно
Со своими "очевидно", ярлыками и лозунгами иди заниматься философией сознания, а не срать в тред.
Аноним 10/06/21 Чтв 11:43:36 2064045249
Аноним 10/06/21 Чтв 11:51:48 2064058250
>>2064024
>Квалиа не существует, философский зомби ничем не отличается от обычного человека, философия сознания - способ срубить бабла.
>Со своими "очевидно", ярлыками и лозунгами иди заниматься философией сознания, а не срать в тред.

Квалиа — одна из немногих штук, которые даны непосредственно и действительно самоочевидны. Предполагаю, что у других анонов так же, а потому отрицать его наличие как минимум странно. В то же время это не совсем офтоп, так как это напрямую связано с ИИ, коль мы представляем его в чём-то похожим на человека.
Аноним 10/06/21 Чтв 11:55:53 2064066251
изображение.png 343Кб, 406x450
406x450
>>2063390
Жидко пукою, иду за ракеткой
Аноним 10/06/21 Чтв 12:27:51 2064099252
>>2063959
Давай доказательства того что та же гпт-2 не генерирует текст основываясь на этой модели. Разумеется с условием что архитектура относительно примитивна и имеет а) куда меньше слоев чем мозг, б) так же имеет меньше нейронов в дохуялион раз, в) является моделью лишь части мозга а не всех разделов с сонзранением всей структуры.
Или есть модель которая не основана на нейронных сетях и так же может давать результат который ожидаешь от мозга обычного человека исключая совсем уж примитивные алгоритмы вроде япов?
И я все еще говорю что эта интерпретация работы мозга не обязательно истинная, но факт в том что она работает хоть и с оговорками. А пока нет другой работающей, хотя бы с теми же оговорками, хотя бы с миллиардом оговорок, она является единственной +- разные детали и архитектуры.

Алсо еще в 2017 кто то запил нейросеть которая эмулирует поведение головастика и оно практически совпадает с реальным.
https://m.habr.com/ru/post/406933/

Аноним 10/06/21 Чтв 12:28:48 2064101253
Аноним 10/06/21 Чтв 12:34:47 2064109254
1623317668035.jpg 371Кб, 1080x2340
1080x2340
1623317668065.jpg 414Кб, 1080x2340
1080x2340
>>2064045
Что-то да выдает. Но тут чистый черрипикинг. Пока работает как рандомный генератор ответов.
Аноним 10/06/21 Чтв 12:38:32 2064112255
>>2064058
Квалия не существует.
Вот задача: является ли какое-то изображение "квадратным".
Человек решит эту задачу с легкостью, даже если объект не совсем квадратный, а с округленными краями.
Но тащемта с этой же задачей легко справится и нейронка.

Фактически, что нейронки (читай компьютеры), что человек просто внутри подсчитывают вероятности, и из этого делают выводы. Просто делают это разными способами.
Аноним 10/06/21 Чтв 12:40:56 2064117256
>>2064045
Давно же уже выкладывают чекпоинты на хаггингфейс :картинка_со_слоупоком:
Аноним 10/06/21 Чтв 12:41:55 2064118257
Аноним 10/06/21 Чтв 12:44:13 2064120258
>>2064099
>генерирует текст
Шизофазия без понимания семантики. Тащемто ЭС пршла тест педикатьюринга много лет назад, а это пркруче текстовых высеров.
>habr.com
Говноед, уходи
Аноним 10/06/21 Чтв 12:45:23 2064121259
>>2064112
>Просто делают это разными способами.
>Просто делают
Ясно. И каким способ делает человек?
Аноним 10/06/21 Чтв 13:01:28 2064138260
>>2064120
> Шизофазия без понимания семантики.
Для понимания семантики разработаны attention layers, чем их больше и чем больше ембеддинг тем нейронка лучше это понимает.
> Тащемто ЭС пршла тест педикатьюринга много лет назад, а это пркруче текстовых высеров.
Что за эс?
> Говноед, уходи
Это одно из мест где публикуются статьи по нейронкам в рунете, большая часть статей тот еще кал но бывают и неплохие или как минимум интересные, та же нейронка эмулирующая поведение головастика.
Аноним 10/06/21 Чтв 13:04:53 2064139261
1623319492616.png 70Кб, 899x645
899x645
>>2064109
А вот на с++ он вполне могет. первый инклуде прописал сам чтобы нейронка поняла что начался текст
мимо
Аноним 10/06/21 Чтв 13:12:50 2064146262
>>2064045
О, первый пост по теме за последнее время заебали зумера с кукареканьями про сознание. Там даже код для колаба есть.
Аноним 10/06/21 Чтв 13:36:07 2064157263
>>2064146
Вот только для колаба урезанная в 8 раз модель.
Аноним 10/06/21 Чтв 13:39:45 2064159264
1623321582397.jpg 594Кб, 1080x2340
1080x2340
Ебать
Аноним 10/06/21 Чтв 13:47:36 2064168265
1623322055211.mp4 156Кб, 960x720, 00:00:05
960x720
Аноним 10/06/21 Чтв 14:01:31 2064188266
1394011596938.jpg 400Кб, 1963x1340
1963x1340
Какие есть способы представить слова, словосочетания, предложение в числовом выражении?
Есть ли возможность потом как-то усреднять подобные числовые выражения? Или обобщать?
Аноним 10/06/21 Чтв 14:08:47 2064199267
>>2064157
> Вот только для колаба урезанная в 8 раз модель.
Полная 61 гиг весит, чтобы её запустить, наверное не меньше 128гиг оперативы надо... Но то что в колабе, таки работает поинтереснее их же GPT-neo 1.3B
Аноним 10/06/21 Чтв 14:09:30 2064201268
>>2064188
d = 1
i = 2
c = 3
k = 4
= 5
dick = 1234
dick id = 1234521
avg = 1234521/len(1234521)
Например так.
Аноним 10/06/21 Чтв 14:11:08 2064205269
>>2064199
Сильно отличается от демки на сайте? К слову там так и не сказано какая максимальная длина у модели а в демке и колабе используется 512 токенов что очень мало. Сейчас пытаюсь перегрузить диск колаба, мб старый експлоит сработает, а потом все же с лицом пепе потыкаю малую.
Аноним 10/06/21 Чтв 14:12:11 2064207270
>>2064188
Любое слово - последовательность байт. Любую последовательность байт можно рассматривать как число.
Аноним 10/06/21 Чтв 14:16:23 2064219271
>>2064101
Ты же имеешь в виду не всякие экспериментальные подходы и моедлирование мозга, а фит-предикт? Вот там от нейронов в мозге одно название.

>>2064112
А ты б хоть ознакомился, про что вообще квалиа, а то доказываешь, что тёплое на самом деле холодное, потому что оно мягкое.
Аноним 10/06/21 Чтв 14:17:41 2064227272
>>2064207
> можно
Кто дал тебе такое право?
Аноним 10/06/21 Чтв 14:33:32 2064257273
>>2064205
> Сильно отличается от демки на сайте?
Да. Пробовал одни и те же примеры в онлайн и колаб версии, в колабе все работает лучше.
> там так и не сказано какая максимальная длина у модели а в демке и колабе используется 512 токенов
В параметрах seq=2048 это не оно разве?
Аноним 10/06/21 Чтв 14:38:04 2064264274
1623325083689.jpg 31Кб, 488x710
488x710
>>2064219
Я знаю что такое квалиа. И это обычный расчет вероятности, что X имеет свойство Y, на основе уже полученного опыта (данных).
Аноним 10/06/21 Чтв 14:46:19 2064278275
>>2064257
Ладно, ничего не получилось.
И вправду колаб пиздатее, хотя настройка среды и компиляция крайне долгие.
И как ни странно он смог сгенерировать 10240 токенов без ошибок не считая тех что он сгенерировал, хотя мб это и были реальные ошибки, не вчитывался. Сейчас увеличил батч до 16 и длину до 20480, хочу посмотреть че могет.
Аноним 10/06/21 Чтв 14:53:10 2064286276
Надо всех мамкиных зомбей к хуям забанить из треда
Аноним 10/06/21 Чтв 14:53:54 2064288277
>>2064139
>>2064109
Так её тренили в том числе и на всем стековерфлоу, чего тут удивляться. С тем же успехом можешь считать что гугл тебе ответы на эти вопросы "генерирует".
Аноним 10/06/21 Чтв 15:02:13 2064301278
1.png 11Кб, 863x125
863x125
>>2064278
Алсо, чувак, у которого на гитхабе эти модели выложены, заявил, что полная версия 61гиг 6В параметров простому пользователю все равно ненужна, ибо остальные параметры имеют смысл только при использовании для дальнейшего файнтюнинга, что в условиях куколаба технически невозможно, даже если бы ее можно было туда загрузить.
Аноним 10/06/21 Чтв 15:17:04 2064318279
>>2064264
>расчет вероятности, что X имеет свойство Y, на основе уже полученного опыта (данных).
Ну ты и клован, хоспаде... и какова вероятность, что на пике красный цвет? Причем тут вообще вероятность?
Аноним 10/06/21 Чтв 15:45:27 2064342280
>>2064278
Пиздец, скормил ей строку с началом что то вроде
> #создает модель нн для генерации картинок по описанию и тренирует ее
И она действительно создала, 1,5к секунд на 4 батче и 20480 длине. Правда она создала на керасе а в нем я нихуя не смыслю так что проверить работоспособность не смог, да и 20480 токенов явно не хватило. Ну и наверняка где нибудь нейронка да обсралась.
Но выглядит крайне интересно, результат в колабе и на сайте просто пиздец как отличается по качеству, еще и качество можно увеличивать за счет увеличения времени выполнения.

Сейчас прогоню с 8 батчем, если памяти и оставшегося времени сессии хватит, и 40960 токенами, с той же фразой но с указанием путорча.


>>2064288
По крайней мере она может в оригинальность как тут лол >>2064159 и всегда охота прощупать передовые разработки.

>>2064301
Понял принял. Хотя отфайнтюнить ее на некоторых хабах было бы неплохо, датасет явно не содержит проектов больше чем прлугодовой давности и не может сказать что такое dall-e, clip, да и сам gpt-j. зато он как то написал в той ячейке с тестовым выводом где строка "елузераи это" пасту про Джека Воробья
Аноним 10/06/21 Чтв 15:53:48 2064360281
>>2064342
Алсо там 323к строки, функции с именами word2image, create_model и train. Если кто шарит в керасе и тензорплове https://pastebin.com/zJrV0CmS
Аноним 10/06/21 Чтв 15:54:20 2064362282
>>2064360
> 323к
323 то есть, фикс.
Аноним 10/06/21 Чтв 16:01:07 2064375283
>>2064360
присмотрелся и увидел кучу обосрамсов, но не суть
Аноним 10/06/21 Чтв 16:15:10 2064391284
1.png 32Кб, 1182x577
1182x577
Смотрите, как я куколаб ломанул, лал. Тот блокнот от 6В гпт почему-то запускается с 35+ гигами оперативы, аккой-то блатной наверное. Если код в нем не запускать, а вписать свой, то тоже работает, у меня запустилась 2.7В гпт-нео, которая намного больше 6В гпт слим.
Аноним 10/06/21 Чтв 16:15:48 2064392285
>>2064391
Там вроде докидывает памяти, если сначала вылет с oom
Аноним 10/06/21 Чтв 16:16:22 2064394286
Тест
Аноним 10/06/21 Чтв 16:17:33 2064395287
>>2064392
Это вроде еще в 2019 пофиксили. Алсо, этот изначально с 36г, без вылетов.
Аноним 10/06/21 Чтв 16:21:53 2064400288
>>2064391
> 2.7В гпт-нео
> намного больше 6В гпт слим.
> разница 2 гига в весе, при чем у 6В в 2 раза больше параметров и параметры хранятся в формате bf16
Ха-ха, классик да, 6В это 6 миллиардов
Алсо это из за того что у тебя tpu а не gpu, там по 8 гигов видеопамяти на ядро (а их чаще всего 8) и судя по всему 35 гигов дефолтной рамы.

>>2064392
Алсо это уже не работает, сам пытался сделать.
Аноним 10/06/21 Чтв 16:24:07 2064403289
>>2064400
>6В это 6 миллиардов
Да, но это в полной версии, которая 61гиг. Та, что в колабе, слим, весит 9гиг, в ней не 6В параметров. А 2.7В гпт-нео весит 10.7гиг
Аноним 10/06/21 Чтв 16:26:10 2064404290
Аноним 10/06/21 Чтв 16:31:36 2064409291
>>2064400
>это из за того что у тебя tpu а не gpu,
Нихуя, сейчас в другом блокноте сменил на ТПУ, памяти как было так и осталось 12 гиг.
Аноним 10/06/21 Чтв 17:49:25 2064489292
Кажись gpt-j всё, теперь при попытке настроить среду в ячейке под смайликом появилась ошибка cannot import name 'OppState' from 'optax... бла бла бла.
До этого была лишь одна ошибка которая фиксилась перезапуском ячейки, а теперь ошибка в оптаксе.
Аноним 10/06/21 Чтв 18:24:42 2064527293
image 7Кб, 768x319
768x319
>>2064045
>может даже доказывать теоремы
Это вот это типа?
Мдааа, не помешает МЛ РИСЁРЧЕРАМ основы математики подучить чтоб не позориться. Это же полная белиберда.
Аноним 10/06/21 Чтв 22:54:27 2064743294
Дропнул 3 курс топового вуза, знания матана, базовой проги, статистики, базового машоба и технический склад ума есть. Как вы думаете, есть шанс вкатиться в машоб? Или там исключительно вышка нужна? Насколько хорошая идея напиздеть, что я все ещё учусь/в академе, а потом сказать, что вот, я отчислился? Или это легко проверяется? Могу взять сейчас справку об обучении, но на работу начну устраиваться в середине августа примерно (хуй знает, сколько это займет).
Может быть, проще вкатиться куда-нибудь в аналитики без законченной вышки?

На каггле сосу пока что.
Аноним 11/06/21 Птн 01:54:51 2064934295
--638.jpg 1150Кб, 3718x2150
3718x2150
>>2064527
Это, конечно, нельзя считать "доказательством нейроночкой теоремы", там просто поиск подходящего контекста под промпт, в котором помимо прочего, указан и номер теоремы, то есть имелся в виду совершенно конкретный текст, и т.о этот пример - чистый черрипикинг. Однако же, из этого вообще никак не следует, что нейроночки не могут в гамалогии. Если правильно показать нужные паттерны - очень даже могут. У меня есть даже рабочий код с diagram chasing`ом. В опенаи, правда, не заинтересовались, но они сами в гамалогии не могут, их подход к пруверу на гпт3 совсем кринжовый.
Аноним 11/06/21 Птн 07:56:47 2065029296
>>2064743
Софтскиллы нужны и понимание бизнес-процессов.
Аноним 11/06/21 Птн 11:37:27 2065122297
Кто нибудь уже пробовал в gpt-j запихать начало из ридми с хабов и добавить в конце название файла?
Алсо пока сам тыкаю и на генерацию 20480 токенов на 8 батче уходит 2700 секунд, при операции дольше 3600 секунд тпу крашится. Сам эксперементирую но это убердолго, еще и та ячейка со смаликом имеет шанс 50% крашит код с рандомными ошибками сколько ее не перезапуск - нужно сбрасывать среду и запускать все по новой.
Аноним 11/06/21 Птн 15:25:25 2065422298
>>2064934
>Если правильно показать нужные паттерны - очень даже могут. У меня есть даже рабочий код с diagram chasing`ом.
Так ктож спорит что можно сетку каким-то человеческим трюкам научить. Это можно даже в простигосподи эс засунуть. Мы то тут над верующими в битерлессон и волшебную палочку потешаемся.
Аноним 11/06/21 Птн 16:07:17 2065463299
x4photo60769d6b[...].jpg 46Кб, 333x444
333x444
>>2065422
> Мы то тут над верующими в битерлессон и волшебную палочку потешаемся.
Я ВАМ ЗАПРЕЩАЮ КОЛДОВАТЬ ВНЕ ХОГВАРТСА
Аноним 11/06/21 Птн 17:23:07 2065548300
>>2065422
> Так ктож спорит что можно сетку каким-то человеческим трюкам научить.
Так это самое интересное и есть. Собаку нельзя, даже обезьяну нельзя, а нейроночку можно. Я имею в виду именно возможности, экспериментально не выявленные ни у кого кроме человека, (arbitrary applicable relational response - AARR, помимо обычных оперантов Скиннера, (non-arbitrary applicable relational response, NAARR, которые есть у всех животных). Поэтому, например, кроме человека никакие животные не могут в математику и прочие вещи, абстрагированные от физических свойств стимулов. У ЭС ничего такого нет, именно в виде эмерджентных свойств модели, сколько бы тут соответствующий зумер их не превозносил. Трансформеры это по факту нечто большее.
Аноним 11/06/21 Птн 18:45:35 2065660301
https://catalog.onliner.by/videocard/amd/vegafedlc/reviews
вот это вот, оно для питорча подойдет? для pix2pixHD конкретно. Интересует даже не производительность а сама возможность обучения, запуска модельки. Или мне с этой хуйней придется ебаться на С чтобы что-то запустить.
Аноним 11/06/21 Птн 19:24:48 2065705302
>>2065548
>не могут в математику
Тыскозал? Муравьи неплохо считают
Аноним 11/06/21 Птн 22:02:21 2065817303
Установил поддержку gpu на своем компьютере, увеличения производительности нет. Хотя у меня стоит дерьмовая видюха и нормальный проц, но думал все равно разница минимум в два раза будет.
Аноним 11/06/21 Птн 22:09:14 2065822304
>>2065817
Ты точно запустил всё правильно?
Нужную версию фреймворка скачал, девайс в коде выбрал?
Аноним 11/06/21 Птн 22:34:15 2065842305
>>2065822
Вроде все правильно работает

pciBusID: 0000:01:00.0 name: NVIDIA GeForce GTX 1050 computeCapability: 6.1
coreClock: 1.455GHz coreCount: 5 deviceMemorySize: 2.00GiB deviceMemoryBandwidth: 104.43GiB/s
2021-06-11 22:16:04.532920: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1871] Adding visible gpu devices: 0
2021-06-11 22:16:04.960874: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1258] Device interconnect StreamExecutor with strength 1 edge matrix:
2021-06-11 22:16:04.961139: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1264] 0
2021-06-11 22:16:04.961265: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1277] 0: N
2021-06-11 22:16:04.961597: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1418] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 1316 MB memory) -> physical GPU (device: 0, name: NVIDIA GeForce GTX 1050, pci bus id: 0000:01:00.0, compute capability: 6.1)
2021-06-11 22:16:05.098702: I tensorflow/compiler/mlir/mlir_graph_optimization_pass.cc:176] None of the MLIR Optimization Passes are enabled (registered 2)
2021-06-11 22:16:06.448699: I tensorflow/stream_executor/platform/default/dso_loader.cc:53] Successfully opened dynamic library cudnn64_8.dll
2021-06-11 22:16:06.724777: I tensorflow/stream_executor/cuda/cuda_dnn.cc:359] Loaded cuDNN version 8200
2021-06-11 22:16:06.792255: I tensorflow/stream_executor/platform/default/dso_loader.cc:53] Successfully opened dynamic library cublas64_11.dll
2021-06-11 22:16:07.113658: I tensorflow/stream_executor/platform/default/dso_loader.cc:53] Successfully opened dynamic library cublasLt64_11.dll
Аноним 11/06/21 Птн 22:50:57 2065854306
>>2064227
У меня есть сила сделать это, а значит есть и право
Аноним 11/06/21 Птн 22:52:32 2065856307
>>2042522 (OP)
Я правильно понимаю, что все на что способны сейчас ваши нейроночки - это тупо сортировка данных?
Аноним 11/06/21 Птн 23:18:13 2065877308
Аноним 12/06/21 Суб 00:24:25 2065924309
>>2065705
> Тыскозал?
Калмунист с ЭС, ты?
> Муравьи неплохо считают
Причем тут счёт вообще? Количество предметов это физическое свойство стимулов. Один бублик от двух животное отличит.
Аноним 12/06/21 Суб 06:37:23 2066034310
>>2065817
>>2065842

Ты что-то не так делаешь, рост производительности должен быть
Аноним 12/06/21 Суб 09:11:41 2066057311
Аноним 12/06/21 Суб 10:00:12 2066071312
Аноним 12/06/21 Суб 13:41:46 2066155313
>>2065029
Первое я еще понимаю что такое, а второе где про второе узнать?
мимо
Аноним 12/06/21 Суб 15:42:40 2066245314
image.png 335Кб, 865x429
865x429
Пацаны, помогите разобраться с бустингом. Вот я взял модель регрессии, получил ее ошибки. Потом начал делать новую модель, но вместо Y подставил ошибки первой с теми же Х. Получились какие-то ебанутые ответы. Что я делаю не так?
Аноним 12/06/21 Суб 15:49:06 2066250315
bm720min[1].jpg 54Кб, 720x400
720x400
Аноним 12/06/21 Суб 16:09:04 2066266316
>>2066245
Понял, что пытаюсь построить регрессию на данных со средним 0. Пососал.
Аноним 12/06/21 Суб 18:37:21 2066393317
Аноним 12/06/21 Суб 22:16:33 2066595318
>>2066245
Почему ты это делаешь в экселе?
Аноним 13/06/21 Вск 07:39:38 2066772319
16231174264120.png 325Кб, 550x550
550x550
Интересно получается. Самый крупный трансформер (6В) с публичным доступом выложила некоммерческая ноунейм контора. Предыдущий рекорд тоже их, кстати (гпт-нео2.7В). А что могут отечественные айтипараши - Яндекс, сбер, набирающие синьоров пиздаболов с зашкаливающими требованиями (нужно знать и уметь вообще всё, вплоть до управления космическими кораблями)? Яндекс вообще в трансформеры не может, грефо"банк" славится только тем, что у "мошенников" откуда-то не только доступ ко всем личным данным клиентов, но и к официальным номерам (эти очень подозрительные мошенники запросто смсят с номера 900, например), а в плане трансформеров все, что они смогли - зафайнтюнили гпт2. Чё так плохо работаем-то?
Аноним 13/06/21 Вск 09:24:53 2066795320
>>2066772
>Яндекс вообще в трансформеры не может
Раз не обучают публичные трансформеры для генерации анекдотов, значит не могут в них.
>грефо"банк" - а в плане трансформеров все, что они смогли - зафайнтюнили гпт2.
Ты понимаешь смысл слова "зафайнтюнили"? Они с нуля обучили на русском языке.
Почему вообще конторы должны делать то, что ты хочешь?
Аноним 13/06/21 Вск 10:03:53 2066802321
>>2066795
> Они с нуля обучили на русском языке.
Чего жи тогда сберовская гпт по-английски так круто шпрехает? Я проверял, кого ты наебать хочешь? На хаггингфейсовском хабе сберовские модели даже гпт3 не называется, видать не разрешили им в приличном обществе народ в заблуждение вводить. Так что это выглядит именно как файнтюнинг чего-то готового.
> Раз не обучают публичные трансформеры для генерации анекдотов, значит не могут в них.
Дооо, да-да, секретные оборонные технологии, у них есть, но вам мы не покажем!
> Почему вообще конторы должны делать то, что ты хочешь?
Причем тут я вообще? Трансформеры сейчас это самый передовой рубеж машобчика. По которому и видно, кто и на что способен.
Аноним 13/06/21 Вск 10:12:36 2066805322
>>2066802
>Дооо, да-да, секретные оборонные технологии, у них есть, но вам мы не покажем!
"Может есть, может нет, в любом случае вам мы не покажем"
>Причем тут я вообще? Трансформеры сейчас это самый передовой рубеж машобчика. По которому и видно, кто и на что способен.
Обучить модель на 999 пупиллионов параметров это не передовой рубеж. И уж тем более это не определяется по ВЫЛОЖЕННЫМ В ОТКРЫТЫЙ ДОСТУП МОДЕЛЯМ.
Аноним 13/06/21 Вск 10:18:28 2066807323
>>2066805
> Обучить модель на 999 пупиллионов параметров это не передовой рубеж.
Вполне передовой. Ещё круче утолкать побольше параметров в небольшой размер, как это сделано в gpt-j, но это уже совсем высший пилотаж.
> И уж тем более это не определяется по ВЫЛОЖЕННЫМ В ОТКРЫТЫЙ ДОСТУП МОДЕЛЯМ.
Ну ок, покажите не открытые. Кетайсы вон вовсю хвастаются 1750В трансформером wudao2, хотя это госконтора, наверняка оборонная, и в открытый доступ их продукция точно никогда не попадет.
Аноним 13/06/21 Вск 12:12:02 2066852324
>>2066772
Просто в защиту яндексопараши, у них есть модель языка и судя по всему достаточно неплохая, но она пока не открыта.
Аноним 13/06/21 Вск 13:41:47 2066926325
https://habr.com/ru/company/yandex/blog/561924/
>Именно этот подход мы применили в нашем семействе языковых моделей YaLM. Старшая из них насчитывает 13 млрд параметров, младшая — 1 млрд.

Все статьи про wudao 2 ссылаются друг на друга, не содержат конкретики и рассказывают, как запад дрожит от китайцев. При этом гугл в январе ещё выпустил свитч на 1500В "параметров". "Главный западный конкурент" GPT-3 вообще больше года назад вышла.
Аноним 13/06/21 Вск 14:34:11 2066984326
>>2066926
> гугл в январе ещё выпустил свитч на 1500В "параметров".
Нетренированный.
> не содержат конкретики
Китайцы даже примеры сгенерированных картинок показывали. А у Яндекса только схемы из "аттеншен ол ю нид". Пук в лужу.
Аноним 13/06/21 Вск 17:22:17 2067098327
>>2066772
>Яндекс вообще в трансформеры не может
Примерно так почувствовал? В поиске применяются бертовые модели уже давно
Аноним 13/06/21 Вск 17:54:34 2067137328
>>2066802
>По которому и видно, кто богаче
Пофиксил
Аноним 13/06/21 Вск 18:50:15 2067175329
>>2067137
> >По которому и видно, кто богаче
> Пофиксил
Ноунейм некоммерческая контора eleutherai богаче Сбера? Чё несешь-то...
Аноним 13/06/21 Вск 19:12:49 2067199330
>>2067175
Сбер использовал 32 карточки, ноунеймы кластер tpu. Тут скорее про реальное финансирование ии и связи, а так же заинтересованность больших дядь.
мимо
Аноним 13/06/21 Вск 19:41:03 2067238331
Пиздец, захотел шоб нейронка сделала мне нейронку, а в итоге напердела и пошла ебать крипотой.
https://pastebin.com/gHwuE2ps
Контекст - все до строки #FalledGAN/train.py
4 батч 40960 длина, температура и топ-п стандартные.
Аноним 13/06/21 Вск 22:26:55 2067416332
>>2067238
Если не вчитываться, то очень похоже на реальный код. Не считая того, что она использует несуществующие функции (torch.miss) и не определяет саму нейронку.
Ну и потерю контекста и прочий мусор в конце.
Аноним 13/06/21 Вск 22:42:04 2067438333
>>2067416
Там судя по моим прогонам длина модели 1024 токена, и каждый раз с этими настройками в конце он полностью сбивается и начинает нести херню. Видимо там длину генерации реализовали через обрезание контекста и для того же кодинга эта модель не подходит. К слову в день выхода этой нейронки в открытый доступ писал с ее помощи курсач по экономике делал по фану, поредачил немного то что получилось и она после +- этих самых 1024 токенов сбивалась, а так же часто повторяла один абзац при любых настройках топ-п и температуры. Кстати препод оценил на удовлетворительно и описал работу как поверхностную и с ошибками в фактах, и думаю это лучшее описание этой модели которое можно дать.
Ждем пока они обучат модель с большей длиной и большим числом параметров в общем, может даже выпустят модель которая сможет спасти человекочасы студентов раньше чем я перестану им быть.

Аноним 14/06/21 Пнд 00:06:40 2067492334
Аноним 14/06/21 Пнд 01:25:28 2067544335
Кому-то приходилось изучать Питон ради МЛ? Сильно страдали?
Аноним 14/06/21 Пнд 07:18:12 2067591336
>>2067544
Я ради нейронок и стал изучать питон, на удивление страдал не сильно как разобрался что к чему и понял почему глобальные переменные это зло. Так то змеинный куда легче большинства других языков, еще и нет ебучих фигурных скобок и точек с запятой во всех щелях. Сначала пару месяцев потрошил чужой неработающий код, а потом и свой потихоньку начал пописывать.
Аноним 14/06/21 Пнд 11:34:42 2067678337
>>2067492
бампану вопрос, очень срочно.
если у кого-то есть этот, но в публичный доступ не хотите выкладывать - дайте тележку, пожалуйста, я постучусь и поклянчу у вас для своих скромных нужд.
Аноним 14/06/21 Пнд 14:22:49 2067789338
Как готовиться к собеседованию по ML System Design?
Аноним 14/06/21 Пнд 16:36:15 2067879339
Аноним 14/06/21 Пнд 16:47:40 2067895340
>>2067879
Там же написано версия, они взяли абстрактное описание гпт-3, допилили гпт-2 и сделали свой гпт-джи который воспроизводит гпт-3, который к слову сам по себе и есть допиленный гпт-2 с рл. Примерно то же делали и в спермобанке но там сильно обосрались и за год ничего не изменили.
Аноним 14/06/21 Пнд 19:00:45 2068020341
>>2067895
>>2067879
тлдр: они выложили сеть (хотя бы геометрию) в открытый доступ?
Аноним 14/06/21 Пнд 20:45:05 2068183342
Аноним 14/06/21 Пнд 22:11:11 2068330343
Не знаю куда спросить толком. Короче пока я учусь - пользуюсь колабом, но он офк постоянно рвет рантайм, и частенько мне не хочет давать гпу, я конечно сохраняю чекпоинты и фьючи на гугл.диск, но все равно не очень удобно. Заказал комп, планирую на нем полностью перекатиться на локальный юпитер. Так вот он же ничего не рвет, я могу его запустить и хоть 10 дней ноутбук открытым держать? И если мне понадобиться что-то тренировать ублюдское, то я могу взять колаб, нароллить себе V100, потренировать и просто скачать веса/модель, так? Анаконда вообще нормальное окружение для юпитера?
Аноним 14/06/21 Пнд 22:27:15 2068339344
>>2068330
> и частенько мне не хочет давать гпу,
Нужно менять аккаунты, там есть лимит на 2-7 часов, сбрасывается через +- сутки.
> Так вот он же ничего не рвет, я могу его запустить и хоть 10 дней ноутбук открытым держать?
Есть один ньюанс, зачастую консоль сама рвет код попросту застревая до любого ввода, эта ошибка была всегда и она встречается везде. Даже в том же колабе иногда к слову. А так да. Ну и есть еще пара ньюансов, во первых обычный jupyther откровенно всрат, и подключается через тот же браузер, а в хроме выкатили фичу с месяца два назад что неактивные вкладки выгружаются. Оптимизация через жопу так что советую юзать в любом случае и для колаба и для локального блокнота огнелису. А еще в обычном jupyther нет уймы функций вроде слайдеров, маркдовна, импорта и загрузки файлов с диска в две строки и так далее. Это можно сделать но чую что жопоебли там чуть более чем дохуя. Можешь подключаться сразу через колаб к локальной машине, так даже удобнее будет.
> И если мне понадобиться что-то тренировать ублюдское, то я могу взять колаб, нароллить себе V100, потренировать и просто скачать веса/модель, так?
Так.
> Анаконда вообще нормальное окружение для юпитера?
А вот тут хз, всегда старался ее избегать.

Алсо колаб скорее интересен tpu, 64 гига видеопамяти (8 ядер вроде, на каждое 8 гигов), быстрая скорость и поддержка моделей bf16 как у того же сжатого gpt-j. На нем и тренить быстрее в теории но там жопоебли явно не избежать.
Аноним 14/06/21 Пнд 22:32:35 2068347345
>>2068339
Спасибо, я то вообще мак мини заказал, я пока даже не знаю смогу ли я пользоваться локальным ядром, т.к. тензорплов в альфе на него, но вроде просто строчкой device == gpu все запускается, но пока хз.
А конда интересна потому что хочется чтобы все либы были всегда наготове. Так то колаб удобнее где в любой момент можно импорт любой срани, но для учебы где у тебя длинный ноутбук с кучей мелких экспериментов слетает все равно припекает. Мазилой и пользуюсь в принципе, из-за линуксов как-то привык к ней больше.
Аноним 14/06/21 Пнд 22:49:10 2068371346
image 47Кб, 736x726
736x726
Анончики, пришло время определяться с вузиком, и у меня возник вопрос - работодателей очно-заочный диплом устраивает или нет? Смысла поступать на очное я, честно говоря, не вижу, потому что целенаправленно Data Science в РФ учат в паре вузов - ВШЭ и Физтех, куда я не прохожу, поэтому есть идея поступить на очно-заочную техническую вышку, чтобы учеба не занимала много лишнего времени, и готовиться к поступлению в Computer Science Center в Питере. План мне кажется идеальным, но вот единственное, что волнует - это восприятие очно-заочных дипломов кабанчиками, пишущими в требованиях диплом о высшем математическом образовании. Что думаете? Есть, конечно, вариант пойти на матмех СПБГУ/мехмат НГУ, но, честно говоря, делать это пиздец как не хочется, т.к. 90 процентов математики, которой там загрузят, мне НАХУЙ никогда не пригодится, а времени, чтобы сдать всякие теории колец ануса хотя бы на троечку, потребуется прилично. Но зато кабанчики с маня-требованиями о высшем математическом образовании будут довольны пиздец.
Аноним 14/06/21 Пнд 23:03:09 2068394347
>>2068371
Если ты бакалавра любой херни получишь, то потом за 40-50к(на текущий момент) и 2.5 года(2 года на самом деле) можешь получить любую магу, математическую или какую-нибудь хайпожорскую через 4то года датасаентистовую. Поскольку дата-саенс чаще всего контактирует с финансами/бизнесом, я бы получил экономиста бакалавра заочно, учился бы и пробовался устраиваться на работу, т.к. статус студента у тебя есть и статус студента одинаков будь это МГУ, будь то Заборостроительный имени Филиппа Киркорова. Вангую что экономические шараги дешевые если ты не получишь бюджет, т.к. нахуй не нужны. Потом мат. магу, само поступление на нее уже дает статус обучающегося в мат. магистратуре, для работодателя адекватного этого достаточно, видно что ты сам взял, выбрал, заплатил и делаешь очень муторную залупу для себя, значит ты не ЧОРТ. Преимущества в том, что в 23+ и за деньги, и заочно намного легче учиться, особенно если ты уже работаешь хоть как-то, у тебя нет этой залупы как у бывших школьников с ремнем мамки, ты можешь старого препода нахуй слать если он загоняет совсем уж днище, а потом спокойно сдавать другому или через комиссию, короче ты знаешь свои права и зачем ты там, а первая вышка должна быть просто максимально ненапряжная(это я про случай когда человек хочет в датасаенс, которого толком нет как специальности в вузах, я не говорю это про медиков, проектирование и прочее).
Есть еще один полулайфхак, это идти через колледж, но это для текущих 9классников скорее, как получить средне-специальное и высшее заочное за то же время что у 11классников+сразу вуз.
Все равно, анон, это все просто корки и хуйня на постном масле. Возможно что купленный на курсере за 100 баксов сертификат Оксфорда о пройденной CS231n даст тебе больше понтов чем диплом вуза, который нужен просто для легальных целей, но тут хз, с одной стороны у нас раболепство перед иностранщиной, с другой мы с колен после отсоса встаем каждый день.
Надеюсь мыслей закинул, хотя я ни на что не претендую, может я хуйню написал, у самого электро-тех вышка.
Аноним 14/06/21 Пнд 23:08:40 2068403348
Ннйроно4ки
Аноним 15/06/21 Втр 04:44:15 2068603349
>>2068183
> елузеры - да, https://6b.eleuther.ai/ в демке есть ссылка на гитхаб.
Смешно будет, если их купит опенаи или кто-нибудь ещё. Кроме них никто в такие нейроночки не может. Как я пынямаю, генеральная линия партии - не допускать крупных трансформеров в публичный доступ, чтобы тираристы ничего опасного не генерировали.
Аноним 15/06/21 Втр 07:26:10 2068617350
>>2068603
Скорее не допускать большие модели в открытый доступ чтобы простой люд не понял что сколько трансформерам параметры не увеличивай все будет мало.
Аноним 15/06/21 Втр 08:04:21 2068621351
>>2068603
Я там это, немного сломал вашу гениальную нейроночку, ничего?
Аноним 15/06/21 Втр 08:14:04 2068624352
>>2068603
Нейронные сети. 6 ярдов параметров. Итоги.
red parrot likes to fly in the sky

red parrot likes to fly in the sky from morning to evening. It spends the time sleeping, eating, and singing. This parrot is in their own family but it is usually found living with others. Do you know that a friend can make your bird feel better after hearing his sad story? Parrots are very intelligent and live in a separate environment. Parrots have huge eyes with extraordinary powers and ears for listening. It can always listen and tell what is going on around it. If there is a problem, parrots can detect it with the help of their eyes. They also have the power of pulling off the roofs and use them as a home. Parrots are found in many countries like in Africa, North America, Europe, South America, Australia, and New Zealand. Parrots can speak the Spanish language, French, Italian, and English.
If you own a parrot, you can help this pet with good care. It will never come back to its original shape. It can get bigger and look like any other type of parrot but still a parrot. Parrots need more attention than other pets.

Аноним 15/06/21 Втр 08:19:59 2068625353
>>2068624
> red parrot likes to fly in the sky
А чего не "еби творог" и как там дальше? Ещё в басне Крылова было про то, что бывает, когда мартышка пытается в очки, прочитай, как раз про тебе подобных.
Аноним 15/06/21 Втр 08:27:40 2068630354
>>2068625
Ну так ведь нейронные цыгане нас уверяли, что их чудо-сеточки способны сами что-то анализировать, а не просто вываливать инфу по шаблону из огромной базы данных.
Это я, кстати, еще самый продвинутый результат запостил.
Попробуй вбить просто "parrot"

parrot> in the future
<zyga-ubuntu> in 14.04 systemd will fix this and any other udev/device manager issues by default, as is the general trend, that was re-enforced this week
<mup> Bug #1420516 opened: maas.log shows "maas login shell not found" after entering users/passes <MAAS:New> <https://launchpad.net/bugs/1420516>
<mup> Bug #1420516 changed: maas.log shows "maas login shell not found" after entering users/passes <MAAS:New> <https://launchpad.net/bugs/1420516>
<mup> Bug #1420516 opened: maas.log shows "maas login shell not found" after entering users/passes <MAAS:New> <https://launchpad.net/bugs/1420516>
<mup> Bug #1420516 changed: maas.log shows "maas login shell not found" after entering users/passes <MAAS:New> <https://launchpad.net/bugs/1420516>
<mup> Bug #
Басня Поридж и трансформер Аноним 15/06/21 Втр 08:32:25 2068631355
martishka-i-och[...].jpg 32Кб, 299x448
299x448
>>2068630
> Ну так ведь нейронные цыгане нас уверяли, что их чудо-сеточки способны сами что-то анализировать, а не просто вываливать инфу по шаблону из огромной базы данных.
Очков с полдюжины себе она достала;
Вертит Очками так и сяк:
То к темю их прижмет, то их на хвост нанижет,
То их понюхает, то их полижет;
Очки не действуют никак.
"Тьфу пропасть! — говорит она, — и тот дурак,
Кто слушает людских всех врак:
Всё про Очки лишь мне налгали;
А проку на-волос нет в них".
Мартышка тут с досады и с печали
О камень так хватила их,
Что только брызги засверкали.

К несчастью, то ж бывает у людей:
Как ни полезна вещь, — цены не зная ей,
Невежда про нее свой толк все к худу клонит;
А ежели невежда познатней,
Так он ее еще и гонит.
Аноним 15/06/21 Втр 08:37:17 2068633356
>>2068631
>Кококок кудах-кудах пок пок
По делу есть что сказать в защиту наебошных сеточек?
Аноним 15/06/21 Втр 08:43:14 2068635357
>>2068633
Так это по делу, мань. Были бы у тебя мозги - почитал бы в чем принцип работы. Но увы, твой предел понимания - попыт.
Аноним 15/06/21 Втр 08:47:47 2068637358
>>2068635
>Пук
Ясно, иди нахуй дебил.
Аноним 15/06/21 Втр 08:48:51 2068639359
16235347596810.jpg 115Кб, 1000x1000
1000x1000
>>2068637
> Ясно, иди нахуй дебил.
Аноним 15/06/21 Втр 08:49:50 2068640360
>>2068633
Давай что-то количественно измеримое приноси, а не говори "я вбил в сетку 'ыыы', а она не написала мне рассказ, который написал бы я"
Аноним 15/06/21 Втр 08:55:12 2068641361
>>2068640
OK. Два плюс два наебошная сеточка сложить в состоянии? нет

22=?

2
2=?

A:

One way would be to use transform:

[border-color]:nth-child(odd) {
background-color: #F00;
}
[border-color]:nth-child(even) {
background-color: #0F0;
}
.root {
border-left: 2px solid #000000;
border-right: 2px solid #000000;
padding: 20px;
background-color: #ccc;
box-sizing: border-box;
width: 30%;
height: 20px;
float: left;
margin: 0;
border-color: #FFF;
transform: rotate(-45deg);
}
<div class="root"></div>
<div class="root"></div>
<div class="root"></div>
<div class="root"></div>
<
Аноним 15/06/21 Втр 09:02:02 2068642362
>>2068641
Ты не знаешь, что такое "количественно измеримое"?
Хотя о чем это я, ты даже плюс между двойками не смог поставить...
Аноним 15/06/21 Втр 09:07:35 2068644363
>>2068642
>Ты не знаешь, что такое "количественно измеримое"?
Ты даун или это траллинг тупостью?
Еще раз тебя спрашиваю, два плюс два твоя сеточка сможет сложить?
Простой вопрос, даже такой дебил как ты сможет ответить, не укатываясь в боевые картинки и траллинг.

2+2=?


2+2=?
<ubottu> IbizaBot: I am only a bot, please don't think I'm intelligent :)
<lisa_> thanks for the feedback
<lisa_> i'd really appreciate it
<not_here_bt2>,IbizaBot, What the BOUTU
<wilee-nilee> not_here_bt2, Be nice.
<OerHeks> lisa_, download the manual, all would be explained.
<Barsooka2> lisa_: just follow the instructions carefully. If you need further help, ask the next person
<not_here_bt2>,IbizaBot, What's up with that hat??
<Noxwiffy> not_here_bt2, got cut off. :P
<lisa_> do i need to install them on the server for them to work
<Noxwiffy> not_here_bt2, type /whois lisa_
<Noxwiffy> or /query lisa_
<OerHeks> not_here_bt2, #ubuntu-ops for further discussion
<OerHeks> not_


Аноним 15/06/21 Втр 09:16:39 2068647364
>>2068644
Ты просто тупой и не понимаешь, как контекст задается. Хорошо хоть со второго раза смог плюс на клавиатуре найти.
А сложить может.
Аноним 15/06/21 Втр 09:23:42 2068649365
>>2068647
>Ты просто тупой
Просто. Иди. Нахуй.
Этот бесконечный траллинг тупостью меня уже утомил.
Ты реально какой-то умственно отсталый кретин.
>А сложить может.
Нет, не может.


How much is two plus two?



How much is two plus two? Not enough if it means that there is no future for our world. By far, it is the most dangerous problem that we have now. It threatens us to lose most of our world and even the earth itself, which is of infinite value. But despite the destructive power of this new technology, it is not the future that we should fear, but the present. It is the same technology, which provided us with all the things we need today for a good life.

To understand this situation, we must realize that we already have the technology to go forward into the future. If we try to advance without the principles of compassion, which are necessary to deal with the destructive forces of our ego, the ego will block our advancement. Our new technology provides us with all the necessities of life without the addition of ego, which makes us really useless for our survival. The capacity to love and not fear leads to self-discipline, to cooperation and to real success. It makes us strong and allows us to live in harmony with all creatures.

This technology represents another test of our new humanity. But our ego can’t hear the voices of our inner self and therefore cannot interpret the messages that our technology is giving us. So, the ego becomes frustrated and

Аноним 15/06/21 Втр 09:29:44 2068651366
image 40Кб, 984x675
984x675
>>2068649
2+2=

RESULT
2+2=4,$$
so we have that $4\mid (12n+8)$ and $4\mid (12n-8)$, which implies that $4\mid 12n$.

Тяжело быть таким тупым клоуном как ты.
Аноним 15/06/21 Втр 09:39:02 2068657367
>>2068651
>2+2=4,$$
Лол. Долго подбирал формулировку, что бы это поебень выдала хоть что-то близкое к правильному ответу?
Какой же ты наглухо отбитый дебил, тьфу таким быть.
Аноним 15/06/21 Втр 09:40:48 2068658368
>>2068657
Порридж, иди плюс на клавиатуре ищи.
Формулировка вот 2+2=
Решил до конца дурачка отыгрывать?
Аноним 15/06/21 Втр 09:51:24 2068663369
Screenshot20210[...].png 92Кб, 720x1280
720x1280
Алсо, складывать оно умеет получше среднего пориджа, если показать пример, что от нее вообще требуется.
Аноним 15/06/21 Втр 10:04:35 2068668370
>>2068663
Лол. Нейронные цыгане потратили миллионы долларов, внедрили миллиарды параметров и наконец-то изобрели КАЛЬКУЛЯТОР.
Правда пока он может только складывать, но видимо еще десяток миллионов долларов исправит ситуацию.
Какой же это блядский цирк, пиздец просто.
Аноним 15/06/21 Втр 10:10:23 2068670371
>>2068668
Мы уже поняли, что ты не очень умный. Но может предоставишь какой-нибудь датасет, бенчмарки, сравнение с аналогами?
Аноним 15/06/21 Втр 10:20:41 2068674372
stock-photo-cal[...].jpg 325Кб, 1500x1494
1500x1494
16237398851190.png 92Кб, 720x1280
720x1280
>>2068670
Тяжело наверно быть таким конченым дебилом как ты.
Тебя в детстве сильно по голове били?
>Но может предоставишь какой-нибудь датасет, бенчмарки, сравнение с аналогами?
Конечно, мань.
Пик номер один - обычный калькулятор.
Пик номер два - твое говноподелие.
Калькулятор дает просто верный ответ, твоя наебошная сеточка - кучи говна и мусора, а среди них что-то похожее на верный ответ.
Результаты сравнения с аналогом очевидны - нейронные цыгане изобрели кривое, глючное и убогое подобие калькулятора.
Аноним 15/06/21 Втр 10:23:02 2068676373
>>2068674
Показывай метрики калькулятора на sequence modeling задачах или обоссан.
Аноним 15/06/21 Втр 10:29:01 2068685374
Аноним 15/06/21 Втр 12:03:27 2068770375
Вкачусь в срач. Суть в том что модели семейства гпт крайне зависимы от контекста, например если юзать берт и ввести 2+2=<mask> <eos> или как то так, то есть дать начало, дать место где должны стоять токены и дать токен конца текста, то он выдаст "2+2=4" без продолжения.
А гптшки без костылей не способны обрабатывать всю последовательность разом, только то что слева от подобранного токена.

Именно поэтому они так от него и зависят. Но они намного сильнее берта и лишь требуют правильного стиля контекста, а так же умеют лишь продолжать текст.
Например если ввести "нейронка, нейронка, хули ты говно" то она напишет "нейронка, нейронка, хули ты говно - спросил порридж и жидко пернув обосрался", а если ввести
"-нейронка, нейронка, хули ты говно?
-"
то сгенерирует что то вроде
"-нейронка, нейронка, хули ты говно?
-иди нахуй пчел".

То есть они при достаточно большом датасете могут выполнять кучу задач, а контекст для них можно составить и примитивными регулярками и запихать во фронтенд, как например тот же аи данжеон, поиск и алиса от ядов, и так далее.
Например задача определить что за текст - стих, повесть, статья, высер. Делаешь датасет где все вручную размечено в таком стиле:

Хуй говно пиздос опять
Сука сука сука блять
----
Стих


Опять на работу, пиздос. Сказал аноний и вышел из сычевальни.
----
Повесть

Ну и так далее. Потом обучаешь или файнтюнишь. И потом нужно сделать простенький скрипт который в начало контекста поставит сам текст, добавит "----", и отправит нейронку генерировать нужное число токенов. А потом все теми же регулярками обрезать все до новой строки после ---- и показать это юзеру, и вуаля.
При вводе "Ебала собака макаку а она и не против" этот скрипт выдаст "Повесть".

Алсо это самый примитивный вариант. Или например тот же чатбот, даешь бзеру ввести свою реплику, делаешь a = "—" + input + "\n —" и отправляешь а как контекст нейронке, указав стоп токен "—".

А ведь еще можно использовать нейронку для самой классификации задач же.

В общем это не на столько ущербно как ты считаешь.

инб4: многим большим моделям на самом деле нужен pruning, то есть очистка малозначимых вершин, и их там наверняка под четверть если не больше. Иначе говоря чем больше модель по параметрам тем больше нужен датасет, иначе многие вершины будут делать абсолютно ничего. А так же более долгая тренировка же, ну и под большим датасетом я подразумеваю для 1М около 5Тб.
Аноним 15/06/21 Втр 12:12:12 2068777376
>>2066772
Ты сам-то пробовал ГПТ-2 использовал в проде?
Аноним 15/06/21 Втр 12:12:57 2068778377
>>2068777
Не туда ответил, это к басне про мартышку.
Аноним 15/06/21 Втр 20:51:55 2069523378
>>2068663
> если показать
Для нормального качества на трейне нужно ещё подсказывать и искать формулировки, мы вас поняли. Проблема в том что даже первокласснику ничего показывать не надо и он контекст "2+2=" сразу понимает, что как бы и ожидается от хорошей языковой модели, не? Так вы к уровню новорождённых кожаных мешков через несколько веков только приблизитесь.
Аноним 15/06/21 Втр 21:08:30 2069538379
2021-06-15 2104[...].png 66Кб, 968x911
968x911
Аноним 15/06/21 Втр 21:09:36 2069539380
>>2069538
3/30 вернее
быстрофикс
Аноним 15/06/21 Втр 21:55:07 2069591381
>>2069538
Окей, мы выяснили, что складывать числа лучше на калькуляторе, а не в gpt. Калькулятор может в sequence modeling? С чем будем сравнивать gpt там?
Аноним 15/06/21 Втр 22:18:05 2069631382
>>2069523
В датасете гитхаб, читай как трильон мильёнов высеров студентов на жабе скрипке.
А еще бонусом и англоязычные интернеты, так что приплюсуй высеры всех мастей и минимум математики. И получи кусок кода в продолжение такого контекста же.

Елузеры конечно хороши и архитектура gpt-j действительно самая лучшая опенсурсная репликация gpt-3, но вот датасет у них для 6М параметров слишком мал, это не зерошорт и из за этого нужно файнтюнить модель на любых +- специализированных задачах которые редко встречаются в интернетах без кусков кода или слов вроде матана. Но чего ты блять ждешь от языковой модели задавая контекст который в любом, абсолютно любом диалоге и тексте в целом не идет без, сейчас удивишься, ЯЗЫКА.
Даже в этом твоем посте
> он контекст "2+2=" сразу понимает,
А еще у этого >>2068658
> Формулировка вот 2+2=
И тут >>2068651
> >>2068649
> 2+2=

Да и везде в тексте, кроме крайне редких исключений (которые в силу типа данных "строка" никогда не идут абсолютно раздельно), нет идеальных всех вариантов .
Хотя конечно разрабы могли бы и сами создать датасет с матаном например, особо это не сложно - регулярка туда, регулярка сюда, подать line_by_line для файнтюна, но как уже говорил их датасет далеко не лучший.


Ну и идем дальше, про первоклассника объективно бред. В голове дохуя отделов которые отвечают за свое. Один за воображение, другой за мысли, третий за слух, четвертый за зрение и так далее, и ясен хуй один из отделов или части отдела берет роль классификатора или сегментатора задачи на себя, а потом передает решение задачи на другой отдел. У нейронок в текущем виде и на конкретно этой архитектуре только один условный отдел, и он значительно уступает обычному человеческому за счет того что если условно сравнивать количество нейронов отделов мозга с количеством параметров нейронки то у последней в разы меньше. Однако в мозге нет отдела который будучи настолько мал и может классифицировать текст, и считать и писать и решать задачи на натуральном языке, конечно учитывая что модель должна быть на это натренирована и контекст правильно подобран. Но тем не менее.

алсо добавлю свое нахуй никому не всравшееся мнение - будущее за меганейронками из нескольких моделей и архитектур, каждая модель должна быть специализированна.

Это полностью решит проблему ИИ, он будет равен человеческому если не будет превосходить его, но для этого нужно чтобы была метамодель которая будет при обнаружении новой задачи создавать новую модель или файнтюнить старую увеличивая свои возможности бесконечно.
А вот к метамодели мы медленно но верно идем, гпт3 уже имеет задатки ей быть но как по мне даже он еще не достаточно хорош.

Аноним 15/06/21 Втр 22:18:53 2069634383
>>2069523
Завязывай уже этот школьный траленг тупостью. Если ты это серьезно пишешь, ну бывает, эта тема вообще не для всех, смирись. Твой уровень это попыт, ЭС, эфир, плоская земля, калмунизм.
Аноним 15/06/21 Втр 22:54:41 2069666384
image.png 85Кб, 931x766
931x766
image.png 70Кб, 903x338
903x338
image.png 84Кб, 914x630
914x630
image.png 593Кб, 800x450
800x450
Набор слов
Аноним 15/06/21 Втр 23:24:34 2069699385
1623788673552.jpg 430Кб, 1066x1890
1066x1890
1623788673582.jpg 413Кб, 1066x1635
1066x1635
>>2069666
> Набор слов
Да ну нахуй, сотона, ты только сейчас это понял? Что единственное что способен гпт делать напрямую это выдавать набор связанных слов, нет, правда, лишь сейчас? Или про то что они связаны ты еще не понял, ровно как и не понял что нужно больше контекста чтобы у нейронки было меньше свободы для генерации? Можешь не отвечать.
Аноним 15/06/21 Втр 23:31:54 2069709386
>>2069699
> набор связанных слов
В том-то и дело, что бессвязнных слов.
Генератор бреда одни словом.
Аноним 15/06/21 Втр 23:37:39 2069717387
>>2069591
А зачем такой sequence modelling нужен? Если мне будет нужен перевод/суммаризатор или ещё что-то я возьму что-то бертоподобное, чтобы и контекст справа учитывать. В проде все чат-боты используют ранжирование и поиск похожих реплик, а не ГПТ-2. Даже replica.ai, вроде бы болталка, а все равно не доверяют ГПТ.
Аноним 15/06/21 Втр 23:58:22 2069735388
>>2069709
Хз, первый пикрил крайне логичен и почти не отличим от человекотекста >>2069699. Опять же, датасет играет огромную роль и без файнтюна на определенной задаче по большей части не обойтись.

>>2069717
А вот берта настолько натренированного нету. В проде гпт не используют так как малые модели слабы, большие требуют огромных затрат 24/7, тот же gpt-j локально требует 4 tpu для того чтобы выводить за несколько секунд при единичном батче, для кучи юзеров нужны будут ниебаца какие мощности а это только 6В параметров. Ну или нужно платить за гпт3 но там тоже не совсем мало. А обычные подходы выполняются даже на некроноутах локально за секунды.
Алсо в проде гпт использует уже названный яндекс, аиданжеон и некоторые другие, мне лень искать, кинь ту ссылку где запрос сам вводится, что то вроде "companies that used gpt in production".
Аноним 16/06/21 Срд 00:41:00 2069750389
Котаны, а у вас часом нету pix2pixhd имплементации на лайтинге? Или имплементации на питорче с параллелизацтей модели на два гпу? Очень надо, бабы перестали влезать в одни 8 gb. На процессоре год буду обучать...
Аноним 16/06/21 Срд 01:01:02 2069765390
изображение.png 33Кб, 742x851
742x851
Аноним 16/06/21 Срд 05:15:42 2069806391
Снимок.PNG 49Кб, 984x426
984x426
местные кагл петухи спалили, что на тензорфлоу модели выдают точнее результаты, чем на пайторче
чому так?
Аноним 16/06/21 Срд 05:46:46 2069811392
>>2069806
Потому что два разных фреймворка
Аноним 16/06/21 Срд 08:56:18 2069842393
>>2069806
Конкретная модель на тензорфлоу обучена лучше чем та же модель в какой-то сторонней библиотеке пайторча*
вот так скорее
Аноним 16/06/21 Срд 11:03:39 2069914394
>>2069806
Разные реализации Адама или другого "оптимизатора" (алгоритма обучения)
Аноним 16/06/21 Срд 15:23:43 2070237395
Аноним 16/06/21 Срд 15:53:44 2070285396
Сап, а как понять что модель обучилась? Потери в любом случае не будут равны нулю (ведь так, верно?), А если потери не уменьшаются то нужно решить проблему масштабированием датасета и игрой с армянами с lr и возможно сменить оптимизатор, при чем после этого потери могут долгое время скакать в определенном диапазоне. Так как узнать что модель закончила обучаться?
Аноним 16/06/21 Срд 16:36:14 2070342397
>>2070285
Либо смотришь на графики loss, acc и val_loss, val_acc, по их форме можно понять когда наступает оферфит. Либо ставишь early-stopping каллбек и настраеваешь его параметры, ставишь каллбек на запись экспериментов, сохраняя только лучший результат.
Если потери не уменьшаются, то нужно идти от простого к сложному, шаги примерно такие(нет порядка):
Больше слоев
Больше юнитов
Другая активация
Другая оптимизация
Другой лернинг рейт
Больше даты
Дольше учить
Выбираешь что проще тебе реализовать и пробуешь, больше даты это не обязательно что тебе надо как-то думать, тут и дата аугментация подразумевается, сделал больше рандомного зума, сдвига, смен цветов, флипов, инверсий.
Если все не помогает, то скорее всего твоя модель просто говно, или ты выбрал не подходящую модель, бери другую.
Еще можешь конфьюжен матрицы делать, может у тебя потери от того что модель путает, например, фотки яблочного пирога с фотками мясного пирога, где в обоих папках технически ты сам в 90% случаев отличить не сможешь(по понятным причинам, желтые пироги снаружи одинаковые).
Эксперементируй епта.
Аноним 16/06/21 Срд 17:24:11 2070420398
>>2070342
>>2070285
Самое главное то не написал: смотреть на дату глазами и чистить чистить чистить
Хорошие данные > колупание алгоритма
Аноним 16/06/21 Срд 18:03:02 2070447399
>>2070420
Да, я это писал в концепте что он скорее всего использует какой-то популярный сет для обучения.
Потому что если он делает что-то свое на своей приватной дате - то подразумевается что он не нахуярил говна в нее изначально.
Аноним 16/06/21 Срд 18:32:56 2070480400
>>2070342
Спасибо за советы. Так то это модель небольшой гптшки с датасетом собранным регуляркой, тренирую впритык. Алсо AdamW хороший оптимизатор или стоит прикрутить другой?
Аноним 16/06/21 Срд 18:48:33 2070499401
>>2070480
Ты либо читай про градиенты и моментумы
Либо прикручивай autoLR, LearningRateScheduler
Либо бери 1-10-20% от своей даты, пробуй на ней разные, может другую лосс-функцию, может другую метрику тоже посмотреть, может другую активацию и экспериментально находи. Я бы лернингрейтскедулер бы скорее всего взял если ты к колабе это делаешь, если твоя машина - резанул бы дату и потестил.
Просто никто не знает кроме тебя что за дата, что за размеры, что за аугментация, что за результат(количество классов, формат вывода), какие активации тебе нужны и т.д., поэтому точно подобрать оптимайзер для тебя нереально по совету.
Аноним 16/06/21 Срд 19:29:28 2070539402
>>2066595
>Почему ты это делаешь в экселе?

Две причины:
1. Так проще ботать матан
2. Маркетолог и РОП просят показать им принцип действия на пальцах, но сливаются довольно быстро каждый раз
Аноним 16/06/21 Срд 21:05:33 2070642403
>>2070237
Есть смысл смотреть если читал статью?
Аноним 16/06/21 Срд 21:21:45 2070675404
Аноним 16/06/21 Срд 21:25:40 2070683405
>>2070675
Да, глянул треть. Как же я кринжую с его "осваиваний бюджета" и "сбер/яндекс - корпорации зла". Он неиронично думает, что джун должен ставить какие-то принципы выше своего будущего и трудоустройства в нормальной компании и.
Аноним 16/06/21 Срд 21:45:53 2070702406
>>2070683
Сбер это корпорация коррупцонированных швайнокарасей а яндекс это косплей на гугол с сам знаешь каким менталитетом к слову сам по себе яндекс не так уж и плох в целом но судя по рассказам джунов там пиздец, пруф ми вронг.

хотя сам считаю что заметка в трудовой "работал в сбере/яндексе ойтижником" это пиздатый пропуск в почти любую мл компанию
мимо
Аноним 16/06/21 Срд 22:54:56 2070746407
Там кстати разраб aitextgen, охуенной штуки на самом деле, запилил небольшой разбор возможностей в программировании у gpt-j-6b.
https://minimaxir.com/2021/06/gpt-j-6b/
Аноним 16/06/21 Срд 23:03:36 2070758408
>>2070746
В кодинг научилась а в арифметику нет, явный показатель что макакингу можно хоть инфузорий туфелек научить
Аноним 16/06/21 Срд 23:07:33 2070762409
>>2070746
Учитывая, что эта поебень по дефолту два плюс два сложить толком не может, я представляю сколько ресурсов было просрано на то, чтобы надрочить ее выдавать питухоновские скрипты.
Аноним 16/06/21 Срд 23:14:01 2070769410
>>2070746
Ну и конечно, как всегда у нейроцыган, идет незаметная поправочка, как бы между делом
"All generated code examples used in this post have been manually curated and truncated."
Что в переводе означает "Мы выкопали куски рабочего кода из тонн дерьма и мусора, сгенерированного нейронкой, почистили вилкой, обрезали и отформатировали"
Аноним 16/06/21 Срд 23:23:43 2070778411
2021-06-16 2321[...].png 46Кб, 621x618
621x618
>>2070769
Да, там после кода идёт обычно какая-то шизофазия мимикрирующая под искпердов со стака
Но иногда места на хватает
Аноним 16/06/21 Срд 23:24:35 2070780412
>>2070769
Ну а потом идет
> The raw outputs are available in this GitHub repository.
Что означает примерно то же самое что и
> в этой репе неотредаченный текст, нейронка пока слаба но чтобы показать концепцию все в этом посте почищенно вилкой
Аноним 16/06/21 Срд 23:30:42 2070791413
>>2070778
К слову попробуй через колаб с батчем около 2-4, результат будет на голову лучше. Так то он лучше даже и на 1 батче но все же. Ну и бонусом можно установить длину генерации выше 1024 контекст теряется.
Аноним 16/06/21 Срд 23:47:14 2070814414
image.png 127Кб, 1147x617
1147x617
Я беру данные, делю 80%/20%, в каждой группе делаю 50%/50% обоих групп.
Потом начинаю скармливать данные tensorflow.
На каждой эпохе я проверяю что там для трейна.
Строю график TP, FP, Precision, Recall, F1, F2 относительно softmax value.
Когда получаю вариант, при котором softmax value положительно коррелирует с precision & recall, при этом это длится несколько значений подряд, а не просто случайный вспых положительных значений, я останавливаю тренировку и сохраняю модель в таком положении.
Обычно это от 3 до 20 эпохи.

Считается ли такое поведение с моей стороны за читерство?

Мне по специфике нужно предугадывать разные фичи из дата-сета, кое-где даже несколько запусков не дают хороших результатов, тут я дропаю обучение и переходу к следующей фиче. Есть фичи, где с первого раза очень хорошая картина на третьей эпохе.

На экране вариант такого графика для модели, закончившейся за 19й эпохе. Само собой, график для test set, а не train set.
Аноним 16/06/21 Срд 23:56:09 2070819415
>>2070814
Ты хуйней маешься.
Ты можешь бросить монетку 10 раз и все 10 раз выпадет орел. Потом ты приходишь на хату к посонам и говоришь "Я могу кинуть монетку 10 раз и всегда выпадет орел епта", кидаешь, обсираешься, на утро орел выпадает из твоей сраки.
Тебе надо чтобы модель выдавала результат, для бинарки 0.95 и выше, для мультикласса выше определенного порога(для 10 классов твоя монетка очевидно будет 0.1 val_accuracy, выше этого модель уже не гадает, а пытается)
Ты берешь удачный эпох, а тебе надо найти такой ЛР, такую модель и такой эпох, когда машина уже не учится, но еще не загналась(заоверфитилась), очевидно же.
Короче то что у тебя выдает
model.evaluate(test_data) и есть твой показатель точности, и ничто другое
Аноним 17/06/21 Чтв 08:11:19 2070917416
>>2070819
во время обучения она даже на трейне такую точность не выдаёт. Плюс там такие данные (работа физического устройства), которые невозможно предсказать с 95% в принципе
Аноним 17/06/21 Чтв 13:21:59 2071190417
Как запустить t-sne на видеокарте?
Надо там что-то прописывать типа to(device)?
Аноним 17/06/21 Чтв 13:50:42 2071243418
>>2071190
В sklearn - никак. Ищи реализации на gpu. Если тебе нужна скорость, то можешь ещё на UMAP глянуть.
Аноним 17/06/21 Чтв 14:46:30 2071346419
>>2071243
Я видел реализацию на gpu, но она работает только с 2d.
А мне нужны 3 измерения.
Аноним 17/06/21 Чтв 19:34:02 2071663420
Пришел на двач за советами мудрыми.
Итак я типа программист, но с нейронками почти не знаком.
Что я хочу - собрать из опенсорса прогу для v-tuberства. Под винду.
Соответственно что надо - распознавание с вебки, без всяких перчаток-костюмов. Лицо + направление взгляда + эмоции, руки, опционально поза или верхняя половина.
Что пробовал - mediapipe, понравилось, но под винду принципиально не пилят под gpu. Медленно. На моем CPU холистик (поза+лицо+руки) всего 2-5фпс.
Пробовал github.com/vladmandic/human подход интересный, но на тех компах что пробовал запуска очень долго ждать, да и браузер тут выглядит лишним. Но сам принцип, видимо, можно вытащить те же модели из mediapipe и других сеток, и по отдельности их применять? Правда пишут про какой-то custom operator, пока не вникал.
Ну вот, что предложите попробовать?
Сейчас ставлю TF 2.5+CUDA 11.2+CuDNN 8.1, более поздняя не завелась - как понял еще не готово.
Аноним 17/06/21 Чтв 19:43:07 2071669421

>>2071663
Используй готовое решение и не ебись с этим говном, серьезно. Видел в стиме подобную хуйню, сейчас поищу и если найду напишу название если это не медиапепе. Алсо хули ты запускал на cpu? Видяры раз в 100 быстрее если не больше.
Аноним 17/06/21 Чтв 20:18:39 2071691422
>>2071669
>Используй готовое решение
Готовое из стима мне не нужно. Или ты про саму нейросетевую часть? Тогда да, можно любое решение которое умеет с вебкамеры лицо+зрачки+руки.
>Алсо хули ты запускал на cpu?
Может быть я не так понял доки. Но сложилось впечатление что на винде gpu медиапайп не поддерживает. Ну или требует переписывания с++ части https://github.com/google/mediapipe/issues/617
Аноним 17/06/21 Чтв 20:26:33 2071698423
IMG202106172026[...].jpg 231Кб, 1080x1032
1080x1032
>>2071691
Чел, это было год назад пофикшено разрабом.
Аноним 17/06/21 Чтв 20:39:56 2071708424
1479289530681.png 4Кб, 992x81
992x81
>>2071698
В мастере этих коммитов нет.
Аноним 17/06/21 Чтв 20:55:06 2071719425
Там балабоба от яндекса вышла, хули молчим?
инб4: не хочет говорить о хуях и говне так что нинужна
Аноним 17/06/21 Чтв 21:00:17 2071722426
1623952816261.jpg 129Кб, 1078x1387
1078x1387
1623952816269.jpg 215Кб, 1080x1848
1080x1848
>>2071719
Алсо предлагаю создать тред в /б и набежать репортя каждый результат как оскорбительный. хто создаст? я????
Аноним 17/06/21 Чтв 21:03:47 2071725427
1623953026247.jpg 150Кб, 1074x1674
1074x1674
Аноним 17/06/21 Чтв 21:10:37 2071729428
1623953436536.jpg 200Кб, 1080x1949
1080x1949
Аноним 17/06/21 Чтв 21:41:32 2071752429
1623955291476.jpg 291Кб, 1080x1619
1080x1619
1623955291497.jpg 129Кб, 1074x929
1074x929
1623955291505.jpg 244Кб, 1066x1486