Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus
Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/
Почему python?
Исторически сложилось
Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет
Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python
В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся
Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Версии для зумеров: https://www.youtube.com/channel/UCZHmQk67mSJgfCCTn7xBfew
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где ещё можно поговорить про анализ данных?
http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Google Colab дает бесплатно аналог GPU среднего ценового уровня на несколько часов с возможностью продления, при чем этот "средний уровень" постоянно растет. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом
Кто нибудь использовал машоб для трейдинга?
Никто не использовал, ты первый такое придумал. Готовь камаз для бабла.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущие:
https://2ch.hk/pr/res/1881607.html
https://2ch.hk/pr/res/1868191.html
https://2ch.hk/pr/res/1847673.html
https://2ch.hk/pr/res/1832580.html
https://2ch.hk/pr/res/1817320.html
https://2ch.hk/pr/res/1785952.html
https://2ch.hk/pr/res/1758961.html
https://2ch.hk/pr/res/1734710.html
https://2ch.hk/pr/res/1704037.html
https://2ch.hk/pr/res/1665515.html
>Как работает градиентный спуск?
Нахуя мне это знать, если фит-предикт на готовой либе дает на 0,001% результат хуже, чем простыня из говнокода? Кагглобомж, ты?
>А не валидные это обычно шум с высокой энтропией вкраплённый в валидный набор.
Так может просто gzip'ом данные пожать и посмотреть на коэффициент сжатия? Это простой способ замерить энтропию.
>В итоге какой вариант сети лучше всего с такой задачей справится?
Когда у тебя одномерный поток байт типа текста - стекай трансформеры и не еби мозг.
Вот с этого можешь начать https://keras.io/examples/nlp/text_classification_with_transformer/
Только там где у него
x = transformer_block(x)
настекай больше таких блоков
x = transformer_block(x)
x = transformer_block(x)
x = transformer_block(x)
x = transformer_block(x)
Желательно ужать длину чанка в 128-512 токенов, после константа в o(n^2) будет жрать дохуя ресурсов. Токен - не обязательно символ, можно сжимать данные токенизатором типа https://en.wikipedia.org/wiki/Byte_pair_encoding , так делают OpenAI.
Если нужны чанки от 1024 - читай статьи Efficient Transformers: A Survey и Long Range Arena: A Benchmark for Efficient Transformers, получишь интродакшен в 2020 год. tldr для длинных чанков переходи на BigBird.
LSTM после появления трансформеров потерял смысл.
Сверточные сети могут сработать, если данные сильно локальные и однородные. Можно использовать их как пре-процессинг вместо токенизатора. То есть изначальный поток байт серией из сверток со страйдом сжимаешь до многоканальной последовательности меньшей длины, а на это наворачиваешь трансформеров. Но не забывай скип коннекшены и батчнорм. В трансформеры нормализация и скипы уже встроены, а в свертках их нет, и не похоже, что ты знаешь об этом, судя по твоему посту.
Охуенно
https://keras.io/examples/nlp/text_classification_with_transformer/ тут используется и закодирован под именем transformer_block энкодер, он слева. Оригинальный декодер справа.
BERT - encoder-only сетка, этот подход хорош для задач типа классификации, потому что контекст ловится целиком, без маскинга "будущего". Такие сетки можно претрейнить на неразмеченных данных, поместив dropout слой сразу за инпутом и обучая fit(inputs=siriye_danniye, outputs=siriye_danniye), как в стандартном денойзинг автоэнкодере.
GPT - decoder-only, но сам декодер не как на картинке, а попроще, без среднего слоя. То есть фактически тот же энкодер, но с маской, маскирующей для токена "будущее". Это подход хорош для генерации, контекст здесь ловится только "из прошлого" с помощью маски, соответственно сетку можно использовать в авто-регрессионном режиме, заставляя ее высирать по токену а скармливая выход входу.
Вроде бы подход кажется медленным говном по сравнению с BERT'ом, но оказалось, что такие сетки являются zero shot learners: если в контексте описать им суть задачи в виде нескольких примеров, они начинают генерировать новые данные по этим примерам. Например, отвечать на вопросы, выписывать tldr для текста, теперь вот DALL-E может генерировать картинку по образцу. Короче это самое близкое к General AI, что есть на данный момент.
>>1902846
Да. Кто еще не вкатился - тот дурачок.
Свертки хороши, но они по сути - то же самое умножение входного вектора на матрицу весов, как у персептрона, только сама матрица особого вида типа
[w1 w2 w3 0 0 0 0 0
0 w1 w2 w3 0 0 0 0
0 0 w1 w2 w3 0 0 0
...и так далее...
]
То есть свертка менее выразительна, чем персептрон, но жестко зашивает пространственную инвариантность в структуру данных, что делает ее эффективной для широкого, но ограниченного класса задач.
А трансформер - это, если его сильно кастрировать, выкинуть нормализацию, перемножить матрицы и оставить только одну голову, сводится к f(x)=softmax(x' W x) x, где
x - входная последовательность векторов размерности d и общей длины N, а softmax(x' W x) - аттеншен-матрица NxN, W - матрица dxd собственно параметров, Дальше еще нужно добавить вектор P - пазишен энкодинг, который по сути накладывает всякого рода красивости на аттеншен-матрицу и вычислять вместо f(x) - f(x+P).
То есть softmax(...) - это NxN матрица, а x - входной вектор. Очень напоминает персептрон.
То есть эта хуитка - персептрон, который генерирует свои веса динамически, на лету. И доказано, что если у тебя голов в аттеншене достаточное количество, это не просто имеет ту же выразительную силу, что и свертки, но и при обучении генерируются похожие кернелы, которые генерирует сверточная сеть.
Но у сверточной сети размер фильтра - это гиперпараметр, а трансформер размеры своих фильтров настраивает на лету. То есть, все, как заказывали, настекал слоев, а оно само думает, что делать с данными. По сути это персептрон done right, который круче и персептрона, и сверток, и неба, и аллаха, Хохрайтер (все в мире считают его автором LSTM, хотя мы знаем, что LSTM придумал Жопенмульцер в 1952 году, не надо меня поправлять) показал, что это вообще обобщение сети Хопфилда на непрерывный случай, с экспоненциальной емкостью запоминания паттернов. Ну и главное, что это не просто абстрактный академический надроч, а реально работающая штука, без геморройных RNN и жестко зажатых своей пространственной инвариантностью сверток.
Лично я использую подход DETR, который "избрел" сам https://arxiv.org/pdf/2005.12872.pdf , то есть CNN сначала ужимает сырые данные в набор фичастых данных, но с меньшим разрешением, а трансформеры уже работают с этими данными. Получается лучше, чем чистая CNN, но пришлось помучаться перед тем, как оно заработало - во-первых adam'у нужен обязательный warmup где-то первые 2000 шагов обучения, то есть плавный рост learning rate от 0 до целевого значения, во-вторых я до сих пор экспериментирую с энкодингами, нынешний вариант перестает работать, если увеличить emb_dim. Но и нынешний вариант работает сильно лучше чистой сверточной сетки.
Могу вспомнить только RL агентов и всякие модификации берта, про которые на следующий же день забывают.
Проблема рекуррентных сетей в том, что в теории у них контекст бесконечный, но на практике у тебя back propagation through time обрезает его до величин, позволяющих ужать сетку в память gpu, и эти величины меньше трансформерных. По итогу смысла мало.
Чтобы смысл был, нужно отказаться от бэкпропа, мозг ведь как-то работает без него, там бэкпроп максимум на уровне отдельных нейронов. Но мозг может выезжать чисто на том, что отдельный нейрон - крутой аналоговый компьютер. Или тупо на количестве нейронов.
Пока этого нет, забудь о RNN.
Как будто что-то плохое. Если усвоил биттерлессон, то ты просто заменяешь один слой новым и все.
А вот те кто наделали adhoc костылей, плачут горькими слезами и думают, какой бы еще костыль накостылить, чтобы еще годик продержаться перед тем, как все юзеры проапгрейдят свои видюхи и твои старания пойдут на помоечку.
>А ты разботал как DALL-E кодирует?
Не особо, чтобы понять что-то из их куцых фраз, нужно хорошо знать тему VAE. И если как работает VQ-VAE я примерно понимаю (если ты не понимаешь, почитай christineai.blog/vq-vae/), то про continuous relaxation впервые слышу. Нужно хотя бы https://arxiv.org/abs/1401.4082 покурить.
В принципе задача любого автоэнкодера это обеспечить информационный ботлнек, чтобы энкодер и декодер обучались чему-то в плане поиска сжатых представлений. VAE делает это, заставляя энкодер генеририровать матожидание и сигму, а затем генерируя рандомное число из этих параметров, VQ-VAE заменяет то, что накодировал энкодер ("попиксельно" - то есть каждый многоканальный пиксель - это отдельный вектор) на ближайший вектор из обучаемого словаря, тоже ботлнек очевиден - это собственно "квантизация" к ближайшему значению из словаря.
А вот тут не понятно. одной стороны они пишут, что словарь им там не нужен благодаря continuous relaxation. С другой - ссылка на 1401.4082 нихуя не проясняет.
Пока писал пост, увидел, что Килхер уже выпустил видео, и он тоже нихуя не понимает эту часть https://www.youtube.com/watch?v=j4xgkjWlfL4 , на 27-й минуте у него такие же wtf'ы как у меня.
>Этот перевод делает специальная нейроночка еще до начала тренировки трансформера, как я понял.
Да, это принципиальное отличие от "моего" подхода. У меня сверточные слои тренируются одновременно с трансформерными end-to-end, а у них отдельно тренируется "энкодер-декодер картинки низкого разрешения, но с большим числом фич-каналов". Что довольно понятно, почему - энкодеру by design нужно видеть всю картинку целиком, а вот DALL-E генерирует попиксельно. Но вообще интересная мысль, надо попробовать.
Потому что они так же дико повысили метрики, как сейчас трансформеры.
Меня больше удивляет, почему не взлетели всякие теоретически обоснованные попытки сделать рекуррентную ячейку, которая будет лучше чем лстм. Вроде как лстм была сделана суперхуево на коленке с кучей лишних гейтов.
А ведь были всякие структурно регуляризованные SCRNы, унитарные матрицы весов, эволюционный поиск ячеек. Даже интересно, чего это всё загнулось.
У всех RNN один и тот же фатальный недостаток - _каждый_ таймстеп должен хранить инфу обо _всем_ прошлом, потому что инфа может потребоваться и сейчас, и в будущем.
Плюс машинерия которая позволяет это прошлое копить.
Плюс отсутствие возможности процессить таймстепы параллельно - а значит нужны гигантские батчсайзы, чтобы на уровне каждого отдельного таймстепа видюха грузилась на 100%.
В итоге чтобы это работало эффективно, тебе нужно, чтобы вычислительное ядро видюхи имело на пару порядков больше локального кэша. Иначе видюха будет простаивать, пока данные гоняются между глобальной gddr памятью видюхи и вычислительными модулями.
Но локальный кэш (то что в cuda терминах называется shared memory) - это дорогая статическая память, а не дешёвая динамическая.
В итоге RNN тупо недогружает железо. А если ты попытаешься побороть эти недостатки, ты повторишь путь к трансформерам.
Имхо не в этом самая большаю проблема. Трансформеры тоже дай бог жрут ресурсов. РНН имеет тенденцию забывать очень быстро. Потому что прошлый токен он вот он, а что там было тысячу токенов назад, уже прокрутилось тысячу раз. Даже в ЛСТМ все умножается каждый шаг на число, и чтобы что-то сохранилось, это число должно быть 1 на каждом шагу. Это со скрипом учится, на деле что-то нетривиальное не учится совсем дальше нескольких десятков шагов.
>Чтобы вонючей необразованной пидорашкой не быть
https://arxiv.org/pdf/1511.06464.pdf
Поэтому я и говорю, что вот такие штуки в теории должны были взлетать и отбирать пальму первенства у lstm. Но почему-то не произошло такого. Вопрос - почему.
Сложно, и на практике пользы не было. На синтетических тасках ЛСТМ тоже может 10000 шагов помнить, это еще в самой первой статье показано. То, что градиенты не взрываются, еще не значит что оно будет все помнить. Это значит лишь, что тренировка в принципе возможна.
> РНН имеет тенденцию забывать очень быстро
Это недостатки конкретных типов рнн.
Теоретически ничто не мешает тянуть тебе все прошлое с собой. Были эксперименты со всякой памятью такого рода. Идеи приходят вплоть до тупой конкатенации аутпутов прошлых шагов в одну большую матрицу.
Но практически возникает проблема с тем что я описал, так как каждый таймстеп - это вещь в себе, он должен содержать в своём текущем стейте инфу обо всем прошлом. Это дохуя. Поэтому практические рнн задизайнены так, чтобы память о прошлом была постоянной. А это значит, что из нее постоянно надо что-то выкидывать. Но ты не Ванга, и можешь выкинуть что-то что потребуется в будущем.
Ты скажешь - если n шагов содержат инфу каждый в среднем об n/2 предыдущих шагов, это так же o(n^2) по памяти, что у трансформера. Какая разница.
Но тут возникает уже железо.
Если грубо и на пальцах, пусть q - это вектор, а Q - матрица состоящая из n таких векторов, K - это матрица, соответствующая стейту этой rnn, которая помнит все свое прошлое.
Если трансформер считает K*Q' один раз, все вектора скопом
RNN считает K q' для каждого q, итого n раз.
Второе сильно хуже.
Ну фундаментально это - а давайте запилим такой костыль, чтобы забывать ненужное и помнить нужное. И вот с нашим костылем на этих датасетах, которые мы подобрали под костыль, у нас sota.
И по факту
Copying problem решена
Adding problem сосёт у lstm
Mnist обучается быстрее, но lstm по итогу работает лучше
Далее они с горящей жопой придумали добавить permuted lstm, чтобы результаты не были таким днищем, получили небольшое улучшение, уря, победа
Хуйня в общем
>Adding problem сосёт у lstm
The uRNN achieves lower test error, but it’s curve is more noisy.
>Mnist обучается быстрее, но lstm по итогу работает лучше
This equates to roughly 60K parameters for the LSTM and almost 9K for the uRNN.
>Далее они с горящей жопой придумали добавить permuted lstm
Если опустить твои охуительные фантазии, то в чем проблема? Задача некорректная будет?
>чтобы результаты не были таким днищем
Ты сказал? Сходится в десятки раз быстрее, параметров меньше, качество в задаче лучше, теоретические обоснования есть.
>Хуйня в общем
Можно заливать твой отзыв на openreview
>The uRNN achieves lower test error, but it’s curve is more noisy.
На одном графике с T=750. И это единственный график где оно заметно лучше из всех в статье. В остальных лстм либо лучше, либо статпогрешность.
>This equates to roughly 60K parameters for the LSTM and almost 9K for the uRNN.
Так почему не сделать 60к параметров и въебать лстм еще сильнее? Значит хуитка какая-то. Например, просад по флопсам, или качество не растет с увеличением веса, или параметров мало, а памяти они жрут много. Иначе что ща хуйня вообще.
>Если опустить твои охуительные фантазии, то в чем проблема?
Да не фантазии это. Когда метод реально хорош, автор разве что свой рентген не выкладывает, а когда плох сравнивает красное с синим и постоянно недоговаривает. Может ты еще в магазине на диване товары покупаешь.
>Задача некорректная будет?
Ты правда считаешь, что это самая интересная задача на длинный контекст?
>Ты сказал?
Автор выпустил единственную статью на которой он протестил работу на 4 мелких и экзотических датасетах и не стал развивать свою работу. Тут уже все ясно. Ты можешь конечно верить что это hidden gem, но вообще намного более вероятно что это типичная статья где для публикации он расфорсил достоинства, но по факту там все не так однозначно.
>Можно заливать твой отзыв на openreview
Доя этого статью хотя бы прочитать надо, а я пошел стандартным путем абстракт картинки результаты и что-то вообще не интересно копаться и тем более тестить.
Может ты меня разъебешь ща и я перейду на эту хуйню с трансформеров.
>https://keras.io/examples/nlp/text_classification_with_transformer/ тут используется и закодирован под именем transformer_block энкодер, он слева. Оригинальный декодер справа.
>BERT - encoder-only сетка, этот подход хорош для задач типа классификации, потому что контекст ловится целиком, без маскинга "будущего". Такие сетки можно претрейнить на неразмеченных данных, поместив dropout слой сразу за инпутом и обучая fit(inputs=siriye_danniye, outputs=siriye_danniye), как в стандартном денойзинг автоэнкодере.
>GPT - decoder-only, но сам декодер не как на картинке, а попроще, без среднего слоя. То есть фактически тот же энкодер, но с маской, маскирующей для токена "будущее". Это подход хорош для генерации, контекст здесь ловится только "из прошлого" с помощью маски, соответственно сетку можно использовать в авто-регрессионном режиме, заставляя ее высирать по токену а скармливая выход входу.
>Вроде бы подход кажется медленным говном по сравнению с BERT'ом, но оказалось, что такие сетки являются zero shot learners: если в контексте описать им суть задачи в виде нескольких примеров, они начинают генерировать новые данные по этим примерам. Например, отвечать на вопросы, выписывать tldr для текста, теперь вот DALL-E может генерировать картинку по образцу. Короче это самое близкое к General AI, что есть на данный момент.
>Да. Кто еще не вкатился - тот дурачок.
>Свертки хороши, но они по сути - то же самое умножение входного вектора на матрицу весов, как у персептрона, только сама матрица особого вида типа
>[w1 w2 w3 0 0 0 0 0
>0 w1 w2 w3 0 0 0 0
>0 0 w1 w2 w3 0 0 0
>...и так далее...
>]
>То есть свертка менее выразительна, чем персептрон, но жестко зашивает пространственную инвариантность в структуру данных, что делает ее эффективной для широкого, но ограниченного класса задач.
>А трансформер - это, если его сильно кастрировать, выкинуть нормализацию, перемножить матрицы и оставить только одну голову, сводится к f(x)=softmax(x' W x) x, где
>x - входная последовательность векторов размерности d и общей длины N, а softmax(x' W x) - аттеншен-матрица NxN, W - матрица dxd собственно параметров, Дальше еще нужно добавить вектор P - пазишен энкодинг, который по сути накладывает всякого рода красивости на аттеншен-матрицу и вычислять вместо f(x) - f(x+P).
>То есть softmax(...) - это NxN матрица, а x - входной вектор. Очень напоминает персептрон.
>То есть эта хуитка - персептрон, который генерирует свои веса динамически, на лету. И доказано, что если у тебя голов в аттеншене достаточное количество, это не просто имеет ту же выразительную силу, что и свертки, но и при обучении генерируются похожие кернелы, которые генерирует сверточная сеть.
То есть, все, как заказывали, настекал слоев, а оно само думает, что делать с данными. По сути это персептрон done right, который круче и персептрона, и сверток, и неба, и аллаха, Хохрайтер (все в мире считают его автором LSTM, хотя мы знаем, что LSTM придумал Жопенмульцер в 1952 году, не надо меня поправлять) показал, что это вообще обобщение сети Хопфилда на непрерывный случай, с экспоненциальной емкостью запоминания паттернов. Ну и главное, что это не просто абстрактный академический надроч, а реально работающая штука, без геморройных RNN и жестко зажатых своей пространственной инвариантностью сверток.
>Лично я использую подход DETR, который "избрел" сам https://arxiv.org/pdf/2005.12872.pdf , то есть CNN сначала ужимает сырые данные в набор фичастых данных, но с меньшим разрешением, а трансформеры уже работают с этими данными. Получается лучше, чем чистая CNN, но пришлось помучаться перед тем, как оно заработало - во-первых adam'у нужен обязательный warmup где-то первые 2000 шагов обучения, то есть плавный рост learning rate от 0 до целевого значения, во-вторых я до сих пор экспериментирую с энкодингами, нынешний вариант перестает работать, если увеличить emb_dim. Но и нынешний вариант работает сильно лучше чистой сверточной сетки.
>>1902905
>Но у сверточной сети размер фильтра - это гиперпараметр, а трансформер размеры своих фильтров настраивает на лету.
Можно поподробнее (или где читать) про это и про атеншн модуль? Спасибо
> По сути это персептрон done right,
> , Хохрайтер (все в мире считают его автором LSTM, хотя мы знаем, что LSTM придумал Жопенмульцер в 1952 году, не надо меня поправлять) показал, что это вообще обобщение сети Хопфилда на непрерывный случай
Ну то есть вы же пынямаете, что по-сути, все эти ололо мегагитлер трансформеры не очень далеко ушли от перцептрона и сетей Хопфилда, и что их придумывают только потому что вычислительные мощности позволяют. В 60х трансформеры были бы просто бесполезны, даже если бы кто-нибудь до них додумался. Как машины Больцмана в 80х, придумать их придумали, а толком применить смогли только в нулевых. Или как с неокогнитроном (по-сути, прообразом сверточных сетей) в те же 80-90е. Тогда оно физически не могло выстрелить.
Все это знают. Мощности + сейчас в этом занято на порядки больше людей. Они рандомно меняют код и находят методом тыка работающие методы. Те же трансформеры не вышли из сетей Хопфилда, а высосаны из пальца, протестированы, обнаружено что они круты, а потом уже за уши был притянут этот Хопфилд ради красивой статьи.
https://pastebin.com/jaUrBX6W
Есть датасет на котором использован XGBRegressor:
XGBRegressor(max_depth=8,
n_estimators=500,
min_child_weight=1000,
colsample_bytree=0.7,
subsample=0.7,
eta=0.3,
seed=0)
Что дало такую вот картинку. Она явно неудовлетворительна.
Как подбирать параметры, чтобы регрессия работала лучше?
Поменяй xbgoost на lightgbm (он быстрее и вроде как больше разных фишек).
>Как подбирать параметры?
RandomSearch + train-test-split/кросс-валидация.
Если нечего делать, то можешь попробовать latin hypercube sampling или вообще какой-нибудь hyperopt.
Ну и новые фичи погенерировать можешь, но для этого нужно смотреть на предметную области и сами признаки.
>>1904071
Так же, как и на любую другую работу?
Если не очень умный, то можешь отловить какую-нибудь летнюю школу от большой компании-галеры а ля сбер/тинькофф, пройти её и потом с большой вероятностью получишь оффер на мл-эникейщика.
>RandomSearch
Задаём диапазон и случайным образом выбираем набор параметров?
И сколько раз повторять случайный выбор?
Ещё вопрос вдогонку - для валидации и оценки точности используется eval_metric="rmse" и метод наименьших квадратов.
xgb train rmse: 0.9273652195391977
xgb validation rmse: 5.025476198882563
Может из-за этого валидационная ошибка быть такой большой?
>Задаём диапазон и случайным образом выбираем набор параметров?
Да. https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html
>И сколько раз повторять случайный выбор?
Сколько хочешь. Можешь повторять до тех пор, пока результат не перестанет улучшаться (за последние k итераций).
>xgb train rmse: 0.9273652195391977
>xgb validation rmse: 5.025476198882563
Подозреваю, что у тебя или лик, или данные оооочень разные. Попробуй посмотреть значимость признаков в бустинге или какие-нибудь попарные корреляции.
>Сколько хочешь. Можешь повторять до тех пор, пока результат не перестанет улучшаться (за последние k итераций).
Вообще-то я задал диапазон для каждого из параметров, потом применил itertools.product() для получения всех возможных комбинаций, и вот уже несколько часов это всё перебирается.
Решение уровня /b, в общем.
> Попробуй посмотреть значимость признаков в бустинге или какие-нибудь попарные корреляции.
Как-то так.
1. Скинь свой код
1.2 пытался ли ты подкрутить регуляризацилнные параметры?
1.3 кросс-валидирование делал?
2. Когда ты делаешь сплит? В каком соотношении?
3. Почему бустинговый алгоритм используешь? Линейные модельки пробовал? kNN тоже тестил? Простой MLPRegressor тестил?
4. Я тебе, если ты хочешь, пришлю Н2О AutoML скрипт для твоего Гугл куколдлаба, посмотришь перформанс различных моделек на твоём сете. Может линейные больше подойдут.
> stack more layers
Смотрел на ютубах того пшека(?), поясняющего за трансформеры, так вот:
- Во-первых, это манямнение >>1903341
> Они рандомно меняют код и находят методом тыка работающие методы. Те же трансформеры не вышли из сетей Хопфилда, а высосаны из пальца,
Есть былинная дрисня из-под коня, высосанная предыдущим оратором непонятно из чего. Там на самом деле все очень не рандомно сделано, и далеко не на пустом месте.
- Во-вторых, речь в конечном счёте все о тех же распределениях вероятностей и аппроксимации функций зависимости выхода от входа, что и 60 лет назад. Идентификация систем итд. Просто более эффективные методы для этого, использующие высокую скорость операций с матрицами на GPU, что позволяет эффективно считать то, от чего ещё несколько лет назад просто отказались бы как от неподьемной задачи. Закон Мура работает, в общем. Плюс, речь опять же о том, что все алгоритмы машобчика по-сути считают одно и то же, просто по-разному и в разных объемах.
Расшарить данные нельзя?
>>1904328
>3. Почему бустинговый алгоритм используешь?
Так бустинг это же стандартный бейзлайн, на уровне случайного леса. Никакая существенная предобработка не нужна и всё сразу нормально будет работать.
>kNN тоже тестил? Простой MLPRegressor тестил?
Не представляю случай, когда кнн/млп-бейзлайн будет существенно лучше бустинга или линейной регрессии.
Открой на кегле какой-нибудь кернел с EDA и посмотри.
https://www.kaggle.com/notebooks?searchQuery=eda
>Или если из 10к прецедентов 9990 принимают нулевое значение, а остальные 1, и тогда я этот признак вообще отбрасываю.
Зависит от данных. Если у тебя данные - огромные вектора из нулей и единиц, а y = int(sum(x) > 0), то тогда такое удалять нельзя.
А вообще, какие-нибудь леса-бустинги автоматически такое обработают.
Ящитаю, < 5 лет.
> Да, ганы и свм по сути считают одно и то же. А что, кстати?
Распределение вероятностей, максимизацию матожидания. Весь существующий машобчик это пляски с бубном вокруг https://en.m.wikipedia.org/wiki/Expectation%E2%80%93maximization_algorithm#:~:text=In%20statistics%2C%20an%20expectation%E2%80%93maximization,depends%20on%20unobserved%20latent%20variables.
> 20 лет назад с естественным языком все было плохо.
С естественным языком до 2013 все было плохо. А сейчас трансформеры уже порешали Winograd schema challenge, и по машинному переводу набирают 28 в той же метрике, по какой человек-переводчик оценивается на 30. И предложения парсить они могут сами по себе, за счёт аттеншена, без всякой узкоспециальной лингвистической хуйни, это на заметку местному свидетелю экспертных систем.
Лично мне похуй на такую постановку вопроса, потому что получение кем-то ачивки мало что решает. Правильный вопрос - когда это будет запускаться на пеке за $1000, чтобы частный бизнес мог рубить профиты и менять мир. В идеале вообще запуск на смартфоне.
И 5 лет тут это очень оптимистично. Надо менять архитектуру GPU так, чтобы терабайтные нейронки были нормой. Как - не знаю, видимо нужен прямой доступ к nvme, быстрый доступ к ram вплоть до 3D напыления на самом чипе, переход к аналоговым вычислениям, оптике, и подобные йобы.
>>1905416
> Правильный вопрос - когда это будет запускаться на пеке за $1000, чтобы частный бизнес мог рубить профиты и менять мир. В идеале вообще запуск на смартфоне.
Через несколько лет после того, как потеряет актуальность. Зачем тебе именно локальный запуск? Есть облачные сервисы, всякие там куколабы итд. Любому кабанчику этого за глаза хватит для начала, как минимум показать, что у него есть что-то способное изменить мир.
> Прооренькал с этих вопросиков, это они там анофору в однострочниках пбеждают?
За умного сойти решил что ли? Ну покажи ещё хоть один алгоритм, который может решить такую задачу для любой подобной фразы любого содержания с любым порядком слов и на любом языке.
>Через несколько лет после того, как потеряет актуальность.
Актуальность в инновационном цикле у всех участников рынка разная.
Если вопрос научно актуален, значит твои инвестиции может поделить на ноль какое-то открытие одного из 10000 ученых. Или вообще на вопрос "а задача точно решаема?" ты отвечаешь бизнесмену - а хуй знает, давай въебем полгода и посмотрим.
А вот если в науке уже стагнация, то бизнес с одной стороны знает, что задача решаема, с другой - что технология не будет смыта на помоечку. В этот момент идет вал инвестиций и реальных продуктов. Например посмотри на задачу с распознаванием лиц - она сейчас заканчивает инновационный цикл.
>Зачем тебе именно локальный запуск?
Это показатель дешевизны и зрелости технологии. Облака нужны для сейклинга, сами по себе они чудес не совершают и дешевле чем локальный запуск не выходят, они выходят дороже, потому что главная фишка облаков - это аутсорс админской работы. Сервер с 8 GPU работает быстрее не в 8 раз, а в 4-6 раз, и стоит дороже чем 1 GPU не в 8 раз, а где-то в 30-100 раз. Поэтому когда что-то начинает помещаться в 1 пеку, возникает резкий фазовый переход в окупаемости и вале продуктов.
Вот это для меня интересно. А когда просто кто-то ачивку сделал, это хорошо, потому что другие мегакабаны начинают инвестиции в эту тему, но лично мне как слесарю и жителю дна этой экосистемы (ниже меня только уже конечные потребители и хорошо если это b2b), это чисто как футбол посмотреть с бегающими по траве миллионерами. Интересно, и пообсуждать за пивасом можно, но бесполезно.
>Или типо выделяет фичи из изображения для поиска, а потом ищет максимально совподающие по этим же фичям среди банка изображений?
Да.
Ещё желательно быстро искать соседей, потому что наивно итерироваться по миллионам векторов размерности 1000 не очень хочется, поэтому всё кладётся в HNSW.
>Или типо выделяет фичи из изображения для поиска, а потом ищет максимально совподающие по этим же фичям среди банка изображений?
Это как-то слишком общо звучит. У тебя есть йоба, которая для картинок выдает векторы, при чем она обучается так, чтобы для похожих картинок выдавались близкие векторы, а для разных - далекие. Обычно это нейронка.
И есть библиотека для k nearest neighbor поиска, типа вышеупомянутого HNSW. Он бывает точный - основанный как правило на чем-то типа kd-tree, бывает приближенный, основанный на разного рода locality sensitive hash и прочем.
Проблема не в том, что книга вапника из 90-х устарела, а в том, что вапникошиз ссылается на вапника там, где вапник пишет совершенно другое. То есть когда ты видишь, что-то типа "вапник говорил" в треде, можешь быть уверен, что нихуя подобного не было, за редким исключением.
Зделяют сервис, где, заплатив 5 баксов, кабанчик будет удовлетворять любую свою прихоть. Будь то сдвиг кнопки ОК на 5 пикселей влево, или фейсбук с красным оформлением. И это будет переворот - ничем больше пользоваться не будут. Динозавры, кодящие руками, просто вымрут. Тут даже хуже чем с какими-нибудь кузнецами: там ручная работа еще ценится, а на рукотворный код всем будет насрать.
а как обучить модель выдавать вектор по изображению? Вот щас ради интереса смотрю как делают распозновалки лиц и чо-то все кажется каким-то супер сложным, если по сути можно просто получать нейронкой вектор из лица и сравнивать расстояние с лицами из бдшки, короче хочу че-нить такое простое попробовать замутить, но не вдупляю пока, как лейблы получить для такого типо хеширования
функция дирака - производная функции хевисайда
Функция хевисайда как активация не используется. Производная- дельта функция, но она почти везде равна нулю, то есть никаких апдейтов градиента быть не может.
Производная relu - функция хевисайда. Слева от 0 нулевая, справа от 0 равна производной y=x, то есть 1. То есть у кусочно заданной функции просто кусками и считаешь.
У elu посчитай по школьным правилам.
> Блин, почему у вас такие смешные названия?
Насколько реально сделать так, чтобы нейросетка вроде GPT-3 работала в системе с распределенными вычислениями? Типа как в майнинг пулах майнят btc
> Насколько реально сделать так, чтобы нейросетка вроде GPT-3 работала в системе с распределенными вычислениями? Типа как в майнинг пулах майнят btc
Какбе абсолютно реально. Она изначально задумывалась легко асинхронизируемой. Думаю использовать распределенные вычисления для ИИ-сервисов поддерживаемые исключительно пользователями (не корпорациями / государством) - единственно верный выбор.
Бля, а в какие сроки реально освоить как устроена та же GPT-2? Насколько я помню, ее код есть в открытом доступе, а от третьей версии она ничем не отличается.
Прогать умею, питон умею, математика на очень высоком левеле (даже core math кто знает тот поймет), о нейросетках ничего не знаю
> GPT-3 это конечно круто, но эта хуйня с закрытым сугубо коммерческим доступом.
Ну они же пишут, а вдруг тираристы икстримисты будут использовать, если доступ открыть. Ты дяде напиши, а он решит, давать тебе доступ, али вдруг ты слишком белый, нидайбох в соцсетях про Трампа что-то хорошее спизданул, или там all lives matter. Это дело-то такое. А если нахуй пошлют, так это их дело, частная компания. Не нравится - не ешь, сам создавай.
>на счет играть в игры не понял
Пикрелейтед, > - мои реплики, все остальное генерит сетка. Я еще добавил фразу про кислоту, дальше все тоже сгенерировано. Это реально текстовая РПГ в которой можно вообще что угодно, я убегал из тюрьмы через канализацию, меня травили школьники в классе, я разыгрывал диалоги с историческими персонажами (довольно шизоидные, но тем не менее).
Вообще, открой статью про gpt-3. Там вся суть статьи в том, какие она задачи может решать.
Как сейчас применять это всё в бизнесе - другой вопрос. Но это r&d, от них и не требуется.
Потенциально - всякие умные чатботы, вопросно-ответные системы, создание выжимок из текстов.
На втором пике я написал только первое предложение и добавил Lenin: , на втором я просто написал два ника - vova и nagibator666, а она родила этот пиздец.
Короче, когда к GPT-3 прикрутят DALL-E это будет полный пиздец
Каждый раз возникает этот душнила. Нормально там с памятью все, около 4-6 кб только контекст, а еще можно создавать постоянную область, куда копипастить важные вещи типа имени твоих тиммейтов. Но так как суть рпг это постоянные путешествия, особо это не напрягает.
Вообще ощущения очень странные, потому что GPT-3 умудряется сделать осмысленный текст из любого действия, которое ты ему напишешь. Ну то есть напишешь "убей стражника помидором", и оно сука возьмет и распишет, как это произошло. Эта хуйня не троллируема, в отличие от GM из мяса.
>Если так не понимаю чо за дроч вокруг нее, какие задачи это вообще может решить?
Смысл в zero shot learning, она по примерам описанным на естественном языке способна решать задачи, это максимально человечное поведение, которое кто-либо видел. То есть ты пишешь что-то вроде
Текст статьи:
[дальше статья длиной в несколько килобайт]
Ее краткое содержание:
И она дописывает ее краткое содержание сразу после двоеточия.
>Нормально там с памятью все, около 4-6 кб только контекст
Это вообще ни о чем.
>а еще можно создавать постоянную область, куда копипастить важные вещи типа имени твоих тиммейтов
А еще можно писать текстовый квест руками, без всяких ГПТ, как делали деды. Это все костыли, не имеющие отношения к самой архитектуре. Нормальной памяти у ГПТ нет. Вместо большого контекста можно было бы периодически файнтюнить, но и этого не просходит. В результате все твои действия быстро забудутся.
>Но так как суть рпг это постоянные путешествия, особо это не напрягает.
Только в прежние места уже не вернешься.
>Можно дохуя чего делать, главное не быть душнилой типа тебя
>>1906957
Блядь! Я наконец-то понял, как играть в это по нормальной схеме. В поле "Remember" нужно указывать ИИ, как вести игру.
К примеру:
"Когда игрок пишет 'осмотреться' детально опиши локацию вокруг него. Никогда не действуй за игрока. Просто описывай, что происходит после его действий. Игрок живет в мире похожий на 16 век. Все города здесь называются в Европейском стиле по типу 'Пасро', 'Вайтран', 'Рубинхейген'. Создавай походие имена."
И знаете что? Это работает! ИИ действительно делает всё так, как я объяснил. Он создает названия по типу "Хельген", он не пытается дейтсвовать за игрока, а всегда пишет в конце "Что ты будешь делать дальше?". Надо лишь объяснить, как правильно играть, и он перестанет нести бред.
По-моему Дивный Новый Мир с ИИ совесем близко.
>Посоветуйте пожалуйста в какую сторому смотреть\искать
https://cs.stanford.edu/~srijan/teaching/cse6240/spring2020/slides/22-deep-recsys.pdf
Это не самый cutting edge, но для интродакшена сойдет, там описывается как от дидовских методов перейти к нормальным и почему они лучше дидовских.
Для cutting edge нужно рассматривать историю как историю, то есть последовательность событий, когда ты и сезонность начнёшь учитывать, и много другое. Но у тебя вряд ли достаточно данных.
Еще можешь https://github.com/Microsoft/Recommenders почитать, но там очень горько, осторожнее
Алсо датасеты можно пиздить с помощью парсинга крупных магазинов и для мелкого кабанчикобизнеса это скорее всего будет эффективнее.
Без машоба - https://robertheaton.com/2018/12/17/wavefunction-collapse-algorithm/
С машобом можешь хоть char-rnn взять из статьи карпатого (https://karpathy.github.io/2015/05/21/rnn-effectiveness/ https://medium.com/@ageitgey/machine-learning-is-fun-part-2-a26a10b68df3#.cvhzo63n0), можешь взять мелкий стек трансформеров с такой же целью, можешь VAE попробовать.
Скорость это вопрос архитектуры.
Спасибо, анон. Мне главное, чтобы генеративный алгоритм смог хорошо улавливать закономерности в данных. Трансформеры это вещь конечно, надо попробовать какой-нибудь линейный. Но сначала надо попробовать
> Без машоба - https://robertheaton.com/2018/12/17/wavefunction-collapse-algorithm/
MLP, rnn, lstm, seq2seq, seq2seq with attention, scaled dot product attention, multi head self attention, transformer, дальше читаешь пейпер по gpt2 (language models are что-то там by openai)
За неделю можно управиться на уровне "по верхам", читая оригинальные пейперы, разборы индусов в бложиках и посмотрев Килхера
https://www.youtube.com/watch?v=EgoXjFqgvns
Чем кардинально отличается PyTorch/Keras от TensorFlow?
Какие преимущества одного над другим?
> Какие преимущества одного над другим?
Что нравится, то и используй. Вряд ли что-то можно сделать одним из них, чего нельзя другим.
кароч пайторч для норм пасанов, TF для петушил
Никак, используй ноды для поиска гиперпараметров, но обучай каждую сетку отдельно.
Теоретические - локальные и биологически правдоподобные альтернативы бэкпропагейшену, но они все говно настолько, что проще обучать маленькую архитектуру локально, что большую, но так.
Можешь https://cs.stanford.edu/~matei/papers/2019/sysml_parallelism_flexflow.pdf почитать для общего развития
>>1908784
Если бы при этом писали что-то НОВОЕ, а не очередной AI Dungeon.
https://play.aidungeon.io/
Правильно ли я понимаю, что Alpha Zero - это генетический алгоритм с большим объёмом памяти и не более того?
В этом случае ему нужно крайне малое число действий для манёвра, те же шахматы или шашки, иначе база данных быстро заполнится мусором.
Боты в CS тоже могут быстро вынести всех противников на карте, и там нет мл даже, зато громких выкриков "ИИ ПОБЕДИЛ ЧЕЛОВЕКА В CS - НОВАЯ ЭРА НАЧАЛАСЬ!" как с шахматами слышно не было.
Я слышал, что некст левел будет когда openai прикрутят к нейронке какие-то "ациклические графы", но хз что это значит в контексте машоба. Проясните, хули
> Ты собрался заделывать GPT в соло?
Нет. У меня нет желания создавать языковую модель на все случаи жизни. Я создаю игру в определенном созданным мною сеттинге, но с генеративным контентом и большой интерактивностью. Генеративные нейросети это олин из инструментов. Но, как я понял, нейросети плохо подходят для того чтобы быстро усваивать паттерны в данных.
1) Это плюс а не минус.
2) А ты уверен, что для тебя это минус?
3) Она взаимодействует хуже вручную написанных диалогов. Вам бы текстовые квесты писать, батенька. Попробуй сделать сам что-то, чтоббы оно хотя бы пыталось сделать этот параметр на нужном тебе уровне. Сейчас есть уже куча смешивающих фичи изображений споособов, наверняка можно использовать их подходы для текста. Всего-то делов собрать датасет (на самом деле это самое сложное для обучения сетки. Теоретиков много, а практиков- днём с огнём не найти)
> А ты уверен, что для тебя это минус?
Знаешь ли, постоянно нажимать кнопку "reset" (читай: заниматься черрипикингом), только потому что ИИ несет бред, и в итоге останавливаться на более-менее адекватном варианте, сложно назвать приятной игрой. Это еще я не говорю, про то что ИИ действует и говорит за игрока. Даже я, когда только начинал DM'ить не позволял себе такой ахуелости.
У меня вообще нет ни одного варианта как сделать IF'ки с помощью ML/AI. Ролеплей - ИИ-полная задача в смысле нам нужен интеллект, соответсвующий человеческому. .
Ты либо большую часть игры создаешь сам, разбавляя её процедурщиной (игра получится ограниченой, но в тоже время нересурсотребовательной) , либо сваливаешь все на языковую модель (технически в игре ты сможешь всё на что хватит тебе фантазии, но игра может быть очень некотроллируемой во многих местах + оверхед по ресурсам).
Честно говоря, все языковые модели, какие бы они не были, не подходят для текстовых квестов (здесь нужен иной подход, какой - хуй знает). В данном случае Марковские цепи и GPT индетичны. Что то просто следующее слово предсказывает, что то. А результат всё равно не удвлетворительный.
нада. я просто слегка тупенький мимокрок, который играясь с генетическими вспомнил про нейронки.
обучение подкреплением действительно очень похоже на генетические алгоритмы: и там и там цель подобрать такие параметры (веса, гены), при которых некая функция будет максимальна. неужели здвиг всех весов на некое милипизрическое значение в зависимости от выходной ошибки на каждом шаге прям в овер 9000 эффективнее, чем постоянные рандомное скрещивания лучших на данным момент параметров?
> и там и там цель подобрать такие параметры (веса, гены), при которых некая функция будет максимальна
Ты только что любую оптимизацию
>неужели здвиг всех весов на некое милипизрическое значение в зависимости от выходной ошибки на каждом шаге прям в овер 9000 эффективнее, чем постоянные рандомное скрещивания лучших на данным момент параметров?
Генетический алгоритм чуть лучше случайного перебора по своей логике. По сути это случайный перебор, у которого область поиска постоянно сокращается по определенным правилам.
Когда у тебя 200 параметров и 1000 особей - это одно. А когда параметров у тебя миллионы, то и особей нужны ну хотя бы тоже миллионы, что это хоть как-то работало. И это уже неэффективно.
> Генетический алгоритм чуть лучше случайного перебора по своей логике. По сути это случайный перебор,
Это абсолютно не так. Даже если не лезть в матчасть, а просто сравнить время работы генетического алгоритма и перебора. На одной и той же задаче, на которой grammatical evolution с генетическим алгоритмом сходится за несколько секунд, перебор висел минут 15, пока я просто процесс не прибил. Разница по времени там буквально на порядки.
Если у нас нейронка, то все гены - float'ы.
Берем набор особей. Это набор точек в пространстве.
Далее мутация - это это сменение точки в случайном направлении.
Кроссовер - это ты из 2-х точек получаешь одну, которая, в зависимости от правил этого кроссовера, будет где-то на кубике вписанном между этими двумя точками.
То есть мутация обеспечивает тебе случайный поиск, селекция и кроссовер - сужение границ поиска. В итоге все сходится.
Но чтобы оно сходилось, у тебя изначально должны быть хорошие шансы оказаться рядом каким-то хорошим минимумом. Для этого особей должно быть достаточно много, и как много зависит от размерности твоей задачи, и я не вижу причин, чтобы зависимость не была экспоненциальной.
grammatical evolution - какая там у тебя размерность, 1000 есть хотя бы? А небольшая нейронка имеет в 1000 раз больше параметров, и сама поверхность хуже для ГА, если прикинуть.
> Но чтобы оно сходилось, у тебя изначально должны быть хорошие шансы оказаться рядом каким-то хорошим минимумом.
Сходиться оно в любом случае будет. Тут зумера не любят теорем Жопеншмуклера, а я все же сошлюсь на теорему схем Холланда, доказанную им в 1975. С практической точки зрения, опять же, генетические алгоритмы хорошо сходятся и не застревают в локальных минимумах даже специальной хуйни типа функции Растригина. Да, все это плохо работает на многомерных данных, но я не вижу причин, почему ГА нельзя распараллелить и состыковать из отдельных алгоритмов, решающих задачу низкой размерности, теорему Колмогорова-Арнольда никто не отменял.
Одна из миллиарда статей, критикующих теорему схем жопеншмульцера.
Вот смотри:
Алгоритм с подкреплением ведет поиск "осознанно". Он накладывает на поиск вариантов евристики.
Генетический алгоритм всё делает рандомно. Еврестики подбираются тоже случайным образом.
Генетический алгоритм будет дольше обучается, чем подкрепление.
Вот самое лучшее сочетание предобучение авторегрессией -> обучение подкреплением.
К примеру, задача генерации музыки.
Мы даем нейронке изначальные знания, в виде базы данных музыкальеых произведений. Затем, когда она генерирует музыку, подкрепляем лучшие результаты работы алгоритма, а откровенно плохие варианты - откидываем.
Такой подход можно применить задач генерации текста и музыки, ибо там требуется некоторый абстрактный "смысл", который можно вывести, накладывая на алгоритм ограничения вручную.
> Вручную что ли?
Естессна.
К примеру у тебя есть музыкальный сервис, которые фокусируется на генеративной AI-музыке.
Генериреутся она через (VQ)VAE.
Однако, даже если данных будет достаточно, не каждый вариант будет хорошим - это факт.
Но, внимание, у пользователей есть кнопки лайк и дизлайк. Именно пользователи будут дообучать нейросеть подкреплением.
Через некоторое время, алгоритм будет делать музыку не хуже человека.
> Алгоритм с подкреплением ведет поиск "осознанно". Он накладывает на поиск вариантов евристики.
> Генетический алгоритм всё делает рандомно. Еврестики подбираются тоже случайным образом.
Ты не понимаешь принципов работы ни ГА ни RL. При этом пытаешься спорить. Могу предположить, что ты зумер.
>Начнем с того, что увеличение данных для GPT не улучшит его работу.
Так ты весов тоже накинь
>GPT = Марковские цепи со знанием контекста и вниманием. Change my mind.
Можно с таким же успехом написать что-то типа "GPT - функция". Смысл в твоей интерпретации какой, даже если она верна, хотя скорее всего она не верна?
Может, вы увидите какую-то грубую ошибку и что там не так? https://pastebin.com/bb6kviKM
По обучению, получается так, что вывод заполняется blank label (maxr на картинке). А loss потихоньку спускается к нулю, а потом к отрицательным значениям.
Во-первых, рл - это большая область с кучей разных задач и алгоритмов. Во-вторых, где в каком-нибудь REINFORCE есть "перебор всех вариантов"? Там напрямую максимизируется матожидание награды, никакого перебора всех вариантов там нет. Изначальная околослучайная стратегия - это не перебор вариантов.
А можно ли сделать так, чтобы даже эти 10 примеров для файн-тюнинга (или как это называется) себе предоставлял сам же GPT-3? По одной нашей команде, чтобы бы не пришлось предоставлять ему какие-то примеры для работы вообще? Или это бессмысленно и должен быть какой-то ввод извне, типа в этом суть?
>Что почитать для вкатывания?
>http://www.deeplearningbook.org/
>Николенко "Глубокое обучение" - на русском, есть примеры, но >меньше охват материала
>Франсуа Шолле - Глубокое обучение на Python
А где тут бишоп?
А, в глаза ебусь, увидел в шапке только дедовские книги.
Почему-то для вкатывания один диплернинх. В классический машоб я бы советовал вкатываться с курса от одс, а в DL - со стенфордского cs231n. Если нужно будет погружаться глубже, то тогда узконаправленно читать нужную инфу.
Если из предложенных книг выбирать, то там +- одно и то же. После любой из них всё равно придется догонять то, что было после 17 года придумано.
https://m.hightech.plus/2021/01/13/modeli-ii-ot-microsoft-i-google-oboshli-cheloveka-v-ponimanii-logiki-teksta
Ты еще попроси определения слова куча сена дать. Я ебу что-ли, для кого-то куча - 1 кг, для другого - тонна.
Вопрос в том, что животные (большинство из них) действую по схеме:
стимул -> реакция
А учеловека:
раздражитель -> мысль -> действие
Я уж не говорю о том, что эта цепочка может начаться вовсе без раздражителя.
Или ты из тех, кто отрицает наличие свободы воли и образного мышления?
>>1910411
>>1910387
И типа кто-то кроме зумерошизика спутает это с осмысленной человеческой речью. Реально же не лучше марковских цепей из нулевых, более менее семантически корректный бред генерировать может, но не более. Конкретно этот анон с порфирьевичем (который на гпт2 с прибамбасами) развлекается видимо.
>Проделав теоретические вычисления, международная группа ученых под руководством команды исследователей из Института Макса Планка (Германия) показала, что появись такой ИИ, управлять им мы точно не сможем.
Содомит, прекрати. Слово ученый уже зашкварилось как и слово либерал.
>Институт науки не уважаешь, вас таких в пробирке тьмы и невежества выводят. А если вас просвещать, за такое в тематике банят
Нормальная наука есть только в крупных коммерческих фирмах. Остальные ученые в говне моченые ничем кроме попила грантов не занимаются.
>Наукой же как изучением тайн природы (в классическом смысле этого слова т.е.) кабанчики не интересуются.
В современной науке основной фокус это не изобретение нового, а публикация как можно большего количества пейперов низкого качества. Поэтому от большинства исследований пользы даже меньше, чем от кабанчиков, которые трясут ящик чтобы решить задачи бизнеса. Все инновации делает гугл, фейсбук, опенаи и пара тройка топовых университетов. Остальные просто паразитируют на грантах.
>а публикация как можно большего количества пейперов
Перестань, это Болонская система где требуют публиковаться
>Все инновации делает гугл, фейсбук, опенаи и пара тройка топовых университетов
Не делают, они вам пытаются скормить
>Остальные просто паразитируют на грантах.
В это и есть смысл современной науки
>Все инновации делает гугл, фейсбук, опенаи и пара тройка топовых университетов
Инновации делают ученые, которые там работают, и гугл, фейсбук и прочие их не в пробирке выращивают. Инновационная экономика - система комплексная и частично не работает, нужно и обучать ученых, и отбирать их, и давать им финансирование, и чтобы они делились знаниями как можно раньше, а не пытались зажопить ноу-хау.
Вытащишь что-то, работать не будет.
Richard S. Sutton
Distinguished Research Scientist, DeepMind Alberta
Professor, Department of Computing Science, University of Alberta
Principal Investigator, Reinforcement Learning and Artificial Intelligence Lab
Chief Scientific Advisor, Alberta Machine Intelligence Institute (Amii)
Senior Fellow, CIFAR
>Professor, Department of Computing Science, University of Alberta
>Principal Investigator, Reinforcement Learning and Artificial Intelligence Lab
>Chief Scientific Advisor, Alberta Machine Intelligence Institute (Amii)
>Senior Fellow, CIFAR
Пиздец у него титул, взоржал.
Профессор, почетный член всех академий, любимый муж и папочка, исследователь всяких исследований, заведуюйщий двухкомнатной лабораторией с четермя стульями, очень умный, консультант по щам и просто хороший человек
>Вот это пожар
Но ведь пожар как раз у наукопетушни, которая потратила всю свою жизнь чтобы зарабатывать как вчерашний студент.
> При этом такой профессор получает меньше, чем типичная веб-макака в индустрии.
Смотря где. Пару лет назад постили зарплаты в Японии, среднестатистический профессор там получает в пересчёте на нашу псевдовалюту около 900к₽. Очень сомнительно, что такой доход имеет вебмакака, даже в той же Японии. Если ты про Блинолопатию, то да, тут и дворник гурбангулбердымужамеджон в москваюрте больше профессора в регионах имеет.
>Недавно читал что много челов в openai и deepmind получают около 1кк зеленых в год. макаки столько никогда не будут получать
Макаки-лиды в долине получают столько же.
К тому же это все коммерческие компании. Я же говорил про профессоров, которые работают в университетах и имеют титул длиннее, чем их история работы. Такие получают максимум тысяч 150, и то к самому концу карьеры, проработав всю жизнь за зарплату автомеханика.
>>1912239
Вообще, долина по сути уникальное место, касаемо зарплат. Допустим, сравним зарплаты того же тим лида и assistant professor(аналог нашего доцента). Да, во время phd зп разработчика будет выше, чем у аспиранта. Для сравнения взял бостон, где расположен MIT. Наверное в других универах зп профессоров пониже, но лень сидеть смотреть. Так вот, согласно glassdoor зарплата профессора оказалась выше(111к+24к бонусов) против team leader(104к). Так что все не так однозначно. Плюсом так же к профессии профессора идет более менее гибкий и свободный график. Возможно мог ошибиться когда смотрел зп в glassdoor, но пока вот так.
>против team leader(104к)
Там какая-то фигня с данными. У обычных фулл-стек макак написано 111к не включая бонусы, что похоже на правду. У лидов должно быть минимум 150.
>Да, во время phd зп разработчика будет выше, чем у аспиранта
>Так что все не так однозначно. Плюсом так же к профессии профессора идет более менее гибкий и свободный график. Возможно мог ошибиться когда смотрел зп в glassdoor, но пока вот так.
Чтобы стать профессором надо получить пхд, а это минимум пять лет за зарплату в 3 раза меньше зарплаты джуна. После этого пойдешь еще лет пять въебывать постдоком за зарплату все еще меньше зарплаты джуна. Наконец, если повезет, годам к 35 наконец станешь профессором с зарплатой 100+. Гибкий в академии ничего не значит, поскольку все зависит от твоих достижений в науке. Ты либо работаешь с утра до ночи, либо остаешься вечным постдоком или вообще вылетаешь.
ИИ, который переводит мангу. Данных много, в том числе, можно синтезировать (нужны лишь пары изображений (с текстом оригинал-перевод) в разных шрифтах).
Переводить будет и SFX'ы.
Использовать можно (нужно) GAN.
В керасе model.layers[index].weights хранит веса в виде списка numpy массивов, ты можешь создать две модели, одну проинициализированную с нуля, вторую с загруженными весами и скопировать что угодно из чего угодно. Это полезно знать чтобы оно не было для тебя какой-то магией. Веса - это просто массивы.
Альтернативно https://stackoverflow.com/questions/40496069/reset-weights-in-keras-layer смотри ответ def reset_weights.
В этом коде тебе нужно вместо for layer in model.layers написать for layer in model.layers[-5:] или еще как откусить хвост (более правильно указать слои по имени)
> каждую эпоху отфигачивать верхную денс сетку оставляя старую реснет голову
Это не заметил, я думал ты просто про файнтюнинг спрашиваешь. Тут ты просто делаешь 3 модели с shared weights
inp = Input(...)
x = Resnet(... inp ... )
a = Conv1D()(x)
b = Conv1D()(x)
modela = Model(inputs=inp, outputs=a)
modelb = Model(inputs=inp, outputs=b)
И далее ты либо делаешь кастомный луп с помощью train_on_batch, либо, что более правильно, делаешь кастомный луп с помощью tf.function, потому что у train_on_batch течет память азазаза гугол что ты делаешь прекрати.
Если хочешь обучать одновременно, то model = Model(inputs=inp, outputs=[a,b,c]) и ебешься весами у лоссов.
В пайторче аналогично - создаешь класс Net, в коноструктор которого передаешь другю модель, должно заработать
чо-то не верится что какой-то ган за один проход потянет такое, если бы мне сказали такое я бы обучил детектор облачков с текстом, например йолу, результат йолы бы переводил в текст какой-нить моделькой, хз как это щас делается, но видел делается нормально, текст переводил бы гугл транслейтом и заменял тупо, чо говно или норм пайплайн?
Я еще в прошлом году видел эту модель и подозревал, что с ней что-то не так, в итоге ее авторы и признали это сами. https://github.com/fengxinjie/Transformer-OCR
Хм, нашел это https://github.com/vlomme/OCR-transformer/
Потом попытаю ее на датасете
А то я рандомно кидаю
linear(1,300)
ReLU
linear(300,200)
ReLU или CELU
linear(200,200)
CELU
Linear(200,1)
плюс накидываю дальше скрытых, пока ошибка не начнет уменьшаться
>linear(1,300)
Почему у тебя всего один признак во входных данных?
Вообще, для полносвязных сетей ничего качественно лучше linear-relu-linear-relu-linear не придумали, просто размеры скрытых слоёв можно поменять.
А если ты про свёрточные нейросети, то просто открывай какой-нибудь keras.applications или pytorch zoo, бери рандомную модельку и читай про неё.
>>1912865
> чо-то не верится что какой-то ган за один проход
Он сможет по крайней мере клинить и переводить SFX. Но, просто датасет придётся клинить. Либо вручную, либо используя исплользуя другую нейронку, которая будет детектить границы облачков.
Насчет перевода - да скорее всего по-требуется другая нейросеть.
Есть еще проблемы с тем, что если переводить с японского - то здесь пиздец как нужно понимать контекст, исторический бекграунд, и надо уметь делать копмромиссы перевода, ибо что можно сказать в одном языке, невозможно сказать в другом без заимствований.
С английским попроще, ибо он, внезапно, ближе к русскому, чем тот же японский.
вообще, не могу поверить что такая тренировка невозможна и что так еще никто не делал. был же даже проект, в котором добровольцы тренили какую-то нейросеть, название не могу вспомнить
GPT-3 недоступна не по приказу госорганов, а по решению её же разработчиков (не непосредственно людей, а компании). Ты тоже, знаешь ли, можешь на своем гитхабе private репозиторий создать и твои state of the art cutting-edge разработки в сфере вывода надписи "Hello world!" не будут доступны человечеству, и ты на это имеешь полное право и мое личное благословение.
> GPT-3 недоступна не по приказу госорганов, а по решению её же разработчиков (не непосредственно людей, а компании)
Так-то и Трампа везде заблокировали частные компании, которые никому ничего не должны. Главное результат, а не формулировка. А что там на самом деле было, народу знать не обязательно, правда своя инициатива, или Брина / Маска вызвали куданада и пояснили что к чему.
>может нарисовать нормальную картину по самому ебанутому описанию типа "капибара сидит на жопе ровно в поле на рассвете" или "кресло в виде авокадо"
Напоминаю, что дали нам несколько черипикнутых примеров а не модельку так что как ты там оценил может или не может хуй знает. Вообще, судя по тому как опенаи всё жопят закрадывается подозрение а не наёб ли это всё. Может и гпт3 это гпт2 тупо с нанятым штатом китайцев которые полуавтоматически правят ошибки.
> Напоминаю, что дали нам несколько черипикнутых примеров
Это я понимаю. И все равно, даже такие результаты это конкретный шаг вперёд по сравнению с тем что было до.
> судя по тому как опенаи всё жопят закрадывается подозрение а не наёб ли это всё. Может и гпт3 это гпт2 тупо с нанятым штатом китайцев которые полуавтоматически правят ошибки.
Маловероятно, что это наебалово. Так или иначе, в паблик они свои поделия вылаживают, изначально и гпт2 с 1558м параметров жопили, а потом все равно выложили.
Теория игор, теория принятия решений, обучение с подкреплением. Можешь, например, из этого плейлиста накатить лекции 1-11, 13-15 для начала - это записи лекций MIT, курс "MIT 6.034 Artificial Intelligence"
https://www.youtube.com/playlist?list=PLUl4u3cNGP63gFHB6xb-kVBiQHYe_4hSi
>ИИ, который переводит мангу.
Я занимался этим пару лет назад, но дело заглохло из-за отсутствия времени и данных. А недавно сообразил, что датасет можно разметить практически автоматически, используя переведенную и не переведенную мангу. Дальше либо тренировать йоло, либо при помощи классики распознавать потенциальный текст и тренировать нейронку-классификатор, которая будет определять, является ли предложенный регион текстом. Ну а все остальное делается при помощи тессеракта и гугл транслейта. Главный подводный - это сам перевод. Гугл очень плохо переводит японский.
ML на всяких js и сишарпах нужен не для того чтобы составлять конкуренцию петухону, а для того чтобы можно по-быстрому встроить ml в своё легаси или вебговно, если кабанчику захочется побольше бабок под модную тему стрясти с заказчиков, и при этом не приходилось ебаться с разворачиванием контейнеров и дёргать петухон только для того чтобы модельку заинференсить. Плюсы нужны для встраивания уже разработанных моделей в готовый продукт. Так что бери питон и не выёбывайся, всё остальное не про "создавание ии" а про унылые будни обычной промышленной разработки.
Потому что зависимость какая-то есть, но какая мы не знаем поэтому наваливаем всех функций что есть и смотрим что получится, это мл для тебя. Только я бы лучше бустинги обучал на этом вместо линейных регрессий, современные библиотеки данных требуют не сильно больше, а всяких неприятностей с корреляцией признаков и прочих капризных требований к данным таких нет.
Так они и обучают. В числе прочих линейных регрессиц.
Кто ж виноват что не знаешь где книги на русском взять.
>И что, вообще никак?
Смысла мало. Ты же не мелкие сетки хочешь тренировать, а большие, а таким нужны гигабиты в любом случае, будешь ли ты обмениваться градиентами (как принято сейчас - на всех машинах одна и та же модель, через которую гонятся батчи, а затем ошибка усредняется по всем воркерам и веса апдейтятся) или данными (то что приходит в голову первым - но бэкпроп последовательный алгоритм и хер что выйдет при подходе влоб), в любом случае нужно будет обмениваться большим количеством инфы.
>А если очень хочется?
Пиздуй в науку и исследуй. Потенциально я вижу два решения
1. Локальные альтернативы бэкпропу, то есть каждый слой/набор слоев живет на пеке и в асинхронном режиме отправляет/получает данные, модифицируя у себя веса
2. Модели с бэкпропом, но с conditional computation. То есть у тебя архитектура состоит из сотен параллельных ветвей и роутера, который направляет данные. Соответственно все, что после роутера, можно распараллелить на разные машины. Можно эту хуитку настекать, добавить p2p механизм обмена данными от роутера и тому подобное.
И там и там если утилизацию GPU в 10% получишь, будет неплохо.
хватит ли исходных данных чтобы генеративную нейросеть обучить стилю группы Король и Шут сочинять тексты на заданную тематику или хотя бы просто с наличием ключевых слов?
>тессеракт ужасен в распознавании манги.
Ты бы для начала прочитал пейпер по тессеракту - он предназначен исключительно для распознавания текста без картинок. Поэтому нужно распознавать не всю страницу, а вырезанные регионы с текстом, тогда точность будет достаточно хорошая по крайней мере лучше, чем точность перевода с японского.
Лол, я читал и тестил тессеракт и даже делал базу для выделения участков текста в манге.
Он ужасен просто, киндл, а ты 100% будешь работать с киндл форматом он тянет плохо.
В итоге мне стало лень и я использовал гугл док как нейронку для себя, у нее точность распознавания отличная
Также стоит рассматривать препроцессинг, текст может идти в совершенно рандомном шрифте, с совершенно рандомным наклоном + еще есть фуригана, которую ты не можешь просто так удалять, почему я объясню чуть ниже.
Распознавание японского - это челлендж, в этом языке 2 слоговые азбуки, + как минимум 5к кандзи нужные, чтобы читать мангу, не смотря в словарь, еще есть кюдзитай формы.
Также японцы могут использовать кастомное чтение кандзи, также в качестве литературного приема японцы могут использовать другое чтение кандзи, чтобы получить другое значение слова или же смешанное значение слова, поэтому фуригану просто так при препроцессинге вырезать нельзя.
В самом японском всевозможное число котоваз, разговорных и письменных сокращений и всего прочего, что делает перевод более веселым.
>Он ужасен просто
Ты скорее всего его неправильно настроил. У тессеракта куча параметров, которые сильно влияют на качество распознавания. Ну и распознавать нужно куски текста как на пикриле, чтобы ничего кроме текста не было. Ну и не забыть добавить пустого пространства по бокам.
>киндл форматом
Какой еще нахуй киндл? Картинки жпег или пнг.
>В итоге мне стало лень и я использовал гугл док как нейронку для себя, у нее точность распознавания отличная
С гуглом сложно конкурировать, но у него анальная привязка к аккаунту и лимит на количество запросов.
Аноним
21/01/21 Чтв 00:22:35
№447