Я ничего не понимаю, что делать?
Без петросянства: смотри программу стэнфорда CS229, CS231n https://see.stanford.edu/Course/CS229 (классика) и http://cs231n.stanford.edu/ (введение в нейроночки) и изучай, если не понятно - смотри курсы prerequisites и изучай их. Как именно ты изучишь конкретные пункты, типа линейной алгебры - дело твое, есть книги, курсы, видосики, ссылки смотри ниже.
Почему такой фокус на нейронки?
Потому что остальные чистят вилкой данные в банках с помощью LGBTboost и им некогда предлагать обновления в шапку
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus
Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/
Почему python?
Исторически сложилось
Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет
Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python
https://d2l.ai/index.html
В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся
Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Версии для зумеров (Килхер): https://www.youtube.com/channel/UCZHmQk67mSJgfCCTn7xBfew
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где посмотреть must read статьи?
https://github.com/ChristosChristofidis/awesome-deep-learning#papers
https://huggingface.co/transformers/index.html
То, что обозревает Килхер тоже зачастую must read
Где ещё можно поговорить про анализ данных?
http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Google Colab дает бесплатно аналог GPU среднего ценового уровня на несколько часов с возможностью продления, при чем этот "средний уровень" постоянно растет. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом
Кто нибудь использовал машоб для трейдинга?
Никто не использовал, ты первый такое придумал. Готовь камаз для бабла.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущий:
https://2ch.hk/pr/res/2042522.html
Disclaimer: Шапка сгенерирована нейросетью и нуждается в чистке.
Что на втором пике, дали по рукам за фантазии о чистой любви?
>смотри программу стэнфорда CS229, CS231n https://see.stanford.edu/Course/CS229
>линейная алгебра, теорвер, матстат, базовый матан и matrix calculus
Хватит пиздеть уже.
Вы просто дрочите параметры в готовых сеточках и нихуя больше не делаете.
ai-dungeon. Порнуха там особо не запрещена, но есть ML-фильтр, который блокирует ответы нейросетки, если их можно расценить как explicit content с участием несовершеннолетних. Т.е. если ты в затравке напишешь, что твоя 16-летняя подружка-котодевочка сегодня надела полупрозрачные трусики, то просто не получишь ответа. Однако настоящий датасантист всегда найдёт способ довести нейросетку до оргазма правда за этим всё равно последют пиздюли уже от модераторов-людей
Если можно, то как там ускоряют инференс, а то никаких простых способов перегона в onnx там не обнаружено.
Не знаю ничего про JAX, но если бы ты видел, на чем написаны модели в Сбере, то понял, что писать их можно хоть на сперме дракона. Потому что если модель начинает приносить реальные деньги, уже никого не ебёт, на чём написана, будут хоть вручную из ноутбука запускать.
Про прод хуй его знает, я не юрист, но вот те же елузеры ускорили инференс через сжатие вершин в bf16, это + отбрасывание оптимизатора их модели дало сокращение веса почти в 8 раз, и как пишут в статейках ускорило выполнение на tpu. Но если это меньше весит и работает быстрее там, то думаю и на обычном gpu это будет быстрее.
https://www.youtube.com/watch?v=WKn0Oxb5RX0
Он же уже есть даже в cogview, в веб демке он просто не начинает рисовать, а в колабе он рисует крайне плохо так как сразу видно что либо датасет чистили вилкой, либо хотсинг картинок откуда собирали датасет изначально цп не пропускал. Алсо если выполнять локально то никаких проблем нет, стер строчку кода отвечающую за фильтр, зафайнтюнил на твоей коллекции у меня ее нет, т-щ, майор и все. Ну и опять же, если гугл колаб не закроется к тому времени когда полностью смогут использовать тпу и допилят светящийся путорч то у каждого будет возможность тренировать на 64 видеогигах.
Ну как сказать. GPT-3 - это бредогенератор. Там в принципе нет такой опции, как "поговорить" с нейросетью. Она берёт последовательность токенов и пытается её продолжить. Я взял затравку отсюда https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html и вот что получилось.
Цимес в том, что из-за большой длинны ответа, она иногда сама начинает задавать себе вопросы и отвечать на них. Я пометил желтым как она сама с собой "разговаривает".
Думаю, если прикрутить к ней её что-нибудь, что позволило бы ей понимать, сколько токенов возвращать в зависимости от контекста, она вполне бы смогла наебать неподготовленного человека.
Тесты, которые она генерирует, почти неотличимы от сгенерированных человеком. Их можно определить только по потере контекста и логическим ошибкам. Например, когда я ебу одновременно двух котодевочек, она "забывает", в которой из них мой член в данный момент.
Ну и обучения там в нормальном смысле тоже нет. Есть текстовый контекст, когда он становится слишком большим, сеть не может делать из него сложных выводов. Например, она не может понять, что эту котодевочку я уже ебал, котодевочка может внезапно стать моей сестрой, одна котодевочка может вдруг назвать другую котодевочку шлюхой, хотя минуту назад по контексту они были подружками.
Поэтому если человек знает, что спрашивать, он очень быстро поймёт, что общается с цепью Маркова на стеройдах. Или, по крайней мере, с человеком, прикивающимся цепью Маркова.
Есть же такая штука как стоп токены, и думаю очевидно что если там указать что "Q:" это стоп токен а потом показать все кроме двух последних символов, то все будет заебись.
Ну и забывчивость в первую очередь потому что каждая модель трансформеров имеет свою заданную при создании длину в токенах, и когда текст меньше этой длины остаток заполняется нулями. Ну и очевидно что когда текст превышает длину модели то контекст старается. Есть костыль, например в gpt-j, что при превышении длины начало выводится, но не передается нейронке, а если ей сказали генерировать больше ее длины то она сама каждый раз в цикле генерирует обрезая контекст и вставляя сгенерированный текст в контекст. Но это лишь костыль, контекст улетит еще дальше.
Есть еще костыль с тренировкой на сжатом вокабе, то есть вместо какого то слова там китайский символ который в единственном экземпляре весит меньше последовательности обычных. Но там все так же теряется контекст.
В общем нужны либо нейронки с большим контекстом (а больший контекст увеличивает количество параметров 1 к 1 или примерно так, а так же требует больше памяти, то есть две модели с разными конфигами и одним числом параметров если у одной число параметров больше из за длины, то она будет жрать в раза 2 больше памяти).
Либо новая архитектура или хотя бы костыль. В принципе подошло бы и усреднение контекста при превышении но это ещё никто не запилил.
Петух тут только ты.
мимо-Горький
ПовестОчка же. Либо авторы идут на бутылку за распространение оригинального запрещенного контента, авторство которого скорее всего закрепят за авторами, либо заклеивают очко и избегают всех рисков.
Кстати поэтому деловому пепе привет, остальным соболезную нейросети и должны быть открытыми и заточенными под локальное выполнение ведь распространение через интернет цп это статья, а хранение для личного пользования уже совсем другая но все же статья.
>В общем нужны либо нейронки с большим контекстом (а больший контекст увеличивает количество параметров 1 к 1 или примерно так, а так же требует больше памяти, то есть две модели с разными конфигами и одним числом параметров если у одной число параметров больше из за длины, то она будет жрать в раза 2 больше памяти).
Это что бы даже у гигантов типа гугла с мелкомягкими вычислительных мощностей перестало хватать?
https://www.youtube.com/watch?v=J-dlntUtlbQ
1) Какая связь между примерами в начале (вроде - давайте разделим пользователей на богатых и бедных и богатым будем показывать рекламу люксовых тачек а нищукам показывать тачки попроще) со всей последующей ебаниной про кластеры?
2) Так что получается любой сайт может прошерстить все мои куки и узнать все-все про меня? Не ну нахуй такого не может быть, должны же быть какие то ограничения по любому.
>Есть же такая штука как стоп токены
Алгоритм. Человек легко наебёт любой алгоритм, если поймёт его принцип действия. Попросит нейросеть выдавать ответы без Q: и A: и алгоритм сломается.
В том то вся и фишка, что один человек изобретает алгоритм, а другой человек его разгадывает. Но сам по себе алгоритм ничего не может создать. А человек, пусть хуёво, но создаёт. Даже пчела может создавать и адаптироваться.
Мне кажется, что основная проблема в том, что алгоритмы не живут в нашем мире. А пчелы и C.Elegans и прочие живут. Многим вообще не нужны нейроны, чтобы действовать разумно. Ну разве не разумно действут какие-нибудь вирусы, разве не разумен C.Elegans с его 300-ми нейронами?
Чтобы разгадать загадку разума, надо сначала разгадать загадку жизни. Разум следует из жизни, разум лишь производная нашего существования.
Они следуют повесточке Маска "too dangerous to release". И я с ними согласен. Есть novelai. Там нет модерации, я купил их премиум-аккаунт и погонял их сеть. Но блядь, это небо и земля. GPT-3 - реально как живая. Я иногда её пугаюсь, мне кажется, что я не цифровых котодевочек ебу, а разговариваю с реальным человеком. Ну совсем иногда, но бывает. Они - лидеры, они могут диктовать свои условия. Если не нравится, сделай свой трансформер. Пока у остальных не получилось.
Раз зумера библиотеку изобрели, может быть и до бихевиоризма додумаются. До RFT точно не додумаются
Уносите этого античного философа. Ты хоть в открытую про Космос говори что ли.
Хотя проблема нейросетей в размере мира действительно есть, что их взаимодействие в нем, что сам мир, сильно ограничены. Есть rl который довольно неплохо решает эту проблему но взаимодействие все еще ограничено, даже если подрубить его к физическому робопсу, все что он сможет сделать это научиться ходить и паре других трюков. Он не сможет научиться говорить или читать в рамках этого алгоритма. Можно подрубить другой алгоритм, обычно так и делают к слову, но как по мне это самый что ни на есть костыль от которого стоит избавиться как можно скорее вель он стопорит прогресс создания полноценного алгоритма с несколькими нейросетями с сильной взаимосвязью и непрерывной обучаемостью.
Ну и да, rl крайне медленный и требовательный и думаю очевидно что на примере робопса его агент будет управляться через сервер.
> Он не сможет научиться говорить или читать в рамках этого алгоритма.
Животные тоже не умеют читать и говорить, причем, без всяких алгоритмов. Гпт это более продвинутый ии, чем животные, потому что даже с обезьяной ты хуй поговоришь, а уж читать она никогда не сможет, а гпт в человеческий язык таки может, хоть и хреновато, но то такое. Даже самая продвинутая обезьяна не может в Winograd schema challenge, а трансформеры могут, хотя по параметрам (нейроны, связи, веса) несравнимы даже с тараканом, про обезьяну и говорить нечего, у них мозги на многие порядки сложнее гпт. Это я к тому, что сравнивать количество нейронов в мозгу с количеством параметров трансформера для оценки того, сможет ли он эмулировать мозг, изначально неправильно. Я бы предложил сравнивать именно поведенческие возможности алгоритмов (может ли алгоритм в эмуляцию оперантов, особенно обобщенных - arbitrary applicable relational response). Животные совсем не могут, это медицинский факт, человек может, трансформеры внезапно тоже могут, но очень плохо, даже у gpt-j-6B эта возможность в зачаточном состоянии. Гпт3 скорее всего может намного лучше, может быть даже на уровне калмуниста, wudao2 скорее всего уже где-то близко к нормальной личинке человека, хотя это только моё предположение, конечно.
Тут же все просто, сейчас абсолютно все нейронки моделируют одну конкретную задачу - гпт писать текст, всякие ганы - генерировать всратые пикчи, классификаторы рил тайма - классификация, в рил-тайме. Если взять у той же обезьяны участок мозга и развить его полностью загубив остальные, она сможет и в генерацию текста на уровне нейронок, но там много сложностей и общество по защите животных посадит тебя на бутылку.
Сейчас проблема в том, что тот же gpt, алгоритм движения робопса и компьютерное зрения находятся в разных состояниях и основаны иерархично. Компьютерное зрение не будет дообучено без вмешательства людей, и по сути каждая составляющая почти не связана с другой. В мозгу любых мало мальски развитых существ есть несколько отделов которые связаны куда сильнее и которые по сути непрерывно взаимообучаются и на задачу "опиши то что ты видишь на тарелке" нейронка сначала посмотрит классификатором, найдет там яблоко а потом отправит "яблоко" в гпт и выйдет что то вроде "яблоко. как много смысла в этом слове, оно может быть съедено, может лежать в анусе, может ходить и говорить" или что то в этом роде. Мозг человека же сначала отправляет сигнал с глаз на классификатор, потом классификатор возбуждает некоторые нейроны и по сути создает интерпретацию яблока в виде матрицы, и уже она отправляется в речевой центр чтобы сказать "на столе лежит яблоко".
>>2078942
Ан нет, не наебал.
https://arxiv.org/pdf/1703.03864.pdf
Там буквально тот же алгоритм, что и здесь https://arxiv.org/pdf/1803.07055.pdf , но в последнем обучают линейную модель, а в первом даже сверточные сети. Но только учти, что там специфические задачи, не очень большие сети (по меркам supervised ml) и 1440 процессоров.
Допустим есть берт и пайплайн для получения ответов на вопросы.
Можно ли вместо ответов получить эмбеддинги ответов?
Если можно, то надо модифицировать пайплайн или саму модель?
Пайплайн в таком случае вообще нужен?
Что не так? Если ты про то что этого не сделали, то уже написал же. Например недавно в китае заставили самцов мышей забеременеть через пришитие их тел к телам самок и пары других модификаций на уровне гуро. Так теперь с ними судятся и им грозит как минимум штраф.
А тут нужно во первых провести ряд эксперементов а это минимум -10 обезьян, а потом превратить жизнь еше одной в ад без гарантий на то что эксперемент будет сам по себе сразу удачен. За это в лучшем случае на твою лабораторию сбросят пару атомных боеголовок.
https://mipt-stats.gitlab.io/courses/stat19.html
тут только лекции, и то лишь по первой половине курса.
а хотелось бы ещё и семинары, конечно
http://nvidia-research-mingyuliu.com/vid2vid-cameo/
Нужно что-нибудь поинтереснее трёх с половиной решенных домашек на гитхаб залить.
Ну после часа чтения или слушания на ангельской меня заебывает.
Лучше считать что нет, я даже больше скажу, например вся математика ЕСТЕСТВЕННО есть на русском, оригинально на нем же написанные учебники, это очевидно, но поскольку все края знаний по МЛ в которых для понимания требуется знать хотя бы термины из математики будут на английском и у тебя будет эффект хуйни от несоответствия в голове понятий, банальное дот-продукт и скалярное произведение, и в нумпай ты будешь писать np.dot а не np.skalarnoe_proizvedenie как бы. Ты рядом с дот-продуктом выучишь иннер продукт, который часть иннер продукт спейса. Что ты услышишь на русском? Правильно - очевиднейшее ПРЕДГИЛЬБЕРТОВО пространство и так далее, просто все библы адаптированы и логически подстроены под английские названия
Если ты хоть чего-то уже понимаешь - открой любой вебинар со скиллбокса, где кабанчик-препод из-за специфики скиллбокса(потенциальный клиент не знает математики и английского) выкручивается как шашлык ебаный при попытке просто как-то описать one-hot-encoding, каждый раз уточняет что такое mean и что такое median, постоянно путается сам называя то векторами, то арреями, причем сами арреи иногда нумпаевские вектора, иногда просто общее название структуры данных, я ебал
Весь этот КУКОЖ должен намекнуть что миксовать не стоит, а поскольку возможности с нуля и до упора выучить на русском хоть одну библиотеку нет никакой, то вывод - изначально все учить на английском
Я тебя понимаю частично, только я раньше когда художественную литературу начал читать на инглише, сессия чтения на русском у меня была страниц под 300, на английском на старте 75 и все - голова чугунная. В итоге раздрочилось и разницы почти не стало, просто перетерпи
Частично знаем же, да и обучить цнс смог еще Павлов собаке, да и учёные в хую моченные уже смогли управлять поведением мышей через имплант стимулирующий участки коры мозга. А работу нейронов в частном случае открыли еще в 1837 году и давным давно смоделировали.
Ну и дело за кучей крайне жестоких опытов и сотнями убийств мартышек и дело в шляпе.
>Павлов собаке
Разницу между рефлексами и разумом нейродебилы еще не понимают?
> Мы не знаем как напрямую обучать ЦНС животных,
> мы
Кто вы-то? Зумера? Давно все известно.
>>2083504
> Разницу между рефлексами и разумом нейродебилы еще не понимают?
Ты много понимаешь, поридж?
Напомни пожалуйста, на чем основаны рефлексы? Ах да, на возбуждении определенных нейронов из за определенных стимулов (собака получает стимул выделять желудочный сок от еды которую в ее сознании совместили с музыкой). А теперь напомни, на чем основан разум? Ах да, на возбуждении определенных нейронов из за определенных стимулов (человек пишет слово хуй на заборе из за стимула показать что он долбаеб и этот стимул в его сознании связан с рисованием на стенах). Конечно, разум куда сложнее, стимулов как скрытых так и явных куда больше а связи сложнее и участвуют более разрозненные и многочисленные группы нейронов, но это уже давно не черный ящик.
Даже сейчас разработана хуйня которая может определить понравился ли человеку другой человек или нет по активности мозга. Ей же, даже без дырки в черепе, уже даже можно управлять мышкой.
И отгадай, что это значит? Правильно, разум это сложный набор тех же примитивов что и лежат в основе рефлексов и самой цнс. Думаю что из этого следует догадаешься сам.
>на чем основаны рефлексы?
На том, что тело и разум это разные вещи. Как нейродебилы обьясняют безусловные рефлексы или инстинкты?
Процесс развития рабочей пчелы от яйца до выхода взрослой особи продолжается 21 день; из них 9 дней пчела находится в открытой ячейке и 12 дней — в запечатанной. Трутень же развивается дольше, чем рабочая пчела. Стадия яйца у него длится 3 дня (как и у рабочих пчел), стадия личинки — 6,5 дней. В запечатанной ячейке трутень находится 14,5 дней. Всего со дня откладывания яйца до выхода взрослого трутня проходит 24 дня.
Сформировавшаяся рабочая пчела или трутень прогрызают крышечку ячейки и выходят на поверхность сота.
Через 21 день пчела выходит из соты со всеми навыками взрослой пчелы. Кто обучал ее нейроны? Мммм?
Ты немного тупенький раз для аргументации тебе понадобились еще и инстинкты, верно? Ты еще написал бы а хули у пчел есть глаза или крылья, откуда? Тоже нейронами додумались отрастить?
И нет, не нейроны. Если ты правда считаешь что нейроны сами по себе могут с нихуя взять и обучиться то я жалею о тех минутах пока писал посты для срача с озлобленной мартышкой из которой сделали реальную нейронную сеть и запустили срать на двощах.
Инстинкты как известно всем кто учился в школе хотя бы 7 классов, передаются на генетическом уровне в хромасомах. То есть по сути новая особь живого организма это развертка генетического кода. А именно все строение организма, путь его развития, базовое состояние клеток которое вроде химического состава клеток и так далее. Надеюсь ты все это время толстил и на самом деле проучился 8 классов после чего пошел на завод, ведь то что ты мартышка все же мало вероятно. Так вот, тебе должно быть известно что обмен информацией и ее хранения в нейронах и между ними осуществляется на химическом уровне. Возвращаясь к тому что было двумя предложениями раннее, воспроизводится и химический состав а так же строение цнс которое подобранно в ходе эволюции. То есть у практически всех живых существ уже есть изначальные состояния нейронов и тела которые зависят от родителей.
И снова вернемся к рефлексам. Да. Часть из них вроде дыхания, сердцебиения и так далее тоже с самого начала так сказать компилируется из генетического кода уже в таком состоянии что средце бьётся а дыхание работает.
Ну и как известно, людям либо не переходит состояние разума совсем, либо переходит самый минимум, и тут я говорю не о памяти бати или деда а о общих начальных состояниях нейронов которые вывелись еще когда человек по пещерам лазил, например боязнь младенцами пауков и змей без которых в те времена бы большая часть человечества вымерла бы.
>генетическом уровне в хромасомах
>начальных состояниях нейронов
Ваше статистическое говно в ящике к биологическим нейронам не имеет никакого отношения. Обтекай.
При чем тут компьютерные нейронки?
> Молекула ДНК хранит биологическую информацию в виде генетического кода, состоящего из последовательности нуклеотидов
> Каждая хромосома состоит из хроматина - сложного комплекса из ДНК , белков и некоторых других компонентов (в частности, РНК ). Хроматин неоднороден, и некоторые типы такой неоднородности видны под микроскопом.
Или тебе нужно заглянуть в твой учебник за 6 класс по биологии чтобы не срать под себя?
Даже если это хранится не в нейронах, абсолютно точно то что это воспроизводится в той части где это хранится.
Ну и первая статья в гуголе.
https://ria.ru/20120917/752767252.html
Нейродебил сорт ов сектантов.
> Нейродебил
Сказали нейроны мартышки подключенной напрямую к мочачу
итак, есть две задачи: 1.классифицировать изображения людей как настоящие или как сгенерированные(точность модели должна быть не менее 0.9)
2.есть два фрагмента текста, и нужно определить, есть ли между 2 фрагментами текста причинно-следственная связь(не менее 0.2)
до конца июля мне нужно решить хотя бы одну задачу, также, на практике, я полный ноль в машинном обучении, знаю самые основы питона, с математикой проблем нет. я прошу вас, аноны, направить меня в нужное русло, скинув литературу/курсы/другие ресурсы и желательно конкретные темы, необходимые именно для этих задач. вообще, возможно ли их решить за такой короткий срок изучив все необходимое?
заранее всем спасибо за любые советы и рекомендации
> 1.классифицировать изображения людей как настоящие или как сгенерированные(точность модели должна быть не менее 0.9)
Это крайне легко же.
Берешь самый простой из готовых новых классификаторов, берешь самый пиздатый генератор ебальников, берешь датасет с реальными лицами и учишь нейронку, указав что в папке real реальные, в папке gen сгенерированные.
Как два пальца об асфальт.
> 2.есть два фрагмента текста, и нужно определить, есть ли между 2 фрагментами текста причинно-следственная связь(не менее 0.2)
А тут можно натренировать гпт или берт на разделенном датасете где каждый текст в виде "первый фрагмент второй фрагмент вывод". А потом при генерации дать ввести первый фрагмент, дать ввести второй фрагмент и вставить в затравку как строку.
Хотя если делать свою архитектуру с околонуля то до конца июля ты явно не успеешь, хотя точность в первом случае так можно повысить. Главное чтобы было на чем тренировать.
Я нуб, и пробовал делать сеть на основе двух разных примеров, но в обоих случаях получается вот так. Что это такое? Мой косяк?
https://pytorch.org/hub/pytorch_vision_deeplabv3_resnet101/
Уже так делали? Есть ли смысл делать такой костыль?
https://copilot.github.com/
Почему эмбеддинг - тензор? Обычно же именно векторы испрользуют.
С какими-то эмбеддингами можешь работать как с векторным пространстовм (w2v), с какими-то это будет очень неестественно или бессмысленно (facenet).
Можешь делать что хочешь, лишь бы работало не хуже стандартных методов.
> Почему эмбеддинг - тензор? Обычно же именно векторы испрользуют.
Может быть, я ошибаюсь, но фичи слов, фраз итд, которые выдают трансформеры, это именно тензоры. Где-то даже видел тему, как эти тензоры пытались складывать и вычитать, ну типа как тот пример word2vec - "king - man + woman = queen", правда ничего не вышло.
King - man + woman это именно векторы складывают, не случайно там word2VEC.
А конкретно в примере выше на самом деле должно получаться king. Queen это ближайший вектор к результату, если не учитывать слагаемые слева.
А трансформеры выдают тензоры потому что так удобней понять, что с какого слоя пришло и что к чему относится. На практике всё равно это каким-либо образом вытягивается в вектор.
https://habr.com/ru/post/395965/
Ну вот как он без "базовой" архитектуры живет?
1) тервер и матстат в одной книжке
2) в меру строгое повествование, с доказательствами, теоремами и тд
3) легко и понятно написано
4) желательно на русском
Про магнитные бури слышал? У многих от них болит голова и отгадай почему.
А если молния ударит в голову то может спокойно сжечь некоторые участки вместе с волосами и кожей.
А сотрясение мозга по своей природе это механическое повреждение, небольшая часть нейронов повредится и даже может мешать передаче между другими.
Однако мозг - избыточен, а избыточность ведет к стабильности. И в итоге те нейроны что были повреждены уничтожаются и поглощаются другими а существующие которые были в избыточном участке и почти не играли роли идут на их место.
Ну и мутации само собой есть и охуеть как могут влиять, это в конце концов механизм эволюции и это самое начальное состояние у макак сильно отличается у состояния у человека. Неблагоприятные мутации обычно называют болезнями, тот же аутизм и куча других врождённых траблов.
>>2085798
> Свою теорию Аксель Клиреманс впервые опубликовал в 2011 году. Он называет её «положением о радикальной пластичности» мозга. Этот тезис вполне соотносится с последними научными исследованиями, которые показывают необычную пластичность взрослого мозга, способного восстанавливаться после травм, «перепрограммировать» отдельные участки на новые задачи, восстанавливать сознание и полную работоспособность.
> Теория Клиреманса может объяснить случай с французским мужчиной, который сохраняет сознание в отсутствие 90% нейронов. По мнению учёного, даже в этом крохотном мозге оставшиеся нейроны продолжают описывать собственную активность, так что человек отдаёт отчёт своим действиям и сохраняет сознание.
Же. Архитектура мозга может постоянно меняться и вполне возможно что инструкция к изменению тоже заложена на генетическом уровне. То есть базовая архитектура есть, но она сложна, модульна, избыточна и может меняться.
Всё-таки интересно, можно ли так же с трансформерами делать. По идее, точность должна быть намного выше чем у word2vec, у трансформеров же эмбеддинг учитывает контекст, и для одного и того же слова в разных значениях, тензоры тоже разные. Просто вычитать и складывать тензоры точно нельзя, надо как-то иначе.
>потому что даже с обезьяной ты хуй поговоришь
С ГПТ-3 ты тоже хуй поговоришь. ГПТ не говорит с тобой, она просто продолжает цепь токенов наиболее вероятным образом исходя из заданного контекста. Она обучен на огромном литературном корпусе, где люди описывали реальные ситуации, либо моделировали их, ГПТ-3 по сути, продвинутая поисковая система. Ты вгоняешь в неё последовальность токенов, она ищет подобную последовательность и продолжает её. Так как в памяти ГПТ-3 просто дохуя заранее созданных людьми литературных текстов, она может продолжить практически любую цепочку более-менее адекватно.
Но ГПТ принципиально отличается от любого животного. Кошка, собака, слон, сорока пусть не говорят, но у них есть личность, память и собственные интересы (пусть даже это банальный интерес - получить от тебя банан). Сорока охуенно осознаёт себя как личность. Сорока прекрасно понимает, что вот есть она, сорока, и есть ты, субъект, с которым она взаимодействует с какой-то целью. И её действия куда более целенаправлены и интеллектуальны.
Сорока может сделать какие-нибудь выводы. Она может решить, что ты для неё опасен, или наоборот, безопасен, она может понять, что ты являешься источником корма, она может просто играть с тобой даже без корма, потому что ей это по кайфу. Потому что у неё есть личность. Потому что изначально в природе была сорока - организм, который должен питаться, размножаться и т.д. А уже потом эволюция присобачила сороке интеллект, чтобы сорока могла лучше решать свои задачи.
Поэтому в природном интеллекте первично самоосознание, у любого природного интеллекта есть "Я". И есть возможность с ним "поговорить". Тебе же не обязательно говорить с сорокой именно словами. По сути "разговор" - это просто обмен информацией между твоим "Я" и "Я" сороки, где каждый осознаёт себя отдельно и делает из этого обмена информацией какие-то выводы для себя.
В ГПТ-3 такого близко нет. У ГПТ-3 нет "Я". Это просто генератор текста. За любым природным интеллектом стоит некое живое существо, а интеллект - лишь надстройка над жизнью. За ГПТ-3 ничего не стоит. У нейросетки нет целей, нет задач, нет тушки, нет своих интересов. С ней нельзя разговарить, максимум, её можно использовать как крутой поисковик по корпусу сгенерированных людьми текстам.
В каком-то смысле ты прав, но это все не имеет значения. Ты зациклен на животной схеме, когда интеллект это лишь инструмент размножения. Отсюда вытекают все описанные тобой ограничения. Но это не обязательно должно быть так. ГПТ это чистый интеллект, не обремененный собственным я, инстинктами, мотивацией, самосознанием. Это квинтессенция того, что есть интеллект. Поэтому он потенциально гораздо сильнее человека, хотя и "поговорить" с ним как с человеком не получится. Вернее, получится, но он лишь симулирует личность. Личность эта создается под ситуацию, и исчезает после генерации ответа. Твой мозг имеет только одну личность, и постоянно держит ее активной. И это ограничение мозга, а не преимущество.
Это основная проблема трансофрмеров же, это скорее оракул чем разумное существо. Где то видел как пытались сделать ии новой архитектуры, ему дали тесты на интеллект и он по словам разрабов прошел их на 100%. Код о.ещали заопенсорсить когда их юрист все наладит.
Еще слышал что нихонцы решили сделать аналог мозга на каких то трубках с эффектом памяти путей как в мозге.
Ну и само собой гпт крайне полезен для определенных задач где нужен не кожаный мешок а ии который анализирует данные и выдает нужный результат, тот же копилот от хуев с майками для помощи макакам.
https://m.habr.com/ru/news/t/565572/
Вот та статья на хабре.
да уже ушел
Они находят свое применение - у того чела iq 75. Наверняка есть и деградация мелкой моторики и другие мелкие траблы. Если бы эволюционно у всех был бы мелкий мозг, до компов мы бы точно не дошли. К тому же логично что во времена бега с палками шанс огрести по голове был 99,9% и выживал тот у которого после этого оставались работающие нейроны, он и давал потомство.
Прикинь да. Не человеческое а животное. Википедию открой что ли.
> Сознание животных, как и человеческое сознание, является состоянием: ощущаемым состоянием — состоянием, в котором есть чувство нахождения в нём. Оно включает в себя качество или состояние самосознания у животного: осознание внешнего объекта или чего-то внутри себя.[2][3] Это является ключевым вопросом при обсуждении прав животных. У людей сознание определяется через чувствительность (англ. Sentience), осознанность, субъективность, квалиа, способность испытывать или чувствовать, бодрствование, чувство собственного достоинства и систему исполнительного контроля разума.[4] Несмотря на трудности в определении, многие философы полагают, что существует широко распространенное общее понимание о том, что такое сознание.[5]
> Накопитель на жёстких магнитных дисках, или НЖМД (англ. hard (magnetic) disk drive, HDD, HMDD), жёсткий диск, разг. винчестер — запоминающее устройство (устройство хранения информации, накопитель) произвольного доступа, основанное на принципе магнитной записи. Является основным накопителем данных в большинстве компьютеров.
> философии
> философии
> философии
Предлагаю открыть календарь и увидеть что на дворе не шестой век до нашей эры, и открыть окно чтобы увидеть что там не античный рим.
Чего сразу про Космос не начал, я бы сразу заигнорил.
Есть нейропластичность. Мозг пропадал медленно и поэтому успевал восстановить/копировать важнешие из пропавших участков. Это всё вилами по воде и спекуляции, но у тебя не лучше.
И надо учесть, что он из франции, где он даже без работы мог бы неплохо жить на пособия по безработице. В более суровой среде непонятно, как нехватка мозга сказалась бы.
>мы вам не покажем
Ты можешь через aidungeon теребить GPT-3 сколько хочешь, пока не начнёшь писать рассказы про еблю несовершеннолетних (за это банят). Заодно можешь сравнить её с novelai. Но novelai - только за деньги (хотя там какое-то копьё, вроде 10 долларов в месяц, не помню уже).
Я бы тебе советовал купить доступ к обеим нейросетям и поиграть с ними, чтобы сравнить.
Самое удивительное в том, что технически они эквивалентны. Разница только в количестве свободных параметров и размерах обучающих выборок. И это удивительная штука. Создаётся впечатление, что мы можем получить AI просто "ниоткуда", просто въябывая вычислительные ресурсы в их обучение. Это очень необычно, как по мне.
Я на оба сервиса подписан. Novelai - классный инструмент. Они там дают удобный доступ почти ко всем настройкам. Но GPT-3 генерит текст на голову выще gpt-neo. Короче, если ты предоставляешь Novelai самой себе, текст быстро вырождается, она ближе к цепи Маркова. А GPT-3 как-бы самостоятельно может генерить текст. А разница между ними только в объёме. Вот в этом и вопрос, может ли количество перейти в качество?
Нет. А вообще, если тебя заёбывает читать/слушать на английском - это плохой знак. Вот меня сейчас английский заёбывает. Но мне сорок. Мозги уже не те. Раньше не заёбывал. Если тебя сейчас английский заёбывает, просто тренируйся прямо сейчас as hard as you can. Потому что дальше будет только хуже. А хуле ты хотел?
>Самое удивительное в том, что технически они эквивалентны. Разница только в количестве свободных параметров и размерах обучающих выборок.
Или может ещё в чём-то, от кучи эвристик поверх до китайцев in the loop. Пока closedai не дадут модель в открытый доступ весь этот пиздёж можно мимо ушей пропускать.
Ну что, где там ваши автономус вехиклы?
>>2086514
Я знаю и сам учусь в вузе на прохраммиста и знаю на сколько она бесполезна. Философия была нужна в те времена чтобы вытеснить мифологию и частично религию и заставить людей думать, пытаться объяснять, находить причинно-следственные связи и так далее, а не говорить что бох дал птице право летать и что то вроде того.
Ну и в 18 или около того веке, точно уже не помню, чуть подсобили науке одной из основ детерминизма что все взаимосвязанно и нет, как по мне предопределено не все но после этого роль философии в науке стала равна нулю.
Сейчас все движется к чему то вроде философии тоже термин не помню а гугл не находит где разные направления науки будут объединены, например это уже происходит с нейронками которые все ближе к стыку биологии инб4: нейронки имеют некоторые схожести и задумывались как модель мозга, высшей математики и программирования. Совмещение других направлений сначала в группы, а потом и в одну общую - лишь вопрос времени.
Однако это будет точно не философия ведь как правило философы ближе к гуманитарным наукам а то что ближе к точным (теорема Пифагора, еботня Лапласа и так далее) выносится в математику, физику и другие точные науки. То что выходит будет как раз таки точной наукой.
Для специализированных задач регрессий и даже нлп хватает, в принципе то что есть сейчас даже не интеллект искусственный да, а просто сложный вероятностный алгоритм.
А полноценный ии уже можно делать на его базе, в конце концов одна из основных функций мозга которая делает человека разумным существом это способность предсказывания основыванного на опыте. К тому же в эту сторону активно ведутся исследования и есть различные успехи как напрямую, так и в смежных областях которые позволят увеличить вычислительные мощьности.
>философия была нужна в те времена чтобы вытеснить мифологию и частично религию и заставить людей думать, пытаться объяснять находить причинно-следственные связи и так далее, а не говорить что бох дал птице право летать и что то вроде того.
Нет, такой позиции в академической истории религии/философии не существует, ты просто несёшь спекулятивную хуйню без доказательств (а доказательств этой хуйни быть не может).
>но после этого роль философии в науке стала равна нулю
Поэтому физики весь прошлый век спорили про философию. И математики. И биологи.
Ну и да, "что такое наука" - философский вопрос.
Дальше твой высер даже не читаю.
>>2086620
Предложи что-нибудь рабочее, чтобы побило бенчмарки в cv/nlp.
> Нет, такой позиции в академической истории религии/философии не существует, ты просто несёшь спекулятивную хуйню без доказательств (а доказательств этой хуйни быть не может).
Первое доказательство - философию в большинстве считают юзелесс хуйней и не воспринимают всерьез нигде дальше гуманитарной околонауки. Второе - философия всю свою историю подстраивалась под другие точные науки, то же изменение термина детерминизма (единственной вещи которая оказала хоть какое то влияние на науку) с прямой взаимосвязи на косвенную. Да и в принципе постоянное изменение фундаментальных понятий вслед за техническими науками с опозданием на года если не десятки или сотни.
> Поэтому физики весь прошлый век спорили про философию. И математики. И биологи.
И сейчас все спорят, даже здесь и сейчас. А конкретно все кроме философов доказывают что философия рудимент, в то время как философы виляют задом для сохранения легитимности философии как науки.
> Ну и да, "что такое наука" - философский вопрос.
Обоссан пикрилом.
> Дальше твой высер даже не читаю.
Естественный метод защиты от всего что может заставить думать. Можно написать на любое мнение "дальше не читал" и игнорировать продолжение, дать абсолютно любые свои аргументы по теме и нет, и плевать если они были озвучены и обоссаны, и после этого считать себя правым.
В принципе типичный маняфилософ, чего еще ждать.
>оксфорд лангауге
Ловите говноеда
ФИЛОСО'ФИЯ [гр. philosophia \\ phileo люблю + sophia мудрость] -- 1) система идей, взглядов на мир и на место в нем человека; наука о наиболее общих законах развития природы, общества и мышления; 2) методологические принципы, лежащие в основе какой-л. науки (напр., ф. математики, ф. истории); 3) * отвлеченные рассуждения о чем-л.
>Я знаю и сам учусь в вузе на прохраммиста и знаю на сколько она бесполезна
Проиграл.
>>2086727
>единственной вещи которая оказала хоть какое то влияние на науку
>в то время как философы виляют задом для сохранения легитимности философии как науки.
Здесь проиграл вдвойне. Программистики к науке отношения не имеют, и им не рассказывают потому, наверное, так много айтишников fucking love science))) про философию науки и ограничения научного метода. А то не писал бы такую хуйню.
Алсо, задачка на подумоть: труды Поппера которых ты не читал относятся к науке или философии?
И что не так?
>>2086910
Пикрил же. Хули я все должен гуглить?
>>2086933
> Проиграл.
Объективно, единственные для кого полезна философия это гуманитарии в юриспруденции, в художественных вузах, исторических и так далее. Там это может пригодится так как философия сама по себе как разминка для мозга и частично история. Но не более. На технических специальностях эту роль более чем полностью выполняет матан.
> потому, наверное, так много айтишников fucking love science))
Увлекаюсь физикой и квантовой хуйней, обтекай.
> про философию науки и ограничения научного метода.
Да, правильно мыслишь, про бесполезное говно там не рассказывают. То что наука определяет подлинность исходя из полноты описания и качества предсказывания и так ясно, как и то что мир может быть абсолютно другим. Про невозможность измерения того что невозможно измерить напрямую или косвенно тоже ясно. Однако во первых большая часть ограничений обходится продвинутыми машинами, те же квантовые компы, а во вторых даже если реальность абсолютно другая, это не мешает ее использовать и воздействовать на нее методами науки, те же обычные компы работают как и ожидается, более того даже крайне странные вещи вроде квантовой телепортации вполне работают и используются, а значит научного метода более чем достаточно.
Тем более что философия уже тут никаким боком не стоит. Или я проспал момент когда философы взяли и измерили вес темной материи?
> труды Поппера которых ты не читал относятся к науке или философии?
К философии науки, очевидно же. Однако философия есть философия вне зависимости от объектов или субъектов. По сути это просто систематизированные выводы на +-мета уровне.
И да, не читал. Если там что то действительно важное то я бы знал это имя как и каждый на планете, но судя по всему это далеко не так.
>Пикрил же. Хули я все должен гуглить?
Ну перестань
Герман Вейль пессимистически оценил возможность дать общепринятое определение предмета математики:
Вопрос об основаниях математики и о том, что представляет собой в конечном счёте математика, остаётся открытым. Мы не знаем какого-то направления, которое позволит, в конце концов, найти окончательный ответ на этот вопрос, и можно ли вообще ожидать, что подобный «окончательный» ответ будет когда-нибудь получен и признан всеми математиками.
«Математизирование» может остаться одним из проявлений творческой деятельности человека, подобно музицированию или литературному творчеству, ярким и самобытным, но прогнозирование его исторических судеб не поддаётся рационализации и не может быть объективным[14].
В том то и дело что это не совсем так, но это наиболее признанная трактовка которая висит на сайте откуда большая часть людей берет информацию. Иди и предлагай изменить первый абзац на эту цитату если считаешь что это не так. Собери множество жалоб на этот абзац за недостоверность. Почему нет? Если там будет написано другое то лишь соглашусь с этим.
Блииин, а английский гугл отвечает, что математика — не наука((( Англоязычным гуглом больше людей пользуется, значит, правда написана(((
> Гугол
> вместо википедии как на скрине
> с левым сайтом
Ммм, мне было лень открывать википедию конда делал скрин но вот тебе цитата из английской вики:
> Three leading types
> Three leading types of definition of mathematics today are called logicist, intuitionist, and formalist, each reflecting a different philosophical school of thought.[44] All have severe flaws, none has widespread acceptance, and no reconciliation seems possible.[44]
> Logicist definitions
> An early definition of mathematics in terms of logic was that of Benjamin Peirce (1870): "the science that draws necessary conclusions."[45] In the Principia Mathematica, Bertrand Russell and Alfred North Whitehead advanced the philosophical program known as logicism, and attempted to prove that all mathematical concepts, statements, and principles can be defined and proved entirely in terms of symbolic logic. A logicist definition of mathematics is Russell's (1903) "All Mathematics is Symbolic Logic."[46]
> Intuitionist definitions
> Intuitionist definitions, developing from the philosophy of mathematician L. E. J. Brouwer, identify mathematics with certain mental phenomena. An example of an intuitionist definition is "Mathematics is the mental activity which consists in carrying out constructs one after the other."[44] A peculiarity of intuitionism is that it rejects some mathematical ideas considered valid according to other definitions. In particular, while other philosophies of mathematics allow objects that can be proved to exist even though they cannot be constructed, intuitionism allows only mathematical objects that one can actually construct. Intuitionists also reject the law of excluded middle (i.e., {\displaystyle P\vee \neg P}{\displaystyle P\vee \neg P}). While this stance does force them to reject one common version of proof by contradiction as a viable proof method, namely the inference of {\displaystyle P}P from {\displaystyle \neg P\to \bot }{\displaystyle \neg P\to \bot }, they are still able to infer {\displaystyle \neg P}\neg P from {\displaystyle P\to \bot }P\to \bot . For them, {\displaystyle \neg (\neg P)}{\displaystyle \neg (\neg P)} is a strictly weaker statement than {\displaystyle P}P.[47]
> Formalist definitions
> Formalist definitions identify mathematics with its symbols and the rules for operating on them. Haskell Curry defined mathematics simply as "the science of formal systems".[48] A formal system is a set of symbols, or tokens, and some rules on how the tokens are to be combined into formulas. In formal systems, the word axiom has a special meaning different from the ordinary meaning of "a self-evident truth", and is used to refer to a combination of tokens that is included in a given formal system without needing to be derived using the rules of the system.
На интуиционистские определения всем насрать а логистические устарели давным давно, методом исключения получаем
> the science of formal systems
Что же ты не прикрепил следующий подраздел?
>Several authors consider that mathematics is not a science because it does not rely on empirical evidence.
>The opinions of mathematicians on this matter are varied.
>In practice, mathematicians are typically grouped with scientists at the gross level but separated at finer levels. This is one of many issues considered in the philosophy of mathematics.
хотя от неироничных ссылок на википедию уже не смешно
Как мне получить позицию токена, соотвествующего этому слову в предложении?
> Это где-то 10-15 лет обучения, верно?
Ну я например уже на первом курсе знаю саму базу вышмата - комплексные числа, ряды, интегралы, дифференция, матрицы и операции с ними. И все это за две сессии по 3 недели так как я на заочке и между ними пинаю хуи.
> 95% людей в матан не могут.
Слишком мало взял, на самом деле среди всех людей в матан не могут куда больше. Даже в пределах моей группы и групп друзей со школы в матан могут около половины, остальные либо с долгами и уходят после нескольких курсов, либо покупают решение. Так что там минимум 98% не могут по крайней мере в вышмат, а в обычный матан возможно даже больше половины.
> При этом у тех же технарей с этим обычно огромные проблемы.
Гуманитариев и технарей нет, ты хоть бумаги в пдфах у исследователей того же ии читал? Гуманитариев придумали чтобы не обзывать людей тупыми открыто, и текст написанный тп после пары тройки романов будет как говно. И чем дольше тем хуже, ведь логика и композиция текста будет постоянно нарушаться. Для любого текста на 20+ страниц нужно быть чистым технарем и помнить все что ты писал, помнить и добавлять мелкие детали, соблюдать структуру и так далее.
А грамматика это технарское говно более чем полностью, возьми текст любой тп или двощера или меня и там будет ошибка на ошибке, то запятые не там, то форма не та, то склонение и так двлее.
мимо
>Ну я например уже на первом курсе знаю саму базу вышмата
Молодец, но можешь ли ты переводить с китайского?
>И все это за две сессии по 3 недели
Ну ты забыл посчитать школьное обучение математики, без которого ты бы это не осилил.
>Так что там минимум 98% не могут по крайней мере в вышмат
Тем более.
Просто возникает смешная ситуация, когда людей меряют по представителями с лучшими навыками, и обощают это как будто человек в целом умнее специализированного ИИ.
>Гуманитариев и технарей нет
Похуй, прогрммисты редко могут сочинить нормальный текст.
> Для любого текста на 20+ страниц нужно быть чистым технарем и помнить все что ты писал, помнить и добавлять мелкие детали, соблюдать структуру и так далее.
Вообще на это всем насрать, любой крупный писатель путает цвет глаз и имена ГГ.
> Молодец, но можешь ли ты переводить с китайского?
с японского но на слух или с романдзи
> Ну ты забыл посчитать школьное обучение математики, без которого ты бы это не осилил.
Там хватило бы и 9 классов, в 10 и 11 как помню в основном повторение и объяснение что эта хуйня была упрощением этой. А 9 классов есть почти у всех. Хотя в целом 9 лет тоже не мало.
> Просто возникает смешная ситуация, когда людей меряют по представителями с лучшими навыками, и обощают это как будто человек в целом умнее специализированного ИИ.
> человек в целом
В принципе это так и есть если брать человечество в целом как коллективный разум. Тот что был в эксперементе где фермерам предложили угадать вес быка и средняя оценка оказалась ближе любой частной. А если брать выборку из лучших представителей и их среднюю оценку по регрессиям то там превосходство по качеству над любым одиночным ии даже не оспаривается, хотя по скорости просадка, это да.
> Похуй, прогрммисты редко могут сочинить нормальный текст.
Как и не программисты в целом то. Доля исключений примерно одинакова так что разделять не стоит.
> Вообще на это всем насрать, любой крупный писатель путает цвет глаз и имена ГГ.
Мелкие ошибки возникают из за человеческого фактора же. Не писатели путают куда более крупные вещи вроде фактов и причинно-следственных связей.
>Кста, что скажешь по поволу маняматики, она наукой фактичекски не является, это признают даже именитые матанопетухи.
Она не является наукой по Попперу, а в остальном это вопрос бессмысленный.
>>2086933
>Программистики к науке отношения не имеют
Этот шарит.
>>2087031
>Блииин, а английский гугл отвечает, что математика — не наука((( Англоязычным гуглом больше людей пользуется, значит, правда написана(((
Под science пиндосы обычно понимают только естественные науки. Да, это даже на пикриле написано.
>>2087054
>На интуиционистские определения всем насрать а логистические устарели давным давно, методом исключения получаем
>> the science of formal systems
Математика всегда шире любых формальных систем. Формалистский подход тоже себя не оправдал.
А вообще, математика -- это теория чисел.
Но почему многие ретарды из отрасли говорят, что до AGI ковылять ещё минимум десять лет?
>>2087432
>>2087433
> не может решать вышмат
> вышмат
брух
Как же задолбали шизы итт, которые считают нейронки интеллектом.
Нейронка - это просто алгоритм по выполнению определенной задачи, который умеет повышать свою точность на большом объеме входных данных. Все. Больше там нет никаких скиллов абсолютно. Отнимите у нейронки пентабайты вливаемой инфы, примите пару законов о защите интеллектульной собственности от нейронок и они сдуются в ноль т.к. ничего из себя не представляют. Если взять какой-то простой алгоритм и оттачивать его за счет миллиардных вложений и украденной интеллектуальной собственности, то получится ничуть не хуже нейронки.
>В принципе это так и есть если брать человечество в целом как коллективный разум
Ну клево, один умеет считать матан, другая писать тексты и вроде как человечество умеет все. Но когда разные нейронки умеют разное, это им почему-то не засчитывают, а требуют чтобы одна непременно умела все.
Анальники, не стыдно лишать работы художников?
>Бесполезное говно в общем.
Бесполезное говно это ты.
>>2087714
>Два чаю, наконец то адекват итт.
Спасибо.
>>2087795
>Как государство должно финансировать науку, если непонятно, что является наукой, а что нет?
А я вот не знаю. Это ужасно сложный многоаспектный вопрос, на который, видимо, никакого конкретного правильного ответа вообще быть не может.
Потому что наука это не сбор урожая в поле и не точение напильником гаек в цеху. В ней очень сложно, если вообще возможно, выделить адекватные метрики, по которым можно было бы оценивать целесообразность и продуктивность конкретных исследований.
Вот придумали индекс Хирша -- получили проблему "Publish or Perish", т.е. кучу бессмысленных статей с кучей ошибок и невоспроизводимых результатов, а также картельные сговоры внутри научных групп.
А начнёшь реальными исследованиями заниматься -- сразу начнёшь отставать по публикациям, придёт чиновник и скажет, чтоб ты валил из академии, так как "неэффективен".
Оно не всегда так происходит, конечно, но гораздо чаще, чем хотелось бы.
Ну а уж если тема исследований касается социально и политически значимых областей, особенно в эпоху ублюдочной левацкой повесточки на Западе, то об объективности вообще говорить не стоит -- результат "исследований" всегда будет такой, какой нужен власти и корпорациям.
В любом случае, вопрос о финансировании науки должен решаться внутри научного же сообщества, а не в высоких кабинетах власти. И решать его должны признанные специалисты в своих областях, а не чиновники.
Если же мы про математику говорим, то она, к счастью, к политоте не относится (хотя ублюдки-леваки и тут смогут что-нибудь "угнетающее" придумать), а также она ужасно дешёвая.
Ну а если у государства не хватает денег на мел и бумагу, то тут уж нужно вопросы предъявлять к этому государству, а не к математике.
>Это ужасно сложный многоаспектный вопрос
"Ужасно сложным многоаспектным" он стал только после рейгана и войны республиканцев с наукой, до этого учёным просто давали денег сколько попросят и всё норм работало. Им много и не надо обычно если речь не идёт о крупных разовых проектах которые можно обсуждать отдельно, просто давать денег без всяких отчётностей и есть по видимому самый лучший способ, ибо любая бюрократия и прочие метрики превращаются в профанацию.
Сейчас большинство исследователей нейронок которые делают свои и публикуют обученные модели практически никогда не оптимизируют их с помощью сторонних исследователей, как правило там как в том же недавнем simswap те же методы в коде что и десять лет назад были в обиходе. Тот же madgrad от фейсбука охуенен и ускоряет обучение в разы, ncnn позволяет взять обученную торчевую модель и конвертировать ее в модель которая запускается на всем что поддерживает vulkan, и дохуя подобных примеров которые как будто в вакууме с некоторыми исключениями.
Или фортенды, которые прячут под копот большую часть фич потому что не хотят с ними заморачиваться или хотят упростить конечный вид. К тому же даже так постоянно всплывают ошибки, и они всегда критичнее так как повлиять или хотя бы узнать о них подробнее нельзя.
Разве не очевидна необходимость в мидендах, которые будут брать код от бекенд гениев, подчищать их ошибки и вводить новые фичи основанные на актуалочке, и которые бы сделали минимальный гуи для фортендов чтобы у них было полное понимание возможностей советы.
Сейчас по сути эту роль за исключением передачи фортендам исполняет кучка левых людей от народа, взять тот же тред про simswap с колабами, кагглом и гуи от анониев, но среди них как правило мало профессионалов и конечный продукт от народа редко доходит до авторов (по крайней мере в хорошем смысле).
Так почему сейчас только бэкенды и фортенды без связующего звена?
>Этот маняматик подгорел.
А по сути есть что сказать? Или тебе лишь бы хоть что-нибудь высрать?
>Когда вас уже на самообеспечение выгонят?
Прямо перед тем, как вас выгонят на улицу. Хотя, конечно, макаки всегда нужны.
>>2088105
>>Потому что наука это не сбор урожая в поле и не точение напильником гаек в цеху
>Наука без производства превращается в иллюзии.
Как вообще связаны эти два утверждения?
Моё утверждение было в том, что в науке, просто в силу её природы, практически нереально придумать адекватные метрики эффективности и целесообразности, а не в том, что практические приложения не нужны.
>>2088132
>"Ужасно сложным многоаспектным" он стал только после рейгана и войны республиканцев с наукой
Я не знаю, что с наукой сделали Рейган и республиканцы, но в данный момент её уничтожают леваки, которые себя почему-то называют "демократами". Леваки вообще уничтожают всю цивилизацию.
>просто давать денег без всяких отчётностей и есть по видимому самый лучший способ, ибо любая бюрократия и прочие метрики превращаются в профанацию.
Возможно, вполне. Но в таком случае нужно в среднем повышать требования к научным сотрудникам в смысле сложности защиты диссертаций, как минимум. В хороших местах они и так высокие, а вот в говновузах защититься может любой идиот, а просто так раздавать деньги таким персонажам -- хреновая идея.
Я заранее извиняюсь за очень неофитский вопрос, возможно я даже не по адресу.
Есть один mcl (markov clustering) алгоритм https://github.com/guyallard/markov_clustering который группирует точки на графах. В примере указано что точки на графах генерируются по координатам. Вопрос: как можно сгруппировать строки / получить точку координат со строки? Я подумал вначале считать сумму char символов, но сразу же понял что это бред получается.
Стек у меня совсем другой (не питон и нейронки) если что.
https://arxiv.org/pdf/2107.01238.pdf
Если студенты MIT отвечают хуже нейронки, то почему вкатыши со скиллбокса или этого треда до сих пор котируются?
Не всё сразу. Инертность мышления, вот это всё. Алсо, прогресс слишком быстрый в этой теме. Внедрение гораздо больше времени занимает. Ну и другие, менее очевидные факторы. Но уже сейчас можно с уверенностью сказать, что пориджи очень эпично соснули, в обозримом будущем они как минимум в айти нахуй не нужны будут.
Подскажите, пожалуйста, как BERT'ы и прочие трансформеры поступают с длинными текстами?
Тупо обрезают по количесиву токенов или дробят на части? Если дробят, как получить дотсуп к частям?
1) уже ответили
2) фор лупом
https://arxiv.org/abs/2103.03206
Есть неофициальный код на путорче
https://github.com/louislva/deepmind-perceiver
Что думаете?
Ну хоть эта ебулда в OCR AMS-TeX может? Я вообще не очень понимаю, в чем проблема. Это же не рукописный текст, любой символ абсолютно однозначно соответствует своему ТеХ коду и визуализируется всегда одинаково. Правила построения любой формулы так же однозначно заданы. На сверточных сетях нихуя не сделали, может быть хоть с трансформерами это можно?
Генерирую датасет в блендере, хочу, чтобы создавало маску некоторых простых предметов на фотографии. Например, крестиков, квадратиков, сеточек.
Важно!
Мы не берем сейчас в команду джунов (пока растим текущих)
НУ, КАК ВКАТИЛИСЬ?!
Вот ради чего нужны были все эти ваши ии
Чем они в вузе вообще занимаются? Смотрю авторов самых популярных учебников по имплементации МО в Пайтон (Рашка и соавтор, А. Герон) - они вообще по образованию биологи или инженеры. Тем не менее, смогли выйти на уровень. Почему же тогда чуваки с профильным образованием не могут сразу же после выпуска соответствовать большинству требований?
А на хуй вообще нужен джун ML'щик. ML это такой чувак, который на себе должен в одиночку целый огромный раздел тянуть. Зачем нужен джун на этой должности? А на самом деле всё просто: набираешься ML-опыта не на ML-областях. Устроился работать программистом, предложил свои скиллы, чтобы укрепить ML-позиции компании и норм
С чем это может быть связано?
>А на хуй вообще нужен джун ML'щик.
Чтобы делали всё то, что обычно делают джуны. Рутинную работу вроде подъема старых проектов, экспериментов, реализации статей, сбора данных. В крайнем случае можно посадить рисовать дашборды.
>ML это такой чувак, который на себе должен в одиночку целый огромный раздел тянуть.
Это сработает только в узкоспециализированных стартапах, делающих один продукт, в который нормально мл не внедрить. И даже там найдётся какой-нибудь антифрод, который в одного поддерживать нереально.
>>2094275
Попробуй больше процессов выделить на чтение данных. Наверняка гпу простаивает в ожидании следующего батча из датасета.
>Почему же тогда чуваки с профильным образованием не могут сразу же после выпуска соответствовать большинству требований?
Потому что в вузике не учат разрабатывать реальные приложения, а дрочат теорию без объяснения зачем все это нужно и как правильно применять отмахиваясь требованиями написания говнокурсовых и говнолаб, где ты отчеты пишешь больше чем сам код.
Это в торч завезли новую фичу что когда указываешь device = 'cuda:0' он так же использует cpu, или что то менее очевидное и проеб мой?
> Потому что в вузике не учат разрабатывать реальные приложения, а дрочат теорию без объяснения зачем все это нужно
А что, поридж не может понять, как использовать теоретические знания на практике?
>А что, поридж не может понять, как использовать теоретические знания на практике?
Это ты сейчас так говоришь, когда тебе говорят про очередную абстракцию и ты сразу прикидываешь где ее можно вставить в проекте, а в вузе тебе рассказывают про очередной паттерн "боевой вертолет" вперемешку с UML схемами, а применишь ты это через через пару лет и вся мотивация проебывается.
Например, есть a = tensor[3, 15,30]
Мне надо взять срез по 0 измерению в зависимости от индекса.
Делаю a[1,:,:], а он мне tensor[15,30].
Куда нулевое измерение делось?
>Взяв нулевое измерение
По индексу, правильно?
>ты получил одномерный
Может двумерный?
>То есть у тебя матрица размерности [15,30].
Единицу туда можно вернуть через torch.unsqueeze? Чтобы стало [1,15,30]? И вообще, стоит ли это делать?
Результат для torch.mean([1,15,30], dim=1) и torch.mean([15,30], dim=0) одинаковый будет?
>писал же в соседнем треде неделю назад
Возможно.
Извиняюсь, тут хлопот много, всё не запомнишь.
> По индексу, правильно?
> Может двумерный?
Чуть проебался, да. Тензор единичной размерности с двумя измерениями.
> Единицу туда можно вернуть через torch.unsqueeze? Чтобы стало [1,15,30]?
Он и есть [1,15,30]. torch.unsqueeze вставляет единицу в размерность в определенное место сколько угодно раз и меняет вид тензора.
> И вообще, стоит ли это делать?
В некоторых случаях.
> Результат для torch.mean([1,15,30], dim=1) и torch.mean([15,30], dim=0) одинаковый будет?
[1,15,30] и [15,30] одно и тоже, но вот dim = 0 даст среднее по измерениям, dim = 1 у одноразмерного тензора даст тот же тензор а dim=2 даст среднее по столбцам.
Так то все можно делать просто введя в консоли python потом import torch и x = torch.rand([1,15,30]) и уже с ним играться.
> пок пок
Мань, в ближайшие лет 5 запилят автоматический рилтайм переводчик на Ютубе, любой контент, хоть старый, хоть только что выложенный, будет автоматом сразу же доступен на любом языке. Трансформеры уже прямо сейчас, когда ты кукарекаешь тут, на мейлру, стирают языковые границы.
>Трансформеры уже прямо сейчас, когда ты кукарекаешь тут, на мейлру, стирают языковые границы.
Только инвесторов это не впечатляет.
Извините что такую глупость спрашиваю, надеюсь кто-то поможет инвалиду.
Спасибо.
>>2099260
В Блинолопатии за работу платит работник, а не наоборот? Да вы ж ёбнутые, лол. Такого даже при рабовладельческом строе не было
Джун - это 1-3 года опыта.
Или подразумеваются что тут все достаточно умные, чтобы понять, что и куда и кому, в отличие от унтерменшей, у которых typeof(NaN) === "number"?
Нейроно-аноны, не могу сам догадаться. Какая есть сфера применения нейросетей или просто классического ИИ в которой можно теоретически получить очень много денег если сделать значительный прорыв в качестве? Оптимизировать электростанции это конечно круто но это уже научная фантастика на самом деле.
Ну нейронки обычно используют для оптимизации человеколюдей путем их исключения либо для того чтобы они выполняли роль людей но в незначительных делах. Например использование нейронок для системы рекомендаций, классификации и так далее - все это позволяет крупным дядям платить куда меньше. А для небольших дядь есть вариант сервисов как тот что удаляет фон или нейросетевой переводчик с премиум функциями или прикручивание фич к гпт-3 и создание платного сервиса.
Так что скорее всего у тебя два пути - поискать интересные но загнувшиеся стартапы и оживить из под другим именем, либо придумать сервис/тулзу с премиум фичами. На счет сервиса могу порекомендовать сделать платный сервис по озвучиванию текста, если создашь тот в котором будут как минимум несколько известных голосов на русском и ангельском и сделаешь 2 бесплатных попытки то как минимум потенциал будет. Сейчас с такими сервисами, особенно те где есть русский язык, совсем пизда хотя казалось бы. А если сможешь сделать фичу озвучки из голоса который загрузит пользователь то сможешь даже продавать услуги каким нибудь дядям.
>камунисты мам
А теперь идешь чекаешь число вакансий дата сосанистов и их зарплатные вилки, сравниваешь с нормальными разработчиками, плачешь
>>2100311
Разумеется поздно, в 2021-то. Хайп был в 2012-18, тогда нормально было вкатываться. А в 2020 ковид порешал бесполезных фитпредиктов, причем куда жестче чем нормальных разработчиков
От лярда деревянных до лярда вечнозеленых
https://habr.com/ru/post/565564/
Только что-то начинает нравится из айти - оно гибнет нахуй
Пойду джангу дрочить тогда или это тоже мертво?
Мне уже похуй, лишь бы вакансии на джунов были, в одс сидеть просто больно - 500 вакансий на ГИГА-СЕНЬОРА, они типа серьезно надеются найти гига-сеньоров в таком количестве? Я думаю что то что там в требованиях не наберется и у 500 человек на планете, и все они вестимо сидят в сбере, который делает все хуево, у меня от этих несостыковок ДАТАСАЕНЗ начинается
Чел, у одса все-таки требования к оформлению жесткие. Какой кабан готов указывать вилку наперед? Это если все так делать будут, что же с нами будет кабаны нахуй так жить???
Поэтому джунских вакансий там нет: найти джуна проще, для этого не приходится идти на сделку с собственной кабаньей совестью. Ищи на хехантере.
Петухов на харкаче не слушай: нихуя не умирает, просто это ммммаксимум тупая работа, макакинг фичей и кривые эксперименты, все выкатываются через год и уходят и разработку/мле/де.
В питон дохуя вкатышей. Фласк уже стал асинхронным в отличие от джанги, которую надо переписыватьс 0 чтобы она стала полностью ассинхронной. Вкатывайся сразу в 1с-Битрикс. Потом можно будет на какой-нибудь ларавель перескочить и работать на западного барина.
Какие например модели? В чем по мнению большинства нейронки нихуя не могут?
2021 год на дворе, ау, сейчас большинство видит в нейронках не красноглазую хуиту построенную из костылей и сжирающую электричество с видеокартами даже больше чем майнинг, а всемогущую палочку выручалочку в которую закинь что то и она все сама сделает. И портрет по фотке нарисует и ебальник сгернерирует и музыку напишет и голосом умершего неотличимо поговорит, и вообще все сделает.
Сейчас обычные люди которые связаны с нейронками чуть меньше чем никак ничему не удивятся даже если ты сделаешь нейронку которая побьет лучшую в задаче на 20% и будет более эффективна, никто не удивится если ты сделаешь нейронку которая будет делать что то что умели только люди как та нейронка с удалением фона. А те кто связаны - четверть живет на том что стагнирует развитие нихуя не делая и получая за это деньги и будет на тебя зла ведь есть риск что кабанчики скажут им работать и им придется работать, другая четверть и так загружена по горло и им будет похуй, и половина вкатывается либо это их хобби и от них отметай как минимум половину ведь далеко не каждый готов платить за хобби тем более когда почти наверняка аналог того что будешь предлагать ты уже давно сделали и заопенсорсили.
Как итог твой план это пахать до разрыва жопы каждый день и получать копейки с четверти от и без того небольшого количества людей. Это конечно мое личное мнение и мб я проебался чуть более чем во всем давайте, обосрите гринтекстом, но твой план говно.
Они наиболее известны и популярны в массах. Настолько что спроси любого про нейронки которые он знает и он назовет от силы парочку ганов даже не зная что это ганы. А все что дальше не считая трансформеров которые совсем немого известны благодаря хайпу у гпт-3 и йоба обещанием клоседХУИ на счет гпт-2 который они выкладывали по частям скорее в бэкендах у дядек либо попросту не идет в массы.
Это нейроговно уже может предсказывать структуру белков с идеальной точностью чего не смогли добиться люди за всю историю. Это нейроговно уже может составить карту темной материи во вселенной, генерировать реалистичные лица хотя это скорее для темносерых делишек, менять лица на видео без мильонов денях в хохловуде, делать неотличимый от оригинала голос по тексту, делать кучи вещей за секунды которые люди делали бы несколько дней и так далее.
Это говно имеет огромный потенциал и уже даже реализовало его часть и уже лет 10 работает в проде. Но в массу оно просачивается редко ведь требует огромной доработки напильником даже сейчас.
https://music.yandex.ru/album/12967722/track/85248474
Тогда что нужно? Или ты из тех кто любит купаться в говне и не верит что завершив рассчет протеинов люди обретут бессмертие?
Давай более прикладные - робопсы, автоматизация контроля производства где нейронки оценивают брак, рассчет теми же нейронками оптимальной архитектуры вычислительных устройств, масштабирование видео в рилтайме, помощь квантовым компьютерам для отбрасывания ненужных вычислений и дохуя другого.
>все это уже давно есть на нейросетях
Нет, нету.
>Даже яндекс использует семантический поиск
Нет, топорные статистические петолы, в семантику никто не может.
>автопилоте и говорить нечего
Хуйня, которая едет по прямой.
Вса эти проблемы не решены, это подтвердит любой человек в теме.
> Нет, топорные статистические петолы, в семантику никто не может.
Не хочу приносить статьи с хабра, но придется
https://m.habr.com/ru/company/yandex/blog/529658/
> Хуйня, которая едет по прямой.
Ну раз ты сказал..
> Вса эти проблемы не решены, это подтвердит любой человек в теме.
Они не решены до конца но пока все эти проблемы исключительно на нейронках, и значительный прогресс происходит каждые пару лет.
>Не хочу приносить статьи с хабра
И не ниси, бложик компании Яндекса ничего другого бы не написал. Яндекс даже в нормальный поиск с трудом может.
>Ну раз ты сказал..
Поинтересуйся DARPA Grand Challenge
Здается мне что ты поридж и тебя ждет еще много разочарований.
>Твои ЭС ещё в 70х обоссали
Но в 70х уже были диагностические медицинские системы, где сейчас хотя бы их подобие?
>ничего новее не осилил
Говно для пориджей не работает.
Я сейчас занимаюсь семантическим поиском и пишу морфологический анализатор, без него никак. Так вот, покажи анализатор для русского языка, который не хуяндовский майстем и не васянский пиморфи? Оба говно кстати.
>Тот же поиск по картинкам
Это не семантический поиск.
>Актуальненько
Проблемы остались те же.
Я кстати пробовал в автономное вождение и ты можешь попробовать, это очень легко и тебе не нужно всавать с дивана. Можешь на любом симуляторе пробовать, я на Американ Трак Симулятор делал. Очень интересно, но работа с текстом мне нравится больше. Возможно потом обратно пепрключусь. А есть еще симулятор фермеров, на нем можно автономную сельхозтехнику разрабатывать, мммм, это проще и более переспективно.
> Это не семантический поиск.
Речь была про то что яндекс нихуя не могут. Семантический поиск и так уже у них есть и он на нейронках а не нейросетевые реализации пока на уровне не говна а окаменелого говна.
> Проблемы остались те же.
Ты правда считаешь что с теми же проблемами теслы бы пустили на фулл автопилоте разъезжать по улицам? Согласись, огромное количество этих проблем уже решено а остальные решаются в довольно быстром темпе.
> Это где он мимокрока сбил?
Напомни, сколько в год мимокроков сбивают люди?
> Почему во втором случае не идет полнотекстовый поиск фразы?
Пчел.. ты..
>Кому он нужен?
Мне, аналитическое говно типа английского уж точно не нужно, а я хочу общаться с виртуальной няшкой на нормальном русском языке. Хотя говноедам вроде тебя достаточно волапюка.
Кстати, меня всегда забавляли нлп пидарахи которые кроме примитивного английского нихуя не знают, в основном это нетиви из юэсэй, типа мы сделали мегайобу которая дает всем пососать в тексте, потом им подсовывают более менее нормальный язык хотя бы из романских типа тот же испанский и они получают защеку, а о флективных языках даже говорить не стоит.
Не заметил, но тем не менее поисковик функцию выполнил. Очевидно что у них спрятаны триггеры на говнокоде которые при одних запросах делают обычный поиск текста, при других выдают результаты в особой форме зуб даю что там обычная регулярочка, а при третьих врубают нейронки. Еще судя по тому что даже гугол на вторую фразу выдает полностью мимо, в яндексах сделали проверку результатов нейронкой и прозвали это семантический поиском ведь по сути выполняется поиск по смыслу а не только по словам. Хотя с тем что используют они это херово никто и не спорит, но сделать это на нейронках значительно проще и эффективнее чем на чем либо другом.
Это так, но то же можно сказать про все - код это просто набор байтов и никаких операций там и в помине нет, текст это просто набор букв и никаких слов там и в помине нет, на картинке просто набор пикселей и никаких котиков в пикселях и в помине нет.
Хотя даже не так, семантические связи уже идут в датасет и подразумевается архитектурой. При архитектуре хотя бы уровня гпт в этой самой статистике уже есть семантика и она может обрабатываться. Наиболее яркий пример - qa в pipeline, не будь там этих связей он бы как минимум говорил верно меньше чем в половине случаев, а ведь это наиболее примитивная форма для демонстрации. Если допилить архитектуру гпт и натренировать на нужном датасете, семантический поиск будет готов куда быстрее, чем если делать это любым другим методом особенно эс.
>не будь там этих связей
Ммм, а как эти связи там образовывались? Ну просто мне вот забавно смотреть, берется слово, к какой части речи и в каком падеже/склонении оно стоит не учитывается, хотя в морфологии уже куча семантической информации заложена, потом это слово стемерами обрезается и скармливается нейронке. Вопрос, как словосочетание когда появился на свет и слово родился отожествляется?
Разве они обрезаются и падежи не учитываются? Насколько знаю, есть вокаб, он же словарь, там разные части слов разбиты на токены в форме чисел для того чтобы значительно сэкономить но количестве генерируемого текста. По сути применяется компрессия как в архивах. И потом слово например "летящий" разбивается на "лет" "ящ" "ий" с токенами скажем 394 37911 296. У них есть вектора которые определяют насколько вероятно что они стоят близко и в итоге у токена 394 и предыдущего токена или группы токенов уже есть близость в этих векторах и наибольшую вероятность получает сначало ящ, а потом ий. А остальное уже идет само собой, при обработке фразы нейронка видит группу токенов "летящий" вместе, и оценивает его близость к прошлым и видит эту связь, значит летящий связан с "самолет" а не с "в небе". Ну или как то так.
Тогда одно из двух. У яндексов лучше этот полнотекстовый поиск чем у гуглов потому что лучше сам алгоритм полнотекстового поиска, либо поиск не до конца полнотекстовый и в статье не напиздели.
Это база работы трансоформеров, не позорься. Есть вокаб который разбивает весь текст на токены и суть в том что разбивает весь. И обрабатывается тоже весь текст правда на сколько хорошо зависит от модели и гиперпараметров. В принципе можно использовать вокаб из единиц и нулей а перед обработкой текста его переводить в бинарный вид, качество вырастет, но затраты на обучение и время нужное для него вырастут в разы если не в десятки раз.
Иначе как по твоему даже самая малая модель гпт-2 делает текст таким, чтобы все слова были этими самыми падежами связаны, если по твоему они не обрабатываются? Если начнешь про ангельский нинужон, то есть куча рускоязычных моделей, они так же обрабатывают падежи, склонения и все остальное.
На английском они эквивалентны а на испанском оба сосут с заглотом. Так все же яндекс лучше гугла?
>Есть вокаб который разбивает весь текст на токены
Что такое вокабы и что такое токены? Инструментов разбиение на морфы я не видел, даже если они будут, то они будут основанны на словаре. Такие словари это на пример морфологические словари Тихонова или Ефремовой. Нейроговно к этому не имеет никакого отношения.
Тогда в чем секрет, в том что у яндексов лучше полнотекстовый поиск, или в том что яндексы прикрутили к поиску нейронку которая выдает максимально близкий результат к семантическому поиску но работает лишь с русским языком? Как по мне очевидно что второе, и если это грамотно допилить то от полноценного семантического поиска на который уйдет дохуя человекочасов и от правильного использования нейронки эффект будет один и тот же. Только второе имеет огромный потенциал и пока развивается само может двигать всю отрасль как гпт породил трансоформеры которые сейчас даже картинки генерируют и развил множество других направлений. Что даст твой судя по всему еще не готовый алгоритм кроме того что он какое то время будет лежать под копотом какого нибудь проекта и о котором не узнают из за политики кабанчиков держать все в тайне до последнего?
> хуй
"хуй"
> однохуйственный
"одно" "хуй" "ств" "енн" "ый" или как то так. Точно сказать не могу а сейчас проверять мне лень.
Но на хуй и на однохуйственный, очевидно, у нейронки разные векторы к каждому слову в словаре, и в итоге токены однохуйственного имеют большую вероятность идти вместе при токенах и их последовательностях которые лежат близко к этим токенам. То самое пространство векторов, оно же ембеддинг. И в итоге не зная явно морфологию при грамотном датасете нейронка по одним лишь частям речи будет грамотнее среднестатистического двощера.
Эти токены будут близки к другим токенам, например "выглядит" накинет токену "енн" пару очков, "как" накинет очки "ый" а "одинокий человек" накинет "однохуй" мильен очков. Затем "однохуй" даст очки "ств" и уже "одинокий человек выглядит так однохуй" докинут дохуя очков на "енн" а затем и "ый". Все просто и работает.
В яндексе большие языковые модели (вернее дистилляции) успешно работают на низкочастотных запросах, на голове и так приемлимо работают вполне и обычные факторы и какие-то адхоки. Как собственно и везде, а почему никто не перепишет всё на одну большую нейронку ответ простой: легаси, для того чтобы полностью выкинуть все накопленные за года эвристики и традиционный мл нужно разгрести авгиевы конюшни, переписать поиск и инфраструктуру и показать результат в десятках абтестов по нескольку месяцев каждый, попутно оставив ещё несколько отделов без работы. В больших компаниях такого не бывает, мл ли это или обычная разработка.
Сейчас не у компа, завтра разобью.
Но зачем, там будет набор цифр которые тебе мало то скажут. Как уже говорил там упор не на формальные морфемы а на связь одних токенов с другими на основании которых нейронка присваивает им вероятность, и по сути там частями являются не морфемы а сами токены.
Я могу открыть любой челлендж типа того же титоса, открыть самый апвоутнутый чужой ноутбук и хуярить с него или как? Или это вопрос "Оно тебе самому же нужно"?
Зум зумыч, иди читай что такое multihead attention и как и по какому принципу оно строит связи между токенами, потом уже манякритику наводи. Ах да, там же на английском, а не на вяликом и могучем староколпакском, а ты в англюсик не можешь из-за iq на уровне комнатной температуры. Уж тем более тебе никогда не понять, что все возможные алгоритмы машобчика и вообще какого-либо анализа данных это просто восстановление распределения вероятностей, и в ЭС твоих никакой магии нет, оно делает то же самое, что и трансформеры, только по-другому и на порядки хуже.
Ембеддингом же во время обучения. От каждого токена к другим идут вектора и получается такое пространство в котором хуй и член лежат близко, а марс и кровать далеко, а так же получается что морфемы в том или ином виде лежат близко к тем токенам с которыми они используются.
>иди читай
Сам читай очередное никому не неужное говно
> Только в маеяфантащиях пориджей
Я уже правда сомневаюсь кто из нас поридж. Даже говно мочи (rugpt от сберов) может в падежи, склонения, запятые и попросту в грамматику русского языка. Даже моча мочи (зелибоба от яндекса) может во все это кстати на порядок лучше ведь в датасете был дводщь. Более того, сгенерированный бред во первых уже на порядок лучше того бреда что был года два назад в темные времена lstm, а во вторых он даже несет смысловую нагрузку.
> Весь нормальный НЛП
Дай примеров чтоль, или они используются
> Только в маеяфантащиях пориджей
>Даже говно мочи (rugpt от сберов) может в падежи, склонения, запятые и попросту в грамматику русского языка
rugpt? Лоооол, серьезно? Мальчик, ты школу то закончил? Откуда вы лезите бля
Он конечно полное говно как я блять и написал но с морфемами у него все в норме.
И сейчас разобью ту сказку токенизереом.
Разделил символом "|" декодированные токены. Токенизатор использовал от сбера так как лень делать свой.
Ж |или |- |были | дед | да | баба |. | И | была | у | них | Ку |рочка | Ря |ба |. |С |нес |ла | ку |рочка | яич |ко |, | да | не | простое | - | золо |тое |. |Д |ед | бил | - | не | разбил |. |Ба |ба | била | - | не | раз |била |. |А | мы |шка | бежала |, | хво |стиком | махнула |, | яич |ко | упало | и | разб |илось |. |Пла |чет | дед |, | плачет | баба | и | говорит | им | Ку |рочка | Ря |ба |:- | Не | пла |чь |, | дед |, | не | пла |чь |, | баба |: | снес |у | вам | новое | яич |ко | не | золо |тое |, | а | простое |! |
>не знающий английского, по факту неграмотный
>Инглес лангуага, зе грейт лангуаг оф зе ворлд
Знание англоговна нужно только безполезным макакам в роде тебя, белым господам при необходимости выделят надмозга. Я даже не представляю на хуй этот говноязык учить. Хотя для пориджей смотреть в Твиторе как негры едят арбуз наверное нужно.
> в роде тебя
> на хуй
Ты бы хоть русский сначала выучил, как же проигрываю с тебя. И ты еще что то кукарекал про морфемы итт, блять, какие же пориджы дегенераты.
И нет, английский объективно не лучший язык в мире, но он во первых наиболее универсален, во вторых наиболее прост. Идеальный язык чтобы связать всех людей и позволить им обмениваться информацией, и поэтому мейн лангуаге в эпоху глобализма. Если ты не знаешь ангельский, ты самоизолирован в рамках пахомии с системами которые изжили себя лет 50 назад. Даже не так, эти системы давно заменены на инглишовскте, вспомни хоть один яп на русском, или португальском, или японском, да хоть на каком кроме ангельского, который сейчас используется хоть где то кроме школ.
Это примитивная форма компьютерного зрения и если твое говно не может даже в это то оно не сможет ни в одну задачу где компьютер должен взаимодействовать с реальными объектами используя лишь камеру а не оверпрайснутые датчики. Или автопилоты, моделирование по лишь одной фотографии вместо 1000 ракурсов в 4ккк и роботы которые могут поймать предмет уже внезапно стали ненужным говном?
Распознать и искусственный дурачок может, а позаботить о кошаках твои нейросети могут? Вот экспертные системы могут
Expert system for determining the type of cats and how to care them
Cats are one of the many animals kept by animal lovers in Indonesia because the cat is a very friendly animal with humans and has a funny character. Nevertheless, not all cat lovers understand exactly the type of cat that is owned even how to care especially for ras or domestic cats (kucing ras - in Bahasa), because each type of ras cat has different character and way of care. This causes the pet cat affected by various diseases to cause death. One way to overcome the incomprehension of cat lovers in taking care of it is with the help of expert systems that have proven reliability in helping solve problems that require solutions as an expert in his field. This expert system was developed using forward chaining method. By answering any questions asked by the system about the characteristics of the cat owned, users will get answers about the type of cat they have and the way of good and right care.
https://www.researchgate.net/publication/329401998_Expert_system_for_determining_the_type_of_cats_and_how_to_care_them
Искусственный дурачек стоит денег и пишет вывод не моментально, а твоя эс во первых не из 70-х, а во вторых
> This expert system was developed using forward chaining method. By answering any questions asked by the system about the characteristics of the cat owned, users will get answers about the type of cat they have and the way of good and right care.
Не работает без этого самого дурачка который сам и посмотрит и сам ответит на вопросы. То есть абсолютно не автономна и ограничена скоростью ввода этого самого дурачка.
Нахуя ты вообще это сюда принес если уже есть нейронка которая сделает то же самое но сама на ресурсах телефона?
да опять хабр и тут собаки, но мне крайне в лом искать дольше 2 минут
habr.com/ru/post/448316/
Напомни, почему от них массово перешли на нейронки еще лет пять назад? Ах да, от высокой точности же, точно. Ведь если приделать к той же ракете рисунок с танком внутри которого нарисован хуй, а на самой ракете чуть чуть изменить контур чтобы ракета была с двумя яйцами у основания, то твоя эс выстрелит противоракетным в себя от безисходности и от того что не может найти схожий шаблон контура. Или я что то путаю и к контурам уже тогда подрубали нейронку?
>habr.com/ru/post/448316/
Попробовал. Уровень угадывания совершенно неприличный — для одной и той же собаки породы гуляют так, что я могу это написать в две строки с random.choice(). Можно даже без фотографии
Даже опущенные говноеды из швабропараши обосрали этого нерошизика, лол.
>>2103451
>>2103453
>>2103460
> 4 поста
Семен Семеныч, а ты неплох. Вот только ракеты полностью на нейронках не делают хотя многие функции уже реализованы на них, хабр певая ссылка в гугле, маняфантазии эс дебичейнастолько смешны что они высирают 4 поста на один, а статья - начало 2019 года, хочешь новее - https://siwalusoftware.com/ru/cat-scanner/
Еще пукать в лужу будешь или все же смоешься из треда и интернетов?
Кстати только что его проверил и оно отгадало мою кошку. Напомни, сколько вопросов нужно ответить эске и насколько это медленнее чем скормить одну фотку?
Видишь кошку, но не знаешь ее породы?
Просто сделайте быструю фотографию или видеозапись кошки — с помощью приложения Cat Scanner вы сможете надежно идентифицировать породу кошек всего за несколько секунд! Наша встроенная камера с функцией масштабирования Pinch To Zoom и Tap to Focus позволяет легко идентифицировать кошку той или иной породы!
Как перестать лолировать от этих невероятеых прорывов?
> 1970, ЭС занимаются медицинской диагностикой, управляют космолетами
Манямир. Ничем они не управляли, ничего не диагностировали. Было полтора условно работающих прототипа, за последствия работы которых никто не захотел отвечать, на этом всё и закончилось. Кроме акинатора ничего из ЭС не получилось.
Манямир это у нейросектантов, которые ничего подобного даже в обозримом будущем не сделают
Во первых сейчас не 1970 и эс ничем из этого не занимаются а если и занимаются то это уже давно не чистые эс. Во вторых кибергулаг устраивают не нейронки, его устраивают люди с помощью нейронок, все равно что говорить что нож и вилки это плохо потому что ими можно убить человека. Его вполне могли бы устроить и с эс, даже устраивали, но если нейронки лучше эс то ясен хуй все перейдут на них с этого говна.
К слову, если верить тебе то это даже хорошо, ведь нейронки настолько говно что их используют все и они не будут работать, а значит кибергулагв не будет. Радуйся что ли а не пукай гринтекстом.
>>2103721
> они не являются частью движка,
> а нужны для симуляции нейронок.
Ты явно путаешься в очевидных моментах, если они там есть значит они по определению часть движа.
https://m.youtube.com/watch?v=F5-TDP7DYUE
Чё такое пресижн рекол написать не могут, какие то охуительные истории про плохой высокий рокаук, пиздец вообще
hh.ru/vacancy/46408491
https://3dnews.ru/1045020/ii-google-gotov-reshit-velichayshuyu-problemu-v-biologii-za-poslednie-50-let-predstavit-formu-vseh-izvestnih-nauke-belkov
> Произойдёт это в течение нескольких месяцев и обещает стать самым грандиозным в истории биологии событием. Программы по предсказанию формы белка разрабатываются многими компаниями и научными коллективами, но пакет AlphaFold DeepMind показал самую высокую точность прогнозирования формы. Эти инструменты находятся в открытом доступе, а готовая база данных по белкам значительно облегчит работу биологов во всём мире — бери и пользуйся.
> Пакет AlphaFold может предсказывать форму белков с точностью до атома. Но даже меньшая точность позволяет разрабатывать новые лекарства, предоставляя информацию о приблизительной пространственной конфигурации ранее структурно не изученных белков. Так, если за последние 10 лет биологи смогли изучить строение только 17 % белков человека, то AlphaFold за считанные недели удвоил базу белковых форм человека до 36 %. Эту информацию ещё предстоит проверить, но раньше алгоритм AlphaFold уже доказывал свою способность почти не ошибаться.
> Кроме белков человека DeepMind обещает представить белковые формы 20 наиболее изученных организмов от дрожжей до мух дрозофил, мышей и других — до сотен миллионов белковых форм. Сегодня база DeepMind содержит информацию о 350 тыс. предсказанных формах белка, но через несколько месяцев будет расширена до более чем 100 млн форм, где будут почти все более или менее известные науке белки.
Что с ебалом, свидетель акинатора а на большее ЭС по факту не способны, иначе это давно бы реализовали?
> Это те самые вычислители протеинов?
Нет, вычислители протеинов за 10+ лет 17% навычисляли, а альфафолд столько же - за несколько недель. Уже только это позволяет говорить о неоценимом вкладе нейросетей в науку. И о сбыче мечт протеиношизика, ему вообще нужно Гуглу поклоняться за такое
> Это же было полгода назад.
> Как там, сильно брутфорс структур помог?
Полгода назад ее только зарелизили. Сейчас вовсю идёт использование, и это только начало и только первый настолько удачный проект. Сравни для начала когда придумали ЭС и вспомни единственный удачный проект на них - акинатор. Полгода для науки это нихуя.
Использовал катбуст классифаер, сделал возраст от пола, класса с std, получил топ 31%(~0.78)
Это конечно не охуенно, но я не знаю что стоит оставить как мой финальный на текущий уровень знаний результат, ведь топы все просто запихнули csv с правильным ответом с гитхаба, у меня был соблазн взять его, поменять каждую десятое значение на противоположное и получить свои ~0.95, но это говно какое-то
Короче хз поддержите меня или обосрите, что-нибудь
Ансамбль что ты описал априори говно
Сетки не упираются в 100% никогда, это как КПД, даже у спроектированных "вечных двигателей" он все равно не 1
При ансамбле ошибки/шумы каждой сети будут накапливаться
Скорее всего будет 2 сетки, нлп-шная которая занимается всем текстом и звуковая для всего понимания и генерации с жестким форматом данных между ними
Но проблема такого перевода не в сложности технического процесса, а в особенностях языка, когда слова, фразы и контексты не переводятся на другой язык, это очень будет касаться таких языков как китайский где стандартным приветствием является "Ты вкусно сегодня кушал?" и в русско-английской паре есть непереводимые старые латинские слова типа Магнаномус или русские фразы в духе косил косой косу косой или Хуй будешь?
Помню натыкался на новость о том что гуглы трудились над прямым переводом звуковых файлов в звуковые файлы без использования текста. Уже точно не помню когда и где, но как по мне это будет значительно эффективнее другого пути как уже написали, ведь так будет сохранение интонации и длины фразы по времени произношения. Ну и разумеется это попросту быстрее ведь нейронка одна.
> фразы в духе косил косой косу косой или Хуй будешь?
Трансформеры изначально могут в разные значения одного слова, конкретные примеры вроде в хаггингфейсовских колабах видел. Тот же word2vec так не может, там одному слову соответствует один вектор, а в трансформерах это разные тензоры.
Там 900 пассажиров и 400 в тестовом, я думаю это чисто проект-тест на пидора, потому что у 177 отсутствует возраст и у 650 примерно не прописаны каюты, инфа по билету и имени почти бесполезная(пендосы пытаются по Mr. Mrs. Dr. припискам выдумывать возраста, но у тех у кого есть приписки всего 15 пропущенных возрастов, вангую потому что чернь не наименовалась мистерами и среди них больше всего проебанной каютной и возрастной инфы). При этом топ 200 результатов - 1.000 что возможно если засабмитить просто правильный сsv, уже посмотрел все ноуты с хорошими результатами, там обычный рандом форест который у меня выдал 72% у них якобы выдает 98%, где есть комментарии просто пишут что они удаляют значения какого-то процента цсвшки и получают 90-99 результаты, ютуберы что проходят вживую это обычно набирают те же 75-80% что и у меня
Всё ещё кормите эс-шизика?
> Ну как вы там, потомки?
> Всё ещё кормите эс-шизика?
Нет, он официально обоссан. AlphaFold полностью противоречит его манямиру (нейросеть, уже сделавшая прорыв в науке, алсо праклятые капетолизты все выложили в открытый доступ). Как и тот медицинский факт, что единственный рабочий пример ЭС это акинатор.
Прокомментируйте, кто в теме, что там за здравый смысл нейронке завезли
>Эту информацию ещё предстоит проверить
Лолблять, вот это надо было жирным выделять. Нейронки нагенерили опять какого то бреда, типа Порфирьича или той китайской с 6 биллионами параметров которая просто стоковые фотки блюрила. А людям теперь копаться в этом говне.
> Арбидольчика что ли? Ну да человеческий организм может много чего жрать без вреда.
Пчел, расскажи какого там в средневековье жить до 20 лет и умереть от пореза/простуды. Пиздец, ты не просто эс шизик а анприм шизик. С кем я блять в одном треде сижу.
> Это к трясунам черного ящика, который всегда лажает, а тут вдруг с чего то угадает правильные ответы.
Во первых угадывает лучше людей которые 50 лет не могли этого сделать, и угадывает настолько хорошо что это имеет прямое практическое применение. А во вторых нейронки уже давно не черный ящик для всех у кого больше 2 iq. Ты в любой момент можешь посмотреть код что выполнения что тренировки, посмотреть структуру модели, слои, вектора, да и в принципе абсолютно все. Если взять пару листков бумаги и ручку то любой человек знающий тензорную алгебру вполне может просчитать вывод нейронки за пару дней и даже натренировать свою ручками за пару десятилетий.
>Ты в любой момент можешь посмотреть код что выполнения что тренировки, посмотреть структуру модели, слои, вектора, да и в принципе абсолютно все. Если взять пару листков бумаги и ручку то любой человек знающий тензорную алгебру вполне может просчитать вывод нейронки за пару дней и даже натренировать свою ручками за пару десятилетий.
Ахуеть, ты хоть знаешь что вообще значит "чёрный ящик"?
> Чёрный ящик — термин, используемый для обозначения системы, внутреннее устройство и механизм работы которой очень сложны, неизвестны или неважны в рамках данной задачи. «Метод чёрного ящика» — метод исследования таких систем, когда вместо свойств и взаимосвязей составных частей системы, изучается реакция системы, как целого, на изменяющиеся условия.
Да. И все мимо, ведь как и сказал уже давно делают акцент на исследование
> свойств и взаимосвязей составных частей системы
и конечно же
> внутреннее устройство и механизм работы
Сложны на уровне вышмата давай назови вышмат черным ящиком, абсолютно известны и крайне важны в рамках задачи.
Ты долбоёб чтоли совсем? Из того что что-то композиция простых вещей не следует что эта вещь не сложная, что угодно можно представить как композицию простых вещей; человека, небо, аллаха. Пиши в треде после того как базовый курс философии сдашь, короче говоря и перестанешь трактовать слова в свою собственном значении.
> Из того что что-то композиция простых вещей не следует что эта вещь не сложная
Из этого зато прямо следует, что эта вещь не черный ящик.
> Пиши в треде после того как базовый курс философии сдашь,
Мдауш, тупую пизду с филфака за километр видно.
Пчел, таким образом у тебя и телефон с вентилятором это черные ящики ведь ты даже близко не понимаешь как они работают и получается эта схема пикрил. Нажал кнопки в случайном порядке - ввел капчу - пост высрался. Чем не магия или как минимум слишком сложная система которая в данном случае не важна?
1. Ваш персонаж существует на самом деле?
2. Ваш персонаж женщина?
3. Ваш персонаж говорит по-русски?
4. Ваш персонаж актер?
5. Ваш персонаж англичанин?
ЭС-боги отвечают на эти вопросы за 3 секунды, нейротрясуны не ответят никогда.
> Пока тебе нужно ответить на дохуялион вопросов,
Ну, если вопросы правильные, то их число не сильно больше логарифма от общего числа ответов. Не как в случае шахматной доски, для которой достаточно 6 вопросов, чтобы угадать загаданный квадрат - 1 из 64 вариантов, но все же.
> Не следует. Начинай лучше с основ матлогики.
Причем тут матлогика вообще, ты хоть знаешь, что это такое? Судя по твоим зумерским постам, не знаешь.
>Миллион человек — такая нехватка кадров наблюдается сегодня в российской IT-индустрии. В Минцифры предупреждают, что в ближайшее время ситуация станет только хуже. Через шесть лет дефицит специалистов увеличится как минимум вдвое: к 2027 году Россия недосчитается двух миллионов айтишников.
А GPT-4-5-10 их не порешает?
Нейросеть уже работает на подхвате у погромистов.
https://copilot.github.com/
> А GPT-4-5-10 их не порешает?
В Блинолопатии не будет никакой GPT-4-5-10. Максимум сбербанк доест какой-нибудь открытый проект, зафайнтюнив на русскоязычном датасете. Но они походу и в это уже не могут, казалось бы, GPT-J-6B давно выложена в виде варианта для дальнейшего файнтюнинга, бери и делай, но они и это не осилили.
Я примерно сделал все что ты описал, уперся в то что теперь надо учить какую-то очень целенаправленную муть, т.е выбирать направление(наверное) типа нлп, зрения или ряды, или еще что, тренироваться туда скорее всего, но что выбрать невозможно сказать, ощущения что я подхожу даже на джуна никакого, вакансии все выглядят как средство устрашения. И я так подозреваю, я точно не знаю, что в ДС есть залупа как в некоторых науках, когда в учебниках пишут одно, а на деле люди занимаются совершенно другим, т.е. этот же каггл это как задачи по физике с пузырьком ртути в стеклянной пробирке, интересно, муторно, нахуй ирл не нужно практически нигде. Как выбираться из этой ямы не знаю совершенно, хоть временно перекатываться во что-то более прикладное, не абстрактное и направленное прямым потоком(всмысле кабаны в рашке сами знают чего хотят)
>>2109358
Зумера не могут в программирование. Вон же, >>2109285 уже сейчас миллион мартышек недобор. Но вы зумера в открывашку-то не можете, не то чтобы в кодинг. На работу берут только пиздаболов, т.е то что сейчас называется софт скиллс. Как итог, АйТи Блинолопатии где-то на уровне центральной Африки.
Главное - понимание бизнес-процессов. Потом идет навык кодинга. К тому же сейчас набирает обороты MLOps, т.е. ковыряние кубера тоже нужно.
https://www.youtube.com/watch?v=8rMYC5ix7d4
Параметры нинужны, без шуток. Если взять и заставить gpt-3 обучать нейронку чтобы получить дистиллированную gpt-3 примерно как тут https://transformer.huggingface.co/model/distil-gpt2, а потом прунингом отрубить процентов 10-20 параметров, она потеряет в точности в любой метрике не больше процента, зато будет в несколько раз меньше. Нужна новая архитектура вроде перцивера от глубокомозгов и лучшие алгоритмы обучения чем есть сейчас, а они уже по определению будут работать на текущем оборудовании. Просто сейчас модно наращивать параметры до мильярдов трильенов тыщ чтобы выебнуться.
> Просто сейчас модно наращивать параметры до мильярдов трильенов тыщ чтобы выебнуться.
Эта мода никуда не денется. Просто будут пытаться всунуть в один размер больше параметров, не просто настакать побольше слоёв, а с умом, как в gpt-j-6B. Ну и сами трансформеры будут дальше развивать, attention is all you need это не венец развития машобчика.
Так то все так но размер =/= параметры. В gpt-j используют bf16, который занимает значительно меньше места в памяти чем fp32 или fp16. То есть значения одни хоть и с меньшей точностью а размер в памяти разный, и по сути разницы нет. Это как хранить картинку на ntfs диске и на exfat, структура данных разная но они идентичны ладно, не совсем но это не столь важно.
Как по мне все идет или должно идти в сторону увеличения ценности каждого параметра чтобы в итоге скажем 300 миллионов параметров текущей нейронки были равны по метрикам 100 миллионам новой или что то вроде того, а их уже можно сжать в тот же bf16.
Учусь в унике прикладная информатика профиль управление данными, однако в мае начал задрачивать js/react фронтенд то бишь, думал на изичах стать веб макакой с 300кк/нс. Крч не зашло мне, ебал эту верстку, знаю что фронтенд не только верстка, однако в большинстве компаний все равно придется верстать+с дизайнерами базарить + ебучие кабанчики никогда не знают че им надо(постоянные переделки функционала). Ну я решил таки взять на учебу, раз уже все равно учусь на аналитики почему бы не начать задрачивать дата сайнс, мб зайдет?выш.мат на среднем уровне мб ниже, большие проблемы с дифференциальными уравнениями, даже не начинал их учить
У меня вопрос: сильно сложно найти работу аналитиком в ДС? Видел тред где анон бомбил, что аналитиков типа не хватает, статьи читал, что аналитик данных одна из приоритетных на данный момент ниш. На сколько это правда?
Кароче меня наконец взяли как CV джуна в стартап. Наконец-то уволился с завода (это не шутка). Но по факту я делаю около айтишную работу, не ДС. Датасета нет (собираем). Нейронки пока не шатаем. По сути делаю все задачи за 2 рабочих дня параллельно смотря ютубчик. Остальное время ебланю. Вопрос к анонам. Хочу какой то пет проект для того, чтобы натренироваться лучше (потому что реальный опыт работы в DS пока чето не предвидится), чтоб на всякий случай начать искать новую работу. Предложите что-нибудь более-менее реальное, чтоб новый работодатель понял что я умею, да и самому поднять навык, но не супер сложное. Хотелось бы сферу компьютер вижон. Кэглопарашу не предлагать. У меня нет рабочей машины, только ноут. Вообще я так понимаю что сидеть на кэгле через коллаб это только для каких-то учебных дел, выйграть соревы нереал. Разбираться в открытом коде на кэгле уже не интересно, да и как это применить в своем проекте я хз.
Суть каггла в том что если у тебя нету рабочей машины он ее тебе дает на 30-50 часов в неделю. А так очевидно пиши свой блокнот и уже на нем тренируй как придумаешь что тренировать, в джупитерских блокнотах это в любом случае удобнее чем через запись в файл и дебаггинг сокращается в разы.
А так попробуй какую нибудь шаблонную задачу но с усложнением, например ту же сегментацию, скажем определение номеров автомобилей а потом их обрезание, апскейл и перевод в текст.
понятно что в блокноте удобнее, это очевидно
>определение номеров автомобилей а потом их обрезание, апскейл и перевод в текст
Вот это интересная идея. Спасибо.
Чтоб ты понимал о каком проекте я говорю: Для поиска работе я сделал вебморду на AWS. Там было несколько моделей простецких, типо кидай картинку и тебе в ответ придет переработаная GANом. Сообщение с AWS кидалось на другую машину, где вертелась модель. Вот с таким проектом я искал работу. Хочу примерно так-же, только лучше.
Че там по амуде и радеонам в нейроночках? Или все еще кал и света не видно хоть они последнее время успешно душат рынок.
Мне понравилось, я сам обосрался на опизденевших cv вопросах как и очкарик, все остальное вроде норм, я даже рок-аук понимаю
Но когда в конце началась секция про софт скиллы и речь обоих сократилась до:
>Вооооот, ну это, типа, мотивирует, вооот, сложнаа, на самом деле, ахахаха писюны маленькие
Я конечно знатно проиграл, и с отсылок к психологии. Софт скиллы у них. Если представить реверсную ситуацию, где два пиздабола наебатора обсуждают техники общения, обмана, бредогенерации, а в конце
>Мы подошли к математике
>Я знаю математику
>Сколько будет 3+6
>Наверное 9, я конечно давно не считал такие суммы
>Ладно, в этом вопросе все равно нет правильного ответа
Классификация. К чему ближе фичи пользовательского запроса, то и выдаётся в качестве рекомендации. Зумера, ну зачем вы такие инвалиды, это же самое простое, что вообще есть в машобе...
Спасибо, очень ценное объяснение, я спросил не принцип работы, а результат построения рекомендательной системы, что по итогу получается, функция или какая-то матрица, как с этим потом работать, потому что блакноты юпитера мне не интересны, мне интересно как это в проект условный встроить
> что по итогу получается, функция или какая-то матрица, как с этим потом работать,
Зависит от конкретного алгоритма, датасета, формата ввода. Чаще всего это просто список объектов, удовлетворяющих условиям запроса.
> потому что блакноты юпитера мне не интересны, мне интересно как это в проект условный встроить
Для начала загуглить, разобраться в вопросе, попробовать примеры. Как ты будешь куда-то встраивать то, о чем не имеешь ни малейшего представления?
Я даже написал про svd, ты бы вместо поиска боевых картинок перечитал вопрос. Проблема в том что мне не интересен мл и прочее, а во всех статьях начинают объяснять как именно эти матрицы раскладываются, либо просто дают полотно текста с кодом из библиотек, которые я не знаю, а мне интересно как встроить этот инструмент в мой проект и чтобы разобраться я и задал вопрос, а смотреть видосы индусов как они обрабатывают в юпитере датасеты совсем мне не поможет. Заодно можешь подсказать правильно ли я понимаю, что с увеличением датасета придется заново прогонять нейронку по всей бд, чтобы эта модная нех(до сих пор не понял будет ли у меня по итогу просто функция куда я могу закинуть айди юзера и получить айди рекумендованых итемов) начала более качественный результат давать?
> Я даже написал про svd,
Ну тем более. Загугли реализацию на чем там тебе надо, почитай документацию, попробуй примеры. Никто ж за тебя это делать не будет. Не обязательно даже понимать, как сам алгоритм работает, достаточно разобраться в формате входа и выхода итд.
Ты спрашиваешь за реализацию работы нейронки/флайвил, это немного другое
Обычно когда тренируешь сам нейронки в итоге ты получаешь условно возможность засунуть какую-то дату и получить один ответ для проверки, но чтобы это работало как сервис ее надо размещать как-то куда-то, обеспечивать работу, банально платить скорее всего, это тебе надо может быть почитать про streamlit и google cloud ai, может тенсорфлоу лайт/жс, настраивать эту хуйню буквально так же сложно как и разобраться в самих фит+предиктах
https://youtu.be/fw6NMQrYc6w
можешь посмотреть гайд как разместить определялку 10 видов еды с фотки на гугле, это тебе надо вообще?
Другими словами, мы буквально отдаём на convolutional слои НЕСКОЛЬКО РАЗНЫХ КАРТИНОК? А не одну, разложенную на куски. Но это же... бред
Мы передаем не несколько разных картинок, обезьяна ты трехмерная, а многомерный тензор где ширина и высота это пиксели и глубина РГБ, это один блок информации. Было бы иначе - у тебя бы имейдж дата генератор/аугментатор бы сам резал пикчи на слои и запихивал бы их по одной, так бы получили в 3 раза больше даты чем есть, но это очевидно не так работает
Ух ты, нашел вот такой пример
https://stackoverflow.com/questions/60207592/how-to-make-svd-recommendations
Выглядит как то что я могу вставить просто в свой код и уже работать с этим, осталось узнать как сохранять тренированность, чтобы каждый раз не перезапускать. Подскажи, если разбираешься, этого ведь достаточно для демо проекта, чтобы не искать разбирающегося человека?
Именно поэтому я и спросил здесь, в ответе выше прикрепил какой-то супер простой пример где есть функция в которую подается юзерайди и получается итемайди, осталось только данные подготовить и попробовать, потому что до этого находил только индусов, статьи с юпитером, объяснения алгоритма и прочее, что меня вообще не интересует
Они связаны тем что функция потерь применяется не к каждому слою по отдельности, а к изображению в целом не считая специфических задач и пока что экспериментальных методов. Это времянеэффективно ведь самый последний и самый значимый узел имеет роль черного ящика и нейронку нужно учить связывать слои самой что уже само по себе отдает часть параметров на связь этих самых слоев. Но это уже потихоньку замечают и думаю уже скоро уйдут от этого.
Как по мне тут нужно просто а) добавить размерность к значениям матрицы изображения чтобы давать не 3 матрицы в тензоре , а одину где их сразу три б) преобразовать изображение так чтобы у него был один канал из которого можно восстановить все три. Либо выебаться еше хитрее.
мимо
> который смотрит на оценки похожих пользователей?
U-collaboration
> не подходит
SVD над всем полем уменьшает ошибку надо всем поле вкупе, а надо для каждого пользака отдельно, а потом над совокупностью пользоаков.
Объясняю причину: у тебя 10 оценок, у меня 100 оценок. Если алгоритм обучится над полем из 110 оценок, то он будет обучаться давать МНЕ правильное предсказание, а тебе нет, потому что я в 10 раз важнее. Давай разберём два случая:
1. у тебя и меня 50% правильности
2. у тебя 20%, у меня 75%
В первом случае общая правильность оценок будет 55, во втором 77. То есть выгоднее правильно оценивать меня, но не тебя. Это говно
Если ты готов выбрать тензорфлоу а не торч который примерно судя по ОДС чуть популярнее, то она в принципе лучшая, тем более до второй части книги там идет чистый склерн. Проекты там в ней учебные и гипотетические, код на гитхабе только полный, Герон хреново компанует книгу, например начинаются метрики и тебе все пресижены, реколы, ф1, рок-аук идут в ряд одна за другой без примеров, чисто на похуях, конечно ты потом будешь их применять и поймешь, но в процессе это уныло. Дальше пойдут алгоритмы и тебе затолкают в очко линейную регрессию. ну ок, потом SVM, ок, ладно, деревья, кнн, бля что это, бэггинг и паcтинг, ебать, ахахаха, случайный лес не хочешь, погоди еще бустинг, два вида его покажем, погоди ты не охуел братишка, не упусти стакинг
И после этого 10 вопросов к этой главе кекус. Так что рекомендую например эту книгу и прогонять ей второй раз и делать между алгоритмами паузу, смотреть примеры, ютуб проектики на них, но не всаживать за один раз
После герона ты уже берешь книги по практической части
Building Machine Learning Pipelines
Automating Model Life Cycles with TensorFlow
Practical Deep Learning for Cloud, Mobile, and Edge / Mobile Tensorflow для мобилок, или
Generative Deep Learning
Teaching Machines to Paint, Write, Compose, and Play для ГАНов
Или вообще смотришь в реинфорс или конкретно по своим целям. Альтернатива герону(точнее второй части) - Бхарат Рамсундар, когда дойдешь в героне до второй части - можешь сравнить что больше пойдет
Для торчей другие книги, о них я не знаю
Возможно есть вариант докинуть и другой "вид" книжек типа hundred page Machine learning book Burkov(это примерно что и приложенный пик - справочник)
Или Дейтел Пол, Дейтел Харви - Python: Искусственный интеллект, большие данные и облачные вычисления. Очень много питона, работы с листами, выебонов с матплотлибом, юз дейтайма для ДС, очень дохуя ООП, классные части про функции типа слушать с микрофона, захватывать видео с камеры, русский перевод написан сухо и очень по-университетски, если такое заходит то норм книжка
>>2116391
См мое примечание. Плюс подозрительно что это бесплатная книжка в которой все авторы == сотрудники амазона, форсят продвигаемый амазоном мхнет
>>2116405
Вот спасибо что расписал так подробно. Раз в homl так бегло разбирают классический мл то лучше идти в isl, которая полностью ему посвещена ? Так же я считаю читаю practical statistics for data scientists, хотел как только глава регрессии начнется перескочить на isl или homl, получается лучше на ней задержаться? Насчет буркова и харрисона, они ведь еще короче чем две книжки между которыми я выбираю, а мне нужны именно хорошие объяснения алгоритмов. С книжки дейтелов я кстати начал и включительно до 11 главы все там прочитал, ну еще 17 немного. А остальное мне было либо не интересно как аналитика твитов, либо я понимал что нужна специализированная книжка как в главе по мл.
>что мне ДЛ не особо нужен тк я мечу джуны Дата сайенс / Дата Аналисты.
Похрену куда ты метишь, на работе ты будешь вилкой датасеты ковырять как джун и фит предикт что в алгоритмическом мл, что в нейронках, что хоть на сраных квантовых кубитах запускать начнешь только через несколько лет(а спрашивать все равно будут). В хомле не бегло алгоритмы, 2/5 книги под это, если найдешь другие книги - как бы учи по ним, просто так то действительно сами алгоритмы ничего не представляют из себя кроме формулы и вложенных в склерн настроек к ним, обычно если ты будешь проводить тесты для каггла - ты все равно будешь пробовать все по порядку что хоть как-то подходят, а потом еще гридсерчем их пидорить, так что нормально там. Как Валера Бабушкин говорил про нейронки(типа нужны или не нужны) - нужен ли строителю перфоратор? Может и не нужен, а может и нужен, ты пойдешь на стройку и знать не будешь заранее
>>2117094
Я прошел курс по тф от daniel bourke, но это фактически для тех кому впадлу читать хомл, он сам дрочит на эту книгу и все там делает из нее по порядку, разве что проектики у него чуть свои, и это я делал не для ТФ скорее, а чтобы зарекламировать себе самому ДЛ, по книгам+их гитхабу гораздо быстрее и логичнее учиться, особенно если ты читаешь быстрее чем пиздит усредненный лысеющий петух читающий курсы. Но если тебе для подкрепления, то не вижу ничего плохого просто скачивать все подряд с рутрекера по теме, выкидывать все что читает гнусавый индус и просто как повторение просматривать и прорешивать
Если хочешь ультимативную страничку для курсо-дроча, то смотри https://github.com/ForrestKnight/open-source-cs-python (рекомендую сначала посмотреть видос на ютубе по этой странице)
П...ц подкрался незаметно: В 2021 году Forrester прогнозирует, что 75% всех разработок приложений будут использовать платформы без кода или с низким кодом, что на 44% больше, чем в 2020 году.
https://www.facebook.com/alex.v.krol/posts/10222103110639366
Выводы: Плохие новости для программистов.
1. Для низко квалифицированных кодеров это приговор, потому что число людей, которые могут сами лепить прилы, не будучи кодерами, растет геометрически.
2. Спрос будет только на высоко квалифицированных разрабов, что означает - цена входа в профессию в потребном времени и деньгах будет расти.
3. Корпорации начнут вкладывать в обучение сотрудников low/no code, чтобы те сами лепили зоопарк прилов вместо того, чтобы сорсить дорогие команды. Рынок сорсинга будет сжиматься. Причина - работники внутри лучше знают процессы и это Win-win для корпов и рабов. Скрипач не нужен.
4. Небольшим сорсинговым командам - п...ц - у них и так невысокая маржа. Индусы и филиппинцы привычно опустят цены на 40%, после чего 90% небольших сорсинговых команд из СНГ придет карачун. Останется рынок мобильных апов.
5. Программирование 90% бизнес приложений - становится коммодитиз. Как 10 лет назад минимальное владение Word/Excel стало второй грамотностью, в горизонте 3-4 лет - вторая грамотность владение навыком создания прилов без кода или с низким кодом. Правда через 4-5 лет вместо платформы без кода или с низким кодом появится все больше решений, использующих AI.
6. Нет, учить программированию ребенка все еще стоит, но вот будет ли программирование его работой - вопрос. Т.е. стоит учить базовой грамотности, а не настраивать на то, чтобы искал работу программистом.
7. Кадровый рынок всегда запаздывает. Пройдет 1-2 года, прежде, чем менеджеры корпов и эйчары начнут вкуривать тему и корректировать вакансии.
Основатель и руководитель компании Xsolla Александр Агапитов рассказал «Форбсу» детали о массовом увольнении сотрудников в пермском офисе компании. Агапитов также ответил на вопросы всех желающих во время пресс-конференции в Google Meet.
Увольнения коснулись в большей степени линейных сотрудников, а не топ-менеджеров.
Глава Xsolla объяснил, что методом оценки стала база знаний Confluence компании:
«В Confluence мы делимся нашими знаниями, планами и идеями. И есть люди, которые не интересуются нашими планами и идеями, и в принципе с ними невозможно коммуницировать, так как мы все работаем удаленно и используем эти сервисы для общения, а они нет».
Также трудолюбие оценивали по показателям в таск-менеджерах. А вот активность в IDE и в Git в поле зрения KPI не попала.
https://habr.com/ru/news/t/571328/
Какая прелесть, кабанчики-Ерохи с софт скиллами унижают конпуктерных задротов!
Вот так и надо с вами, программистишками, анальниками.
ПЕPEКАТ >>2118457 (OP)
ПЕРЕKАТ >>2118457 (OP)
нет, 500 постов -- бамп лимит, перекатываемся, чё
Есть орандж. И уже 24 года кстати.
'Мой батя ебашит вообще адовые вещи, но я не могу понять, почему он не может быть таким же крутым как он? А может он просто не хочет быть крутым? Ну такой вот примерно рецепт усредненный, потому что вариаций много. Берется суп, он не греется, греть - это не про моего кота. Он любит, когда его греют. А если не греют. Он берет этот суп, вываливает его на сковороду и начинает жрать. Добавляет в него огромное количество лука, чеснока, перца черного и красного, лавровый лист, перец горошком, соль, перец черный молотый, лавровый лист, чеснок, перец черный молотый. МУКИ для вязкости, томатная паста, соль. Все это жарится до состояния "как в духовке". А потом в духовку. А потом в микроволновку. Потом снимается с огня и остужается на батарее. А потом в микроволновку. Потом батя заносит и щедро полив майонезом начинает есть. При этом ест со сковороды шкрябая по ней ложкой. А потом батя достает из холодильника бутылку водки и начинает пить. Ест и приговаривает полушепотом ух бля, бля, бля, бля, бля, бля, бля, бля, бля, бля, бля. При этом у него на лбу аж пот выступает. Любезно мне иногда предлагает, но я не соглашаюсь. А я не соглашаюсь, потому что я не соглашаюсь. Надо ли говорить о том какой дичайший пердеж я слышу в ответ? А я не соглашаюсь. Вонища такая, что обои от стен отклеиваются. А я не соглашаюсь.'
GPT-2. Пока только разбираюсь
>Николенко "Глубокое обучение"
Купил я его и охуел от матана. Посоветуйте теперь курс по матану чтобы понять эту книгу, анонята.
Аноны, я нихуя не шарю в ML, но шарю в питоне.
Хочу натренить модельку на порнушных текстах.
Прочитал, что хорошая модель GPT-2. Надыбал тексты, пытаюсь файнтюнить и жопа. Я уже столько всего перепробовал.
У меня в наличии ноут с 1660 Ti на Убунте, а ещё ПК с виндой и WDL, там 1080Ti.
Наибольшего успеха я достиг с либой gpt-2-simple
Я почистил тексты от всякой хуйни, оставил тхт файлы по 6000 символов (в нижнем регистре, каждое предложение с новой строки и заканчивается точкой). Вот так прогресс идет:
dataset has 1556 tokens
Training...
[1 | 27.57] loss=3.03 avg=3.03
[2 | 50.59] loss=2.64 avg=2.83
[3 | 74.66] loss=2.28 avg=2.65
[4 | 98.33] loss=1.92 avg=2.46
[5 | 121.92] loss=1.71 avg=2.31
[6 | 145.60] loss=1.45 avg=2.16
[7 | 169.41] loss=1.19 avg=2.02
Около 25 секунд на степ, всего 1000 степов в настройках, это 7 часов на один прогон (эпоху? Вроде так это называется) на один текст, а текстов у меня таких есть 32 тысячи. Чет долго.
Этот gpt-2-simple работает с tensorflow 1.15 и cuda-10.0, возможно проблема в этом.
Это я на ноуте под линухом делал.
Подскажите, как лучше поступить, стоит ли ебаться под виндой/wsl ради использования 1080Ti? Какую либу использовать, какую модельку файнтюнить?
Нашел ещё вот это https://github.com/plaidml/plaidml типа для небольших видеокарт идеальная либа, но хз вообще как её использовать и можно ли там файнтюнить GPT-2, а если не GPT-2, то что и как?
Во первых это протухший тред, все давно перекотились, а во вторых для файнтюнинга gpt-2 как по мне лучше всего подходит aitextgen, первая ссылка на гитхаб в гугле. тензорплов хуйня без задач, путорч наше все
А, и да, в третьих. Не нужно разбивать текст так, если ты не хочешь строить йоба метрики то просто сделай весь текст в один файл. Слишком долго объяснять но так не только быстрее но и эффективнее так как подбор весов будет не под каждый текст последовательно а под все сразу.
Ну и главное не забудь проверить чтобы точно сохранялась, обучение в любом случае долгое.
И последнее, гпт-2 сейчас не самая пиздатая модель а малая версия бесполезна, если уж файнтюнишь ее то лучше файнтюнь самую большую. Либо подожди пол года пока perceiver допилят.
Я сам не дата саентист, поэтому спрошу у вас
Есть ли где-нибудь готовые либы по извлечению эмендингов из ебальцев? Я нашел face_recognition, которая работает ок, но мне еще бы пару-тройку
Просто чтобы git clone / pip install и погнал
или я что-то невозможное хочу?
Если что, то все это для задачи поиска еблетов по небольшой базе (делаю студентоте небольшую лабу)
спасибо
Разложение по степеням в ряд тейлора позволяет описать её меньшим числом.
Разложение в виде ряда фурье описать совсем низким числом данных.
Но ряд тейлора и ряд фурье придумал человек, и нет никакой причины почему это является лучшим представлением.
Я подумал, что будет круто, если запрячь нейронку найти набор ортогональных функций, разложение по которым будет удачнее, чем в ряды фурье. Может быть там будет гибрид в виде вейвлетов - по типу что первая гармоника синус на всё окно, а вторая и третья синусы с большей частотой, но в правой/левой половине окна, так что сохраняется какая-то часть пространственного представления, а не только частотная.
Сразу предупрежу, что tensorflow я только сегодня поставил и достаточно отвратительно всё понимаю.
Я собрал автоэнкодер, и кормил ему эти отрезки по 128 чисел, и во внутренним слое поставил регуляризатор.
Сначала я использовал L2, но он хреново работал - при низком значении он не старался получить более полезные внутренние представления, а при слишком высоких переставал передавать изначальную функцию, так как отдавал приоритет минимизации. На картинке он снизу. Последняя гармоника с подписью "0" - это 100-ая гармоника.
Потому я попробовал написать свой регуляризатор (сначала сверху, но он не сработал - потом тот что на второй картинке), который считает количество активных гармоник и старается уменьшить их количество (первые гармоники должны быть наиболее полезными, потому там ещё на linspace умножается).
И у меня даже получилось что-то похожее на синусы из разложения фурье, чем я доволен - потому что я нигде никоим образом не форсил получения синусов.
Посоветуйте как правильно решать такую задачу. Я вижу миллион разных слоёв, идей для регуляризатора и всего остального - и у меня нет идей как сделать правильно, потому что последний вариант хоть и выдаёт синусы - но передаёт начальную функцию весьма плохо, теряет высокие частоты.
Поделитесь, может кто знает, предобученные модели на сортировку фотографий, находил на гите просто классификатор типа люди или пейзажи на фото, ну и т.д. А сейчас меня интересует классификатор человека цвет кожи пол и прочие. хочу найти негритяночку в своем мухосранске
Не встречали такое?
1 лаба кстати, если кому интересно
https://disk.yandex.ru/i/y9zj9okrTYHTJA
>Кто нибудь использовал машоб для трейдинга?
с какими проблемами столкнулись те, кто пытался таким образом исопользовать машоб?