Программирование

Ответить в тред Ответить в тред
НЕЙРОНОЧКИ И МАШОБ ТРЕД №30 /ai/ Аноним 17/10/20 Суб 13:02:08 18325801
image.png 44Кб, 172x182
172x182
image.png 2632Кб, 1654x1063
1654x1063
image.png 4429Кб, 2128x2900
2128x2900
image.png 660Кб, 818x607
818x607
Очередной тред про хипстерские технологии, которые не работают.

Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ

Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus

Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/

Почему python?
Исторически сложилось

Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет

Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python

В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials

Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.

Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел

Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой

Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся

Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/

Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском

Где ещё можно поговорить про анализ данных?
http://ods.ai/

Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Google Colab дает бесплатно аналог GPU среднего ценового уровня на несколько часов с возможностью продления, при чем этот "средний уровень" постоянно растет. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
На сентябрь 2020 ждем 30хх серию в магазинах и падение цен на 20xx на авито, /hw/ в помощь

Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом

Кто нибудь использовал машоб для трейдинга?
Никто не использовал, ты первый такое придумал. Готовь камаз для бабла.

Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/

Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Аноним 17/10/20 Суб 13:04:49 18325822
Аноним 17/10/20 Суб 13:17:48 18325873
image.png 245Кб, 1897x1018
1897x1018
Аноним 17/10/20 Суб 13:23:32 18325914
>>1832580 (OP)
> matrix calculus
Линейная алгебра и есть.
> Почему python?
> Исторически сложилось
Индусам в ПТУ больше ничего не преподают.
Аноним 17/10/20 Суб 13:30:08 18325925
Аноним 17/10/20 Суб 13:50:33 18325976
16026188995930.gif 391Кб, 652x562
652x562
>>1832592
Рандомный зумер вкатывальщик без задач. Сам себя тут и пиарит
Аноним 17/10/20 Суб 13:55:54 18325987
>>1832597
> Senior Director of Data Science X5 Retail Group
> Engineering Manager ML RnD Yandex
> Head of AI Lab Facebook
> Рандомный зумер вкатывальщик без задач
Аноним 17/10/20 Суб 14:33:52 18326208
>>1832598
Больше других баззвордов выучил?
Аноним 17/10/20 Суб 14:38:25 18326239
> знаешь, что такое сигма и перевёрнутая А - джун
> знаешь импорт слесарьплов - мидл
> знаешь больше половины модных баззвордов - senior pizdabol na dvache
Аноним 17/10/20 Суб 15:20:43 183265510
Есть тут аспиранты ВШЭ которые машинкой занимаются? Какую лабу/подразделение посоветуете? Что скажете насчёт НУЛ Методов машинного обучения в биоинформатике(там где Попцова главная)?
Аноним 17/10/20 Суб 15:45:30 183269011
>>1832592
Ого, а Бабушкин то эстет, на постановку Гарри Потера ходил
Аноним 17/10/20 Суб 16:10:43 183273012
>>1832690
Если прям сильно завидуешь, напиши в лондонскую полицию, что он анаболики через границу везет. Слишком большой для работающего натурала. У него не должно оставаться много времени на качалку... Или он просто пиздаболит целый день, а потом идет на треньку?
Аноним 17/10/20 Суб 16:15:44 183273913
>>1832730
>он просто пиздаболит целый день
Учитывая сколько "тренингов" в неделю он проводит я бы не удивился.
Аноним 17/10/20 Суб 17:17:53 183281614
>>1832591
В курсе линейной алгебры рассказывают про матричные производные?
Аноним 17/10/20 Суб 17:29:25 183282015
>>1832619 →
>Бангалорские негры что, вручную подбивали сделали 900 сабмитов, пока не достигли 1.0? Это прямо какой-то особый вид сексуальных девиаций.
Не обязательно вручную, можно же вообще сервис краудсорсинговый написать. В каких-то соревнованиях по бинарной классификации без прайвата так и сделали вроде бы.
Аноним 17/10/20 Суб 17:31:40 183282516
>>1832730
>что он анаболики через границу везет
И коллекцию ножей
Аноним 17/10/20 Суб 17:32:03 183282717
>>1832619 →
Интересно, существует ли более оптимальный алгоритм, чем менять стейт по одному и заливать на тест
Аноним 17/10/20 Суб 17:34:47 183282818
>>1832655
>Какую лабу/подразделение посоветуете?
Советую прикладную геометрию и топологию на КС ВШЭ, единственный незашквар среди всей "машинки".
Аноним 17/10/20 Суб 17:41:21 183283519
>>1832827
Да много чего можно придумать, скорее всего всё сложнее было, можно начинать не с нуля а с какого-то бейзслайна разумного например итд
Другое дело зачем всё это надо, ты в машинлёрнинг хочешь научиться или рейтинг среди индусов задрочить?
Аноним 17/10/20 Суб 17:43:48 183284620
>>1832730
> Слишком большой для работающего натурала. У него не должно оставаться много времени на качалку...
У него и на три работы времени не должно было быть и на взятие кэгл мастера. Но такие топ тиер специалисты умеют в тайм менеджент.
Шварценеггер успевал в колледж ходить, на стройке работать и в качалке сидеть каждый день.
Аноним 17/10/20 Суб 18:03:34 183286321
Аноним 17/10/20 Суб 21:04:08 183306022
ML.NET уже хорош, или еще очень юн? Сам шарпист со стажем, нужно вкатиться в ML/DL. Все гайды/туторы на керасе, пайторче и прочей питонщине. Ничего против питона не имею, но просто любопытно что матёрые эйайщики думают о ML.NET?
Аноним 17/10/20 Суб 21:57:43 183310523
15960264102200.jpg 67Кб, 592x532
592x532
Аноним 17/10/20 Суб 22:31:00 183311424
EI4gLZSWkAAt0g.jpg 36Кб, 538x479
538x479
>>1833105
>новый
Плохо ты данные обрабатываешь. Но вообще последнее время какой-то пиздец, у меня весь ютуб вместо привычных TOP 10 EMBARRASSING ANIME SCENES этим чертом завален.
Аноним 18/10/20 Вск 00:07:00 183318225
Аноним 18/10/20 Вск 00:12:43 183318526
Аноним 18/10/20 Вск 00:56:15 183320827
>>1833060
Блядь в чём ваша проблеме, питон учится за 10 минут он максимально для этого и сделан в ущерб всему остальному
Аноним 18/10/20 Вск 01:12:27 183321928
>>1833208
>питон учится за 10 минут
Выучить базовый синтаксис =/= выучить язык.
Аноним 18/10/20 Вск 01:19:32 183323529
>>1833219
Выучить базовый синтаксис питона ~= выучить питон
Аноним 18/10/20 Вск 02:13:44 183326230
>>1833060
Обучай на питуне, импортируй в OpenCV / ONNX и.т.д.
Аноним 18/10/20 Вск 07:58:51 183333131
>>1833060
А расскажи что значит "нужно вкатиться"? Что за проект?
Аноним 18/10/20 Вск 08:01:55 183333232
>>1833060
> просто любопытно что матёрые эйайщики думают о ML.NET?
1. С чего ты взял что они тут матёрые?
2. С чего ты взял что совет матёрых практиков будет полезен тебе? Они в своем мире живут. Там нет млнет.
Аноним 18/10/20 Вск 09:08:17 183334233
Кто-нибудь уже был на собеседовании на вакансию Дата Саентиста?
Есть те, кто не из программистов перекатился в Data Science?
Сам сколько занимаюсь этим, все больше понимаю, что вроде бы ничего сложного, но при этом ощущение, что я тупой именно в IT, и что я могу написать работающий алгоритм и обработать данные, но при этом если понадобиться написать какой-нибудь простой скрипт, не связанный непосредственно с данными, то сяду в лужу. Насколько критично? На сколько важно знать SQL и как долго/сложно его учить? Вообще, какая обстановка в таких отделах, например, в банках? Ебут и увольняют сразу если что-то не знаешь или как-то полояльнее? Новая же относительно специальность и по идее почти все в ней новички.
Аноним 18/10/20 Вск 09:49:20 183334834
>>1833342
Как вкатился? Посоветуй курсы
Аноним 18/10/20 Вск 10:14:49 183335135
>>1833348
никак. на заводе работаю.
Аноним 18/10/20 Вск 10:26:11 183335436
>>1833342
> Есть те, кто не из программистов перекатился в Data Science?
> Сам сколько занимаюсь этим, все больше понимаю, что вроде бы ничего сложного,
Сколько?
Допустим, дадут тебе несложную работу чистить вилкой данные, но как ты будешь понимать конечную цель и процесс, чтобы почистить данные хорошо?
Аноним 18/10/20 Вск 10:39:41 183335837
>>1833342
>не из программистов перекатился в Data Science
Impossible. Либо на старших курсах идешь стажёром, либо уже опытным программистом перекатываешься на проект с датасаенсом.
Аноним 18/10/20 Вск 11:04:11 183336238
>>1833358
А как же кликер, Табло и PowerBI?
Они уже регрессии и lstm (наверное) сделали
Аноним 18/10/20 Вск 11:20:20 183336839
image.png 376Кб, 600x750
600x750
>>1833354
>Сколько?
С конца прошлого года
>Допустим, дадут тебе несложную работу чистить вилкой данные, но как ты будешь понимать конечную цель и процесс, чтобы почистить данные хорошо?
Допустим данные уже в формате csv. Сначала я посмотрю их размер, начало, конец, уберу всякую хуйню типа важных пояснений и тд. Затем методом из seaborn посмотрю где пропущенные значения и сколько их. Затем буду их заполнять(в зависимости от того какой признак, либо буду ставить среднее значение, либо моду, либо выведу в отдельный признак-столбец).
Затем в принципе буду изучать, что за признаки и скорее всего поудаляю некоторые. Затем буду кодировать категориальные(словесные) признаки. Если значений всего два, то использую LabelEncoder, если больше двух, то OneHotEncoder, чтобы не создавать у алгоритма иллюзию, что это ряд чисел. Затем нормализую все остальные столбцы MinMaxSciler-ом, хотя последнее не всегда нужно. Затем приду и скажу "я сделаль"
Аноним 18/10/20 Вск 11:33:25 183337040
Сколько готовы платить джуну в Data science? Ну в Сбербанке там каком-нибудь. Вот они расширяются и набирают еще долбоебов которые чего-то там на корсере прошли и способны чистить вилкой датасеты и отличают случайный лес от нейросети. Сколько будут платить? У кого есть такой опыт? Берут ли только из IT или если ты 30+ долбаеб, который преподавал математику или инженерил на заводе, но прошарился до уровня DS-макаки, то сойдет?
Какая ситуация на рынке труда вообще?
Аноним 18/10/20 Вск 11:42:01 183337141
Аноним 18/10/20 Вск 11:48:39 183337342
image.png 248Кб, 1200x800
1200x800
>>1833370
>долбоебов которые чего-то там на корсере прошли и способны чистить вилкой датасеты
такие сейчас никому не нужны
>только из IT
да, или топовые студенты норм вузов
>30+ долбаеб
отлетаешь на скрининге резюме
>Какая ситуация на рынке труда
Пизда рулю https://habr.com/ru/company/mailru/blog/511104/
Аноним 18/10/20 Вск 12:09:31 183337943
>>1833358
Через работу в стартапе, или опенсоурсе проекте ещё
Аноним 18/10/20 Вск 13:10:25 183341244
>>1833368

> Допустим данные уже в формате csv.
Сразу нет.

>Затем буду их заполнять(в зависимости от того какой признак, либо буду ставить среднее значение, либо моду, либо выведу в отдельный признак-столбец).
Так среднее или признак? Это зависит от модели.

> Затем в принципе буду изучать, что за признаки и скорее всего поудаляю некоторые.
Какие? Это зависит от модели

>Затем буду кодировать категориальные(словесные) признаки. Если значений всего два, то использую LabelEncoder, если больше двух, то OneHotEncoder, чтобы не создавать у алгоритма иллюзию, что это ряд чисел.
Не для этого. Если ты не понимаешь в нейронках, ты не знаешь почему он нужен

> Затем нормализую все остальные столбцы MinMaxSciler-ом, хотя последнее не всегда нужно.
А когда нужно? Это зависит от модели .

> Затем приду и скажу "я сделаль"
Ничего полезного не сделал.

Я так понял ты пару бесплатных заманух от skillbrain и тд посмотрел.

Да. Датасаентисты всем этим занимаются, но для модели. Осознанно.
Аноним 18/10/20 Вск 13:25:30 183342145
>>1833368
Тебе скажут "мда ебать ты дебил канешн", сами сделают import lgbtclassifier и скормят ему csv-файл в две строки, выкинув ненужные признаки. Причем обработка категориальных признаков и пропущенных значений там уже будет лучше чем у тебя.
Ну а потом такого гения посадят на месяц размечать данные.
Аноним 18/10/20 Вск 13:39:30 183343146
>>1833412
ты сам-то какой масти будешь?
Аноним 18/10/20 Вск 15:30:35 183353647
>>1833368
>Если значений всего два, то использую LabelEncoder

LabelEncoder кстати не для обработки входных данных X предназначен, а для y. Если будешь в pipeline его встраивать для обработки X, то будет падать с ошибкой. Для X используют OrdinalEncoder.
Аноним 18/10/20 Вск 16:46:10 183358948
>>1833536
>>1833421
>>1833412
>>1833373
>>1833371
Вот живу в мухосрани в миллионике. Работаю инженером-конструктором, самому 32 лвл. Зарплата 45к, мало. С конца прошлого года с перерывами занимаюсь Data Science. Думал, придрочусь немного, возьмут на джуна, и те же сраные 45к будут платить, зато перспектив куда больше. Теперь мне по специальности уже 60к предлагают, может даже на 65к получится. Для нашей мухосрани - ебать успех, однако это же скорее всего и потолок.
Но меня гложит, что вот старался, занимался, вроде даже чего-то понимать стал, и уйти на 60к снова инженером - это как бы поражение признать. Да и заебали эти железяки не тянуло к ним никогда.
Как Data Sientist я - полная макака, у меня несколько тетрадей с конспектами с корсеры и Леонардыча(Вадим Аббакумов, сам кстати из преподов ушел в Data Sience, хотя ему уже лет 60, но он дохуя математик ). Пишу код обложившись тетрадками и копирую куски кода из своих-же предыдущих работ, на память помню мало, голова на основной работе и так нагружена. Сам освоил numpy, pandas, matplotlib. Могу при помощи keras написать нейросеть прямого распространения. Сидел ковырял датасеты с кагла, пока самое большое, что смог наковырять - это 0,77 на Титанике. В целом математическая база хорошая, разбираюсь, в школе всякие олимпиады там выигрывал и тд.
Сижу блять думаю, что делать. В нашей мухосрани есть вакансии от сбербанка. Мне кажется, даже если они меня поговорить пригласят, то прямо в отделе кадров и обоссут. А вдруг нет? Может примерно такого макака-уровня и ждут, их ведь нет толком этих дата саентистов с опытом. Сам не знаю ни SQL этот ваш, ни хадуп. Только питон для анализа данных и более-менее матан.
Хуй знает куда повернуть. Хотя объективно никого не заинтересует даже мое резюме.
Аноним 18/10/20 Вск 16:49:02 183359149
image.png 527Кб, 1000x562
1000x562
>>1833589
>конспектировать курсы в тетрадочку
Да ты же поехавший.
Аноним 18/10/20 Вск 17:20:06 183361250
>>1833589
>Сижу блять думаю, что делать. В нашей мухосрани есть вакансии от сбербанка. Мне кажется, даже если они меня поговорить пригласят, то прямо в отделе кадров и обоссут.

тебе точно 32 года? встал и пошёл на собес! даже если нагнут тебя по полной, то будешь знать, что требуется. потом сможешь прийти к ним через годик.
нарисуй красивое резюме, напиши о проектах, сопроводительное сделай. чо как маленький? всю жизнь, что ли, в одном месте проработал?

p.s. хотя наверняка у вас есть уже небольшая группка околостудентоты местной, которая уже давно в теме и занимается всем этим наряду с жирняками-коммерсами, которые пилят DS-решения и толкают тем же заводам. у меня в миллионнике так.
Аноним 18/10/20 Вск 17:47:33 183364251
>>1833412
Ну это странные наезды, пробуешь всё понемногу пока не заработает, заранее нельзя сказать.
Аноним 18/10/20 Вск 17:57:46 183365052
16015598020110.webm 8768Кб, 400x224, 00:04:09
400x224
>>1833589
DS плохо аутсорсится. Поэтому придется работать на внутренний рынок. Если хочешь денег, то задрачивай вэб-фронтенд и английский.
Аноним 18/10/20 Вск 19:20:17 183373853
>>1833612
Он же на заводе каком-то работает или подобном болоте. Какой ему сбер. Тем более в мухосрани, лол, что там может быть, какой датасаенс, очнитесь.
Аноним 18/10/20 Вск 19:22:21 183374454
>>1833642
Так ты будешь титаник свой до старости пробовать. И он так и "не заработает." Потому что знать надо, что ты делаешь.
Аноним 18/10/20 Вск 19:53:00 183379655
>>1833331
Будучи уже профессиональным дотнетчиком, взял тему диплома, основой которого является ML, имея крайне поверхностное знание об оном и о питоне
Аноним 18/10/20 Вск 19:54:15 183380056
>>1833332
>1. С чего ты взял что они тут матёрые?
Ну не залетать же мне в тред с приветствием здарова пидарасы усосочные вы тут блядь все тут блядь шелуха нахуй блядь расскажите бате как вы на ML.NET дрочите и как он ваш хуетон и в def и в self ебёт
Аноним 18/10/20 Вск 19:55:33 183380557
>>1833332
>2. С чего ты взял что совет матёрых практиков будет полезен тебе? Они в своем мире живут. Там нет млнет.
Ну ёптыбля мне хоть для диплома осветить что вот выбирая пайторч я еще посмотрел на то это и ML.NET
Аноним 18/10/20 Вск 20:24:16 183386158
Блядь, таки отправил свое нелепое резюме в сбербанк. Ой пиздеееец. Ну хули тут, хуже не будет
>>1833589-кун
Аноним 18/10/20 Вск 20:38:47 183388559
>>1833861
да норм, молодец
не слушай никого, продолжай заниматься
рано или поздно, завод нахер пошлёшь и перекатишься в дс
Аноним 18/10/20 Вск 20:43:08 183389160
>>1833373
>30+ долбаеб
>отлетаешь на скрининге резюме
Зумер, спок. У него математический бекграунд, который в датасаенсе очень ценится. Возраст тоже не проблема. Наоборот, до 25-30 тебя никто серьезно воспринимать не будет и дальше миддла ты по любому не продвинешься.
Аноним 18/10/20 Вск 20:44:58 183389361
>>1833891
>инженер конструктор
>математический бекграунд, который в датасаенсе очень ценится
Лол
>до 25-30 тебя никто серьезно воспринимать не будет
Дружище... Сначала хотя бы джуном стань
Аноним 18/10/20 Вск 20:57:45 183391162
>>1833893
>математический бекграунд, который в датасаенсе очень ценится
>инженер конструктор
В соседнем треде очередной вкатывальщик не может проверить, делится ли одно число на другое. Так что вполне себе математический.
Аноним 18/10/20 Вск 21:01:51 183392363
training.gif 52Кб, 1020x208
1020x208
>>1833373
>такие сейчас никому не нужны
Чойта? Макакичи еще как нужны, причем их надо гораздо больше, чем топчик ДСеров-моделеплетов. Пока что их не получается заменить на нейроночки.
Аноним 18/10/20 Вск 21:19:13 183393964
>>1833923
Препод на дс-рассказывал, дсеры - штутчный товар на западе и в промышленных масштабах не нужны.
Аноним 18/10/20 Вск 21:25:46 183394465
>>1833744
> знать
Всё априорное знание типа гадания по размеру датасета это фуфло, повторяю. В реальной работе просто пробуют несколько вариантов и смотрят что лучше.
Аноним 18/10/20 Вск 21:52:19 183397566
>>1833923
>нужны
Пруфай количеством вакансий
Аноним 18/10/20 Вск 21:53:09 183397767
>>1833911
>очередной вкатывальщик
Да, он не вкатится. Но это не делает инженегра конструктора
математическим бекграундом
Аноним 19/10/20 Пнд 09:12:37 183419668
Screenshot266.jpg 92Кб, 995x688
995x688
>>1833421
>>1833642

А вот к примеру, есть Табличка из Applied-predictive-modeling-max-kuhn-kjell-johnson.pdf
Только этот Макс проебался при печати и нужны пояснения:
СZ - centering and scaling
NVZ - remove near zero predictors
Corr - remove higly correlated predictors

Чем плоха?
Аноним 19/10/20 Пнд 11:17:51 183431169
>>1834196
>NVZ - remove near zero predictors
Нихуя не понял, пошёл гуглить, и похоже, ты забыл слово Variance. Да и в целом непонятно, зачем удалять признаки с низкой дисперсией, если при этом они позволяют хорошо объяснять зависимую переменную.
А если по табличке, то:
>линейная регрессия не позволяет n < p
Позволяет
>Для нейронок нужно NZV и Corr
Про сомнительность NZV уже написал, так никто не делает. И он всерьез предлагает препроцессить тот же мнист, где половина признаков не изменяется, а вторая половина жутко скоррелирована?
Аноним 19/10/20 Пнд 11:55:31 183435370
>>1834311
>зачем удалять признаки с низкой дисперсией
Если у них дисперсия близка к нулю, то это почти константа, и оставлять их незачем - их уже моделирует bias term.
Аноним 19/10/20 Пнд 12:07:18 183436571
>>1834311
> И он всерьез предлагает препроцессить тот же мнист, где половина признаков не изменяется, а вторая половина жутко скоррелирована?
ну не надо придираться. Это попытка обобщить

>Table A.1 shows a short summary of several characteristics of the models discussed here. These properties generally hold, but are not always true for every problem.

У вас есть попытка лучше?
Аноним 19/10/20 Пнд 12:10:57 183436872
>>1834311
>А если по табличке, то:
>>линейная регрессия не позволяет n < p
>Позволяет


че-то тоже не пойму. Это противоречит моему пониманию линейной алгебры. Что ты имел ввиду?
Аноним 19/10/20 Пнд 12:50:11 183440673
>>1834196
>Чем плоха?
Ничем не плоха, шикарная табличка. Просто в 2020 году если у тебя
1. Нет ограничений на производительность по меркам нулевых годов
2. Не нужна интерпретабельность
ты просто берешь как тебе выше написали lgbtclassifier (boosted trees в твоей табличке) и не ебешь мозг - и препроцессинг не нужен, и фичи отбирать не нужно, и к шуму оно устойчиво. Просто молоток, которым можно херачить датасеты, и дальше твоей работой будет чистить их вилкой.
Аноним 19/10/20 Пнд 12:57:07 183441874
Аноним 19/10/20 Пнд 13:46:44 183447075
>>1834406
А как чистить вилкой датасеты?
Аноним 19/10/20 Пнд 14:10:12 183448276
>>1834470
— Чисти-чисти-чисти-чисти сука вот как блядь нужно чистить быстро раз-раз-раз! Чисти! Датасет! Чисти!
Аноним 19/10/20 Пнд 15:19:36 183453077
image.png 194Кб, 860x278
860x278
>>1834353
>Если у них дисперсия близка к нулю, то это почти константа, и оставлять их незачем - их уже моделирует bias term.
Предсказываем, умрет ли человек в течение года.
Признак - есть ли у человек редкая болезнь жопеншмульца, от которой умирают в течение года.
Болезнь встречается очень редко, поэтому дисперсия близка к нулю.
Каким образом bias term будет моделировать этот признак?

>>1834368
Если у тебя хорошие априорные знания о распределении параметров модели (например, если ты точно знаешь, из функции какого вида надерганы данные), то у тебя в случае n < p всё не так уж плохо.
Аноним 19/10/20 Пнд 15:23:27 183453278
Чё про северсталь скажете, норм там дс ТРАНСФОРМАЦИЮ забубенили, есть чем позаниматься?
Аноним 19/10/20 Пнд 15:35:28 183453779
image.png 432Кб, 1202x593
1202x593
Ребята, приветствую!

Сразу оговорюсь, я тут новичок. Закончил недавно курсы по DA на Яндексе. Теперь ищу работу в ДС2 - аналитиком или продактом. Хотя бы стажёром для начала. Знания после курсов конечно стремительно выветриваются из головы, поэтому нужна практика, новое что-то. Вот посоветуйте, чем проникаться, как и где лучше всего искать вакансии?
Имею вышку (мухосранский государственный, дневное, очное) программиста, но кодить за 14 лет уже разучился (хотя основы конечно же знаю и помню), да и вуз в то время ничего практически ценного не давал, и даже скорее отбил желание углубляться в программирование. Поэтому около 15 лет работал сисадмином (больше виндовым), сейчас админство порядком подзаебало + последняя контора обанкротилась, а таких денег, как в ней, мне не светит (около 100 на руки).

В общем, сейчас нуждаюсь в неком элементе наставничества, состоящего из ваших советов, лайфхаков, смехуюточек, которые направят меня из состояния прокрастинации к профессиональным подвигам.

Если ошибся тредом, ёбните меня палкой и покажите правильный.
Аноним 19/10/20 Пнд 15:40:36 183454180
>>1834530
>Каким образом bias term будет моделировать этот признак?
Никак, но и загнав в линейную регресиию его дело особо не поправится: из mse следует что вес у этого признака получится такой же милипиздрический как и bias.
Аноним 19/10/20 Пнд 15:50:22 183455181
panduan misi fr[...].jpg 128Кб, 1600x900
1600x900
>>1834406
ну, во-первых, это не нулевые годы, а 2013.
во-вторых, что мы теряем в этом вашем ЛБГТ? какие минусы?

tuned parameters = 3 - и мы по-прежнему не избавлены от труда
Аноним 19/10/20 Пнд 15:53:24 183455482
16015598020110.webm 8768Кб, 400x224, 00:04:09
400x224
Аноним 19/10/20 Пнд 15:56:59 183455983
.png 953Кб, 1000x1434
1000x1434
>>1834537
На какие из твоих вопросов не отвечает оп-пост?
Аноним 19/10/20 Пнд 16:05:07 183457084
>>1834554
Ого ничего себе, формулу условной вероятности попросили написать. Жесть...
Аноним 19/10/20 Пнд 16:16:07 183458585
>>1834559
Они написаны для DS больше, как мне кажется. Впрочем...
Аноним 19/10/20 Пнд 16:31:02 183460486
>>1834537
Лол, пошёл нахуй, лодырь ёбаный, делать нам тут нечего, кроме как великовозрастного балбеса развлекать.
Аноним 19/10/20 Пнд 17:05:08 183464387
>>1834541
>из mse следует что вес у этого признака получится такой же милипиздрический
Ну вообще-то нет, но ладно.
Аноним 19/10/20 Пнд 17:05:58 183464488
Нравится математика, сосать хуи преподом за гречу не хочу. Куда вкатываться?
Аноним 19/10/20 Пнд 17:06:47 183464889
Аноним 19/10/20 Пнд 18:29:27 183475890
>>1834551
>ну, во-первых, это не нулевые годы, а 2013.
Эта толстая книга - некоторый итог машоба нулевых. Нулевые здесь как эпоха скорее, эпоха медленных компьютеров и еще более медленного эмбеддинг-железа.
А потом появилась цифровизация всего и теперь даже у кабанчика среднего пошиба бизнес генерит довольно большие датасеты бесплатно. Соответственно подход изменился.
Вообще исторический тренд понятен - в машобе всегда побеждают универсальные алгоритмы, пусть даже в ущерб производительности и точности. Потому что со временем датасеты растут, железо ускоряется, и в итоге все эти маня-оптимизации типа сделать-PCA-перед-обучением проигрывают тупым лобовым методам. Скорее всего в двадцатые нейросети-трансформеры или их потомки съедят нахуй вообще.
>во-вторых, что мы теряем в этом вашем ЛБГТ?
Я написал, что - интерпретируемость и перформанс. Но сейчас это вообще не проблема. Знать, конечно, надо все методы, чтобы не быть батхертом.
Аноним 19/10/20 Пнд 18:31:21 183476091
>>1834541
> из mse следует что вес у этого признака получится такой же милипиздрический как и bias.
Падажжи, но ведь если фичу поделить на ее дисперсию, то подобной хуйни уже не будет. Они там реально не скейлят свои фичи?
Аноним 19/10/20 Пнд 19:07:05 183479892
>>1834758
ну погоди. Эт же книга меня учит, что No Free Lunch Theorem.
Причем, теорема строго доказанная.
Она начинается с этого утверждения и смысл книги в этом.


И так, что еще потеряли в ЛБГТ?
Аноним 19/10/20 Пнд 19:10:53 183479993
>>1834758
>Знать, конечно, надо все методы, чтобы не быть батхертом.
блядь, спасити. Я больше не могу....
эта хуйня слишком объемная.
Я лучше в дивопсы перекачусь.
Аноним 19/10/20 Пнд 21:19:19 183485794
>>1834799
Лол, выкатился, не успев вкатиться.
Аноним 19/10/20 Пнд 21:25:57 183486195
>>1834799
на самом деле примерно 95% работ решается примерно так

import pandas as pd
import os
import re
import pymysql

тут хуйня

ибо готовой отчет тети сраки сам себя не распарсит, а кегля внезапно не приносит доход
Аноним 19/10/20 Пнд 21:36:40 183486696
Screenshot254.jpg 75Кб, 1121x828
1121x828
Screenshot252.jpg 262Кб, 1959x1140
1959x1140
Аноним 19/10/20 Пнд 21:43:08 183486897
>>1834866
Опять ты со своим кликером.

Чего ты там повторил? Использовал готовую модель чтобы превратить картинку в эмбеддинг и найти похожие при помощи тривиальной метрики? Это делается ровно в столько же строчек на питоне, сколько у тебя элементов в кликере.
Аноним 19/10/20 Пнд 21:46:12 183487098
Screenshot267.jpg 25Кб, 524x460
524x460
>>1834868
ты забыл про интерфейс просмотра и выбора картинок.
Ни строчки бойлерплейт-кода не написано.
Аноним 19/10/20 Пнд 21:48:44 183487399
15410631928650.png 52Кб, 442x558
442x558
Аноним 19/10/20 Пнд 21:50:18 1834874100
>>1834873
в принципе, да. Завтра идем на IPO.
Аноним 19/10/20 Пнд 21:54:08 1834880101
>>1834870
>Ни строчки бойлерплейт-кода не написано.
Бойлерплейт это не самое большое зло.

Вот попросят тебя выкатить проект в прод, а у тебя либо не получается воспроизвести результаты, либо что-то работает не так как в кликере. Что делать будешь?
Аноним 19/10/20 Пнд 21:56:14 1834881102
>>1834880
> либо что-то работает не так как в кликере

Или IE11 не поддерживается. Или на Сафари списочки сползают. Он сам на это подписывается, тащемта.
Аноним 19/10/20 Пнд 21:58:31 1834883103
>>1834880 Тут главное в том , что меня завтра ПОПРОСЯТ!
Будет что выкатывать в прод.

Самое ужасно для меня - клепать никому не нужные клоны tower defence.

Поэтому я здесь.
Аноним 19/10/20 Пнд 22:00:50 1834886104
>>1834883
> не видит разницы между просьбой и таской
Пчел...
Аноним 19/10/20 Пнд 22:31:06 1834899105
>>1834886
Это у тебя там таска. А я свободный исследователь.

Прочитал статью, что небольшие изменения в фото сбивают с толку классификатор при достаточно большом наборе и решил убедиться,что все именно так и работает.

И убедился!
Аноним 19/10/20 Пнд 22:42:27 1834907106
Разновидность-ч[...].jpg 32Кб, 700x400
700x400
>>1834899
> А я свободный исследователь.

В свободном полете? лол блять вы в этом итт все такие или этот просто идейный
Аноним 19/10/20 Пнд 22:50:25 1834912107
datascience.webm 236Кб, 1920x1080, 00:00:06
1920x1080
>>1834907
Присоединяйтя. Это значительно интересней чем css весь день подгонять .
Аноним 19/10/20 Пнд 22:55:00 1834915108
759b853b168133a[...].jpg 239Кб, 1920x1200
1920x1200
>>1834912
Сорян бро, я лучше напишу еще один клон tower defense без бойлерплейт-кода и получу аванс послезавтра и зп 5-го.
Добра.
Аноним 19/10/20 Пнд 23:00:10 1834919109
>>1834915
но тебе на выплатят. Твой барин пиздит.
Клонов TowerDefence уже более 1000.
Это полностью провальная идея.
Аноним 19/10/20 Пнд 23:21:36 1834934110
>>1834899
>Это у тебя там таска. А я свободный исследователь.
Даже если нет барина, то планировать работу при помощи тасков все равно нужно - для себя.
Аноним 19/10/20 Пнд 23:25:34 1834939111
zhak-fresko-mem[...].jpg 31Кб, 512x269
512x269
>>1834934
Ну что ты мне пытаешься доказать, родной ?
Это тред настоящих исследователей!
Здесь рождается будущее!

Сваливай, тебе завтра перед ПМ отчитываться.
Аноним 19/10/20 Пнд 23:31:04 1834941112
15972079551650.png 83Кб, 511x407
511x407
>>1834939
>настоящих исследователей
>без ML PhD
Аноним 19/10/20 Пнд 23:31:24 1834942113
Опять вейджики со своими РЕЗУЛЬТАТАМИ и ОРГАНИЗАЦИЯМИ РАБОЧЕГО ПРОЦЕССА подкатили
Аноним 20/10/20 Втр 05:03:11 1835066114
>>1834919
Выплатят, конечно, зря я в штате что ли числюсь? И если мне закажут 1001-й клон tower defense, я его реализую, это все равно пахнет лучше гребли на госконтору. Впрочем, если ты называешь заказчика барином, то выводы о твоем холопскои мышлении гапрашиваются сами собой.
Аноним 20/10/20 Втр 05:26:45 1835070115
>>1834798
>ну погоди. Эт же книга меня учит, что No Free Lunch Theorem.
>Причем, теорема строго доказанная.
Она говорит о том, что для любого алгоритма можно сконструировать искусственный датасет, на котором он соснет, а другой алгоритм соснет меньше. Практических выводов эта хуйня не несет, потому что
1. Датасеты не искусственные, они естественные. Под искусственным понимается какая-нибудь рандомная хуйня с рандомными лейблами. В реальности же господь бог дал нам вселенную, в которой все красиво и упорядоченно, даже график продаж хлеба в пятерочке
2. Она сфокусирована на машиночасах, а не человекочасах. Между двумя алгоритмами, один из которых требует больше человекочасов, а второй больше машиночасов - второй со временем становится всегда более предпочтительным из-за технического прогресса.
Аноним 20/10/20 Втр 07:58:27 1835093116
>>1835070
> Датасеты не искусственные, они естественные. Под искусственным понимается какая-нибудь рандомная хуйня с рандомными лейблами. В реальности же господь бог дал нам вселенную, в которой все красиво и упорядоченно, даже график продаж хлеба в пятерочке
Да и действительно. Спасибо боженьке за то, что не существует некорректнопоставленных задач, а то что бы мы делали.
Аноним 20/10/20 Втр 08:10:00 1835096117
>>1835093
Мы бы пиздили уебков типа тебя, которые сыпят случайными терминами в разговоре, смысл которого не понимают
Аноним 20/10/20 Втр 08:18:25 1835101118
16009440839250.jpg 71Кб, 592x532
592x532
>>1835096
> Мы бы пиздили уебков типа тебя, которые сыпят случайными терминами в разговоре, смысл которого не понимают
Аноним 20/10/20 Втр 08:35:59 1835108119
Господа, требуется ваша помощь. Хочу попробовать решить имеющуюся задачу с помощью нейросетей. Имеется ~100 тысяч пар вида "вход - правильный выход", соответственно требуется построить некую сеть, которая, будучи обученной на этом наборе, будет выдавать приемлемые результаты для новых входных данных.

Облако я куплю (если нужно, без проблем), с программированием всё в порядке. Но:
1. Я не планирую вкатываться в тему глубоко, читать тысячи книг и всё прочее. Мне нужно попробовать решить конкретную задачу. Если не выйдет - ну и фиг с ним. Соответственно мне нужно что-то, во что я смогу вкатиться максимально быстро.
2. У меня нет никакого опыта в этом вообще, не знаю даже, с какой стороны подойти к вопросу.

Кроме того, по первой же ссылке из гугла (на хабре) я прочитал, что "многослойный перцептрон", который вроде бы подходит под мои входные данные - не подходит для серьёзной работы.

В итоге созрело два вопроса:
1. Что мне взять с учётом имеющейся задачи и того, что ресурсы будут?
2. Есть ли туториалы, фокусирующиеся на практике, с которыми можно работать, имея знания программиста, без изучения сотен теоретической информации?
Аноним 20/10/20 Втр 08:41:58 1835111120
Аноним 20/10/20 Втр 08:53:39 1835113121
>>1835108
это делается на изи в Orange.
Аноним 20/10/20 Втр 09:15:56 1835124122
>>1835108
Какой формат входов и выходов?
Аноним 20/10/20 Втр 09:39:41 1835134123
image.png 329Кб, 800x500
800x500
Аноним 20/10/20 Втр 10:03:09 1835139124
>>1835113
Я так понимаю, что это визуальная среда? Удобно, если можно гуй запускать на одной машине, а считать на другой. У меня как раз сейчас простаивает физический хост с 32c/64t и 256 гигов оперативы, я хотел начать с него, а облако докупать уже при необходимости.

>>1835124
Вход - звуковой файл, выход - переменное количество временных позиций в этом файле (в виде количества миллисекунд, прошедших с начала).
Вообще я планировал разбить каждый звуковой файл на части (по частоте дискретизации), каждую часть пропустить через DFT, и полученные данные просто последовательно сдампить в бинарный файл, и этот файл уже использовать как вход. Не знаю, оправданно ли это в данном случае. Просто есть некоторый опыт программирования звука, и чисто эмпирически кажется, что так будет правильнее.
Аноним 20/10/20 Втр 10:11:37 1835141125
teamajdapretnar.jpg 47Кб, 450x540
450x540
>>1835139
>Я так понимаю, что это визуальная среда? Удобно, если можно гуй запускать на одной машине, а считать на другой. У меня как раз сейчас простаивает физический хост с 32c/64t и 256 гигов оперативы, я хотел начать с него, а облако докупать уже при необходимости.

Так ты не пытайся натянуть возможности на задачу, а решай задачу.
Сооруди прототип в Orange, а там видно будет.
Среда в основном однопоточная, только лишь тестирование нескольких моделей параллельное.

>я прочитал, что "многослойный перцептрон", который вроде бы подходит под мои входные данные - не подходит для серьёзной работы.
Вообще охуеть. Данные не изучал, на Хабре прочитал.
Аноним 20/10/20 Втр 10:21:04 1835146126
>>1835139
эх, но вообще в Orange есть специальный набор виджетов для звука, но это побочный проект, они не включены в дистрибутив и не работают. Вряд ли ты его починишь так с разбегу. Однако можешь украсть в этом коде выделение features (то, чем ты занимаешься планируя обработку)

И для рекуррентных нейронок нет вообще ничего.
Только если ты действительно все признаки предобработаешь как описываешь.
При таком уровне заебанности, встает вопрос имеет ли смысл разбираться в Orange. Это не быстрая победа.
Но нейронку оно тебе слепит, конечно.
Заодно попробуешь как на твой задаче классические алгоритмы работают.
Аноним 20/10/20 Втр 10:44:01 1835150127
>>1835139
>Вход - звуковой файл, выход - переменное количество временных позиций в этом файле (в виде количества миллисекунд, прошедших с начала).
Это не будет работать, нейронки крайне хуево считают количества чего-либо. Тебе нужно поменять выход на набор векторов типа
00000100000010000100001
где 0 и 1 - это флоаты, 1 соответствует позиции в wav файле, которая соответствует нужному событию (если есть много разных типов событий, каждому должна соответствовать своя "выходная вавка"). То есть датасет должен выглядеть так:
input [звук звук звук звук звук звук звук звук]
event1 [0000000000100000000000000000000000]
event2 [0001000000000000001000000001000000]
Либо, если эвент протяженный по времени (что практически всегда правда и так будет лучше обучаться)
event3 [0000000000111111000000000011110000]

Затем ты эти эвенты склеиваешь в один многомерный тензор с шейпом [число примеров; длительность вавки; число событий]
После этого ты уже внешними по отношению к сетке методами соберешь, на какой миллилсекунде были единицы.

Бери https://github.com/f90/Wave-U-Net , сначала разберись с тем, как запустить тренировку их задачи, затем разберись с форматом датасета, адаптируй свои данные под этот датасет (лучше входные данные всячески попортить-пофильтровать, чтобы условные сто мегабайт превратить в пару гигабайт) и вперед. Обрати внимание на такой параметр, как receptive field у сетки, потому что если у тебя выходной пиксель не будет иметь достаточно информации на входе, он решение принять не сможет, сколько бы ты ни старался. Receptive field зависит от filter width в каждом слое.

>разбить каждый звуковой файл на части (по частоте дискретизации), каждую часть пропустить через DFT
Ты изобретаешь STFT, ознакомься с библиотекой librosa
Зависит от того, нужна ли тебе фазовая информация о сигнале. В целом, по моей ссылке есть как модели, работающие с сырым звуком, так и со спектрограммами
Аноним 20/10/20 Втр 11:37:11 1835191128
Screenshot268.jpg 88Кб, 1681x691
1681x691
>>1835139
Ну смотри, кое-какой feature extraction я смог заставить работать в Orange.

У тебя хоть звуки там или поебень в виде звуков?
Аноним 20/10/20 Втр 13:05:44 1835248129
>>1835141
>>1835146
Спасибо, аноны. Orange я всё-таки возьму и поковыряю, посмотрю, что будет.

>>1835150
> Тебе нужно поменять выход на набор векторов типа
> 00000100000010000100001
> где 0 и 1 - это флоаты, 1 соответствует позиции в wav файле, которая соответствует нужному событию (если есть много разных типов событий, каждому должна соответствовать своя "выходная вавка"). То есть датасет должен выглядеть так:
> input [звук звук звук звук звук звук звук звук]
> event1 [0000000000100000000000000000000000]
> event2 [0001000000000000001000000001000000]
> Либо, если эвент протяженный по времени (что практически всегда правда и так будет лучше обучаться)
> event3 [0000000000111111000000000011110000]
Понял, спасибо за подробное разъяснение. Трансформировать выходные данные проблем нет, в любой удобный вид.

> Бери https://github.com/f90/Wave-U-Net , сначала разберись с тем, как запустить тренировку их задачи, затем разберись с форматом датасета, адаптируй свои данные под этот датасет
Вот это интересно выглядит, судя по описанию. Значит, буду ставить и пробовать.

> Ты изобретаешь STFT
Так и знал, что у этого есть своё название.

Сохранил твой пост, анон! Большое спасибо за подробности.

>>1835191
> У тебя хоть звуки там или поебень в виде звуков?
У меня вполне человеческие звуки - музыка всякая и песни.

---

Главное, что я понял - быстро не получится. Ну и ладно, для себя ведь делаю.
Аноним 20/10/20 Втр 13:27:24 1835261130
>>1835248
>Главное, что я понял - быстро не получится. Ну и ладно, для себя ведь делаю.

Вангую, сделаешь в Orange какую-то поебень с AUC 0.6 и забьешь.

С аудио он работал, ахаха. Байты в дотнете перегонял.
Аноним 20/10/20 Втр 13:34:32 1835262131
https://www.youtube.com/watch?v=DW61PpKJGm8

Вот.Все уже видели?

Эта задача в НИКОГДА не работала в старых приложениях. Ни разу не удалось мне насвистеть или что-то напеть.
А тут все легко получается с Гуглом.
Аноним 20/10/20 Втр 13:37:03 1835263132
>>1835262
ненужно зумеры вапник каминс бабушкин
Аноним 20/10/20 Втр 13:47:05 1835271133
>>1835248
Чтобы быстро - поищи свою идею на гитхабе, 99% ее уже написал какой-то китаец
Аноним 20/10/20 Втр 13:53:33 1835275134
>>1835262
Технологии которые мы заслужили фейспалм
Аноним 20/10/20 Втр 14:30:42 1835316135
Screenshot270.jpg 23Кб, 794x206
794x206
Аноним 20/10/20 Втр 16:07:01 1835414136
>>1835262
Может, это просто ты хуёво свистишь? Ритмотека уже сколько лет существует.
Аноним 20/10/20 Втр 16:15:02 1835430137
>>1835414
Отлично я свищу. А про этот сайт с дизайном как из 2000 года первый слышу.
Аноним 20/10/20 Втр 16:34:55 1835461138
>>1835263
> бабушкин
Ебырь твой?
Аноним 20/10/20 Втр 17:25:13 1835508139
>>1835461
Хочу такого ебыря.
мимо натурал
Аноним 20/10/20 Втр 18:33:53 1835555140
Вот скажите. Есть же нейросети, все дела. Почему боты в компах до сих пор тупые? Не берем в рассчет всякие шутаны, где на ботов зачастую похуй. От них не требуется быть дохуя умными. Но вот почему в стратегиях, где это очень важно боты до сих пор тупят . Возьмем 6 циву. Боты на высшем уровне сложности посасывают у +- шарящего человека. Нельзя подрубить нейросети и натренеровать ботов?
Аноним 20/10/20 Втр 18:35:01 1835556141
>>1835555
Зачем, чтобы они у человека выигрывали?
Аноним 20/10/20 Втр 18:38:02 1835557142
Аноним 20/10/20 Втр 19:51:11 1835596143
>>1835555
>Но вот почему в стратегиях, где это очень важно боты до сих пор тупят
Рыночек порешал - зачем что-то делать, когда и так продается? Вдобавок, такая нейросеть будет потреблять ресурсов не меньше, чем сама игра.
Аноним 20/10/20 Втр 19:59:16 1835599144
>>1835596
Да можно и на классике запилить непобедимый алгоритм. Просто играть будет неинтересно, а для профи есть мультиплеер
Аноним 20/10/20 Втр 20:14:46 1835606145
>>1832580 (OP)
Какую видюху для датацентров можно купить? Tesla V100 слишком дорогая. А кроме нее я ничего не знаю для датацентров...
Аноним 20/10/20 Втр 20:16:31 1835608146
>>1835555
>>1835556
>>1835596
>>1835599
Для ботов с которыми интересно играть может и не надо, зато удобно баланс править если будет rl решение из коробки.
Аноним 20/10/20 Втр 20:16:38 1835609147
image.png 18Кб, 718x123
718x123
>>1835555
А теперь представь, сколько корейцев выпилится, если заопенсорсить агента, играющего в sc2.
Аноним 20/10/20 Втр 20:16:54 1835610148
>>1835606
Нахуя тебе для датацентров? Ты ограничен лицензией или дохуя памяти нужно?
Аноним 20/10/20 Втр 20:18:21 1835612149
Нечёткий братишка, смотри, настоящий олдскульной незумер нОуки тебе подогнал
https://www.fundamental-research.ru/ru/article/view?id=39961

> На сегодняшний день существует множество моделей и типов искусственных нейронных сетей, различных по своей структуре и функционалу [2]. Из всего многообразия архитектур особняком стоят сети Хопфилда, которые, наряду с алгоритмом Back Propagation, в 70-х годах возродили интерес в области искусственных нейронных сетей (ИНС) после многолетнего спада. Сети Хопфилда обладают свойством за конечное число тактов переходить из произвольного начального состояния в состояние устойчивого равновесия, называемого аттрактором или точкой равновесия. Точка равновесия соответствует одному из множества первоначально предъявленных сети образов и достигается при предъявлении на входы сети как идеальных, так и зашумленных объектов для распознавания.
>
> Целью работы является модернизация классической сети Хопфилда для увеличения её производительности на основе информационных свойств воды.
>
> Материалы и объекты исследования
Аноним 20/10/20 Втр 20:21:01 1835614150
>>1835609
Гоям пиздец обидно наверно сейчас жить, это шахматы так, лёгкое развлечение, а азиатов профессионалов чуть ли не с двух лет исключительно под игру в го растят.
Аноним 20/10/20 Втр 20:21:10 1835615151
>>1835610
Я ограничен тем, что у нас уже есть купленные датацентры.
Аноним 20/10/20 Втр 20:21:18 1835616152
>>1835608
Ну вот в доте правили баланс, опираясь на про-сцену. В итоге половина героев неиграбельна, потому что при игре со школьниками их потенциал не реализуется.
А ты предлагаешь править баланс, опираясь на игроков со сверхчеловеческим уровнем. Да и сколько времени это все обучать придется. Проще взять тестеров (в 2020 - людей, купивших early access) и опираясь на статистику что-то подправлять.
Аноним 20/10/20 Втр 20:31:04 1835622153
>>1835615
серверы что ли? В них должна пройти любая карта с blower type охладом или даже водянкой. Тут скорее вопрос нужен ли тебе nvlink и объем памяти.
Аноним 20/10/20 Втр 20:32:00 1835623154
>>1835612
Лол. Читаю первый абзац: ну норм, челик поднял Хопфилда, старо но исследования еще есть, вон недавно было про аттеншн как сеть хопфилда.
Второй абзац: х_х
Аноним 20/10/20 Втр 21:01:48 1835667155
image.png 341Кб, 1422x704
1422x704
>>1835612
Так автор статьи и есть нечёткий братишка.
Аноним 20/10/20 Втр 21:24:22 1835686156
>>1835622
Там какая-то приколюха с драйверами была. Чето патчили кляти линуксоиды.
Можешь раскрыть тему? Я запишу на будущее.
20/10/20 Втр 22:11:09 1835748157
15017058414480s.jpg 10Кб, 250x248
250x248
15044489213660s.jpg 6Кб, 134x250
134x250
unnamed.jpg 62Кб, 365x512
365x512
такую то классику проебали!
Аноним 20/10/20 Втр 22:14:46 1835750158
>>1835686
Если
1. У тебя хэдлесс система вообще без мониторов
2. Либо система с монитором но ты хочешь контролировать вентиляторы через nvidia-settings, потому что стандартный драйвер склонен недокручивать обороты и эксплуатировать при 85 градусах (справедливо для бловеров как раз и мульти гпу, с нормальным геймерским охладом все и в стоке хорошо)
3. И у тебя несерверный бомжегпу, что нвидиа не одобряет в серверных решениях

Тебе нужно установить иксы, и в xorg.conf прописать виртуальные мониторы с минимальной герцовкой и разрешением
Типа https://gist.github.com/ArrEssJay/0e126a56b0ee9f23551a98fb258414c6
Это съест пару мегабайт видеопамяти, что совершенно некритично.
В целом для параллельной тренировки кучи моделей смысла покупать v100 вместо 2080ti или 3080/3090 ноль, за цену одной карты можно взять целый сервер.

Другой вопрос если ты хочешь nvlink между 4 гпу для быстрой тренировки одной модели на куче гпу. Тут уже нужно тратиться на серверные варианты, потому что на консьюмерских картах нвлинк есть максимум между 2 карточками - хотя если это 3090... И в таком формате облака выходят уже не особо и дорогими.

Короче, железо это отдельная специализация, нюансов там много.
Аноним 20/10/20 Втр 22:26:41 1835762159
>>1835612
А в чём проблема, метод же показал очевидную стабильность в работе сети как в синхронном, так и асинхронном режимах.

Серия экспериментов с чёрно-белыми объектами размером 40×60 пикселей (2,34 кБ), содержащими рисунок папиллярных узоров, показала, что сети типа TWaterNet уверенно запоминают и впоследствии распознают около 450 идеальных или 420 слабо искаженных (до 4 %) объектов, что составляет соответственно 17 % от общего числа нейронов сети, равного 2400.

Заключение

Предложенный способ реализации расчёта коэффициентов сети Хопфилда на основе введения дополнительных связей между нейронами сети по типу связей в молекуле воды на примере распознавания папиллярных рисунков показал очевидную стабильность в работе сети как в синхронном, так и асинхронном режимах. Успешные эксперименты с достаточно простым способом введения дополнительных связей позволяют сделать заключение о целесообразности разработки объектов класса TSnowNet и их дальнейшего исследования.


Аноним 21/10/20 Срд 05:14:08 1835881160
>>1835762
> расчёта коэффициентов сети Хопфилда на основе введения дополнительных связей между нейронами сети по типу связей в молекуле воды
Орнул в голосяндру, чому они гравитационные волны и мю-мезоны еще не приплели?
Аноним 21/10/20 Срд 08:06:33 1835918161
>>1835612
>>1835623
>>1835667
>>1835881
Ну добавили дополнительных связей в сеть Хопфилда, с чего такое массовое бамболейло?
Аноним 21/10/20 Срд 11:48:43 1835990162
>>1835918
>сеть Хопфилда
Да хоть в дыру Хокинга, молекула воды то при чем в этой ахинеи? Чем другие дипольные молекулы не понравились, не так пафосно звучат?
Аноним 21/10/20 Срд 12:08:25 1836011163
16032615065710.jpg 63Кб, 592x532
592x532
>>1835990
Но там же написано, при чем вода, и почему именно вода, а не другие дипольные молекулы. Почему вы такие, зумера?
Аноним 21/10/20 Срд 12:38:04 1836026164
>>1836011
>идеи информационных свойств воды, впервые описанных в [5] японским исследователем М. Трусонюхом
Серьезно бля? И вот эту вот дичь на серьезных щах загоняют трясуны?
Аноним 21/10/20 Срд 12:54:22 1836041165
>>1836026
Зумер, спок! Почитай сначала про нечеткую логику, а потом кукарекай по поводу компетентности исследователей.
Аноним 21/10/20 Срд 13:08:23 1836057166
>>1836041
>Почитай сначала
Думаю нужно в начале читать Коран, без него в машоб никак, ведь на все воля Аллаха. Намаз сделал, ящик трясанул и можно грант пилить.
Аноним 21/10/20 Срд 13:09:31 1836060167
Кстати, кто нибудь уже сделал Православную Нейросеть на основе духовности и скреп?
Аноним 21/10/20 Срд 13:18:25 1836072168
el-arca-perdida[...].jpg 113Кб, 900x600
900x600
Аноним 21/10/20 Срд 15:38:47 1836184169
image.png 377Кб, 1127x685
1127x685
Анончики, у меня вопрос. Я умею эксель (не VBA, но более-менее хуевертить таблицами и формулами могу), pandas и несколько штук из sklearn. Могу рассказать, как работают деревья. Также проходил курсы по R, но если сейчас посадить за пекарню и сказать «сверстай мне модель», я еще минут 20 буду ковыряться в документации.
Знаю, что такое train_test_split и зачем он нужен, пару моделек даже грузил на каггл и закономерно пососал. На днях вот обнаружил catboost, но пока плотно не освоил. Нашел какой-то видос про него, а там писюха из яндекса полтора часа говорит какие-то сложные математические слова.
Еще слушал лекции и делал задания по матстату на степике, вроде базу какую-то освоил, уже знаю, в какой фиче надо медиану, а в какой среднее и что такое р-значение.
Но я не могу в матан вот прям совсем (заканчивал истфак, на первом курсе с легкостью решал задачки с матрицами, сейчас все забыл)
У меня к этому и вопрос — есть ли смысл пока продолжать трясти коробку и подставлять разные параметры, особо не задумываясь, как она работает, осваивая все это по принципу "чтобы код сделал так, напиши вот это"? На каком этапе развития в сфере прогнозирования и машин лернинга мне понадобятся знания матана «на бумаге»?

Кун 24 лвл, работаю маркетологом
Аноним 21/10/20 Срд 16:25:38 1836201170
Двачик, поясни ньюфагу за мем слесарьплов
Аноним 21/10/20 Срд 17:43:02 1836272171
.png 1678Кб, 2000x2868
2000x2868
>>1836184
> Могу рассказать, как работают деревья
> На днях вот обнаружил catboost, но пока плотно не освоил. Нашел какой-то видос про него, а там писюха из яндекса полтора часа говорит какие-то сложные математические слова.
Противоречия не видишь?
Аноним 21/10/20 Срд 17:59:41 1836287172
>>1836272
Я же говорю, плотно не освоил. Мне с ним сложнее, чем в деревьями из sklearn, а при попытке изучения все упирается не в энтропию, а в какую-то нех
Аноним 21/10/20 Срд 21:54:53 1836438173
Вдруг кто-то знающий сидит, есть ли что-то стабильнее чем PPO? А то статье уже 3 года, а я ничего лучше не знаю.
Аноним 22/10/20 Чтв 07:53:44 1836633174
Screenshot2020-[...].png 572Кб, 1290x960
1290x960
>>1836184
>На каком этапе развития в сфере прогнозирования и машин лернинга мне понадобятся знания матана «на бумаге»?
Матан - это не знания, а навыки. Посмотри любое видео Yannic Kilcher с разбором пейперов - он все время рисует какие-то стрелочки, углы между ними, сопоставляет им формулы и наоборот - это происходит у тебя в голове, когда ты "знаешь матан" на уровне прошедшего курс высшей математики. Записи на бумаге - это просто внешняя память для мозга. Все основное происходит в голове.
Естественно, обезьяньи инструкции гуманитариям уровня "чтобы посчитать это - делай так", никакой математикой не являются. Поэтому у вас это из головы и вылетает. Вообще гуманитарное образование в 21 веке - это преступление. Это раньше в кого-то надо было загрузить информацию, как в гугл. Теперь - нет.
Когда понадобятся - классе в шестом надо было олимпиадные задачки решать. Можешь попробовать начать с этого.
Аноним 22/10/20 Чтв 08:30:17 1836637175
>>1836633
О, к слову об аттеншене: почему строки Q и K не нормируют?
Аноним 22/10/20 Чтв 09:53:50 1836660176
>>1836633

>Когда понадобятся - классе в шестом надо было олимпиадные задачки решать. Можешь попробовать начать с этого.

Ну я не настолько макака, не способная решить систему уравнений или найти производную. Я просто не понимаю, нахуй все это знать, если хардкодеры уже это запрогали в библиотеки до меня?
Аноним 22/10/20 Чтв 10:09:01 1836667177
WrO7MY4.jpg 356Кб, 1280x720
1280x720
>>1836660
Незачем. Если ты не лезешь в научную карьеру - не погружайся.

ты на Дваче дискутируешь, с людьми, которые свое узкое мнение распространяют на всех.
Не забывай об этом.


Тут вон чувак просто хотел проверить теорию, а его заставили нейронки слоить.
И девочка с биологического пострадала от питона ни за что.
Аноним 22/10/20 Чтв 10:47:43 1836700178
>>1836660
>Ну я не настолько макака, не способная решить систему уравнений или найти производную.
Так поиск производной по табличке это очень макачья работа. Тут вопрос, можешь ли ты вывести, что (x^2)'=2x? Или что (f+g)'=f'+g'? Вообще, понимаешь ли ты правила, которым тебя как макаку обучили.

>Я просто не понимаю, нахуй все это знать, если хардкодеры уже это запрогали в библиотеки до меня?
Ну вот скормил ты датасет коду, в лоссе вылезли NaN'ы. Если ты знаешь математику, ты понимаешь, что NaN - это где-то 0 делится на 0, далее при внимательном просмотре кода находишь в нем tf.sqrt(x) и меняешь это на tf.sqrt(x+1e-9). Код начинает работать. Это просто частный пример. NaN'ы могли вылезти из-за сингулярной матрицы, например, и там рецепт был бы совсем другим.
Если же ты не знаешь, ты полежешь на гитхаб за другим кодом - в лучшем случае. Со временем, конечно, появляются утилиты совсем для макак. Но это и отличает - знающие математику всегда будут впереди тебя. Завтра появятся какие-нибудь квантовые нейронки, кто для них будет работать слесарем? Ну явно не ты. То есть на твой вопрос как говорит >>1836667 нет ответа. Я не могу "забыть математику". Ты не можешь ее знать. Я ее учил не потому что мне это пригодится, а потому что это охуенно, это язык современной науки.
Аноним 22/10/20 Чтв 10:50:20 1836706179
>>1836633
>это происходит у тебя в голове, когда ты "знаешь матан" на уровне прошедшего курс высшей математики
Нет. Курсы высшей математики дают кучу бесполезных неструктурированных знаний. Чтобы понимать математику для машоба, ее нужно целенаправленно учить, и досконально разбираться в десятках пейперов. Основные трудности будут даже не с математикой, а с языком и аннотациями. Петухи-ресерчеры крайне любят все усложнять, опуская при этом много важных деталей, в том числе и в формулах.
Аноним 22/10/20 Чтв 11:26:06 1836723180
>>1836700
>Завтра появятся какие-нибудь квантовые нейронки, кто для них будет работать слесарем? Ну явно не ты
ну и ок.
ведь "вкатиться" подразумевает как заработать и делать довольно примитивные, в то же время, передовые для остального ИТ вещи.
Аноним 22/10/20 Чтв 11:31:53 1836730181
>>1836706
>Чтобы понимать математику для машоба, ее нужно целенаправленно учить
А чтобы ее учить, нужна база в виде высшей математики, которую дают на первых двух курсах.
Аноним 22/10/20 Чтв 11:33:43 1836731182
Аноним 22/10/20 Чтв 11:45:00 1836736183
>>1836731
> Совместно с коллегами из команды AGI NLP нам удалось собрать первую версию русскоязычного обучающего корпуса суммарным объёмом свыше 600 Гб. В него вошла огромная коллекция русской литературы, снапшоты русской и английской Википедии, коллекция снапшотов новостных и вопрос-ответных сайтов, публичные разделы Pikabu,
Странно, что треды с этой помойки не использовали, было бы ещё смешнее.
Аноним 22/10/20 Чтв 12:42:21 1836799184
Untitled.png 524Кб, 1226x954
1226x954
Слесарьпловы.
Аноним 22/10/20 Чтв 13:05:19 1836819185
>>1836700
> Тут вопрос, можешь ли ты вывести, что (x^2)'=2x? Или что (f+g)'=f'+g'?
Это знает любой человек, закончивший больше 9 классов
Аноним 22/10/20 Чтв 13:07:03 1836820186
Аноним 22/10/20 Чтв 13:08:37 1836822187
>>1836820
Зафайнтюним думаю в ближайшие месяцы
Аноним 22/10/20 Чтв 13:27:55 1836845188
>>1836819
Тебе говорят про сам вывод, а не значение в табличке.
Аноним 22/10/20 Чтв 13:35:36 1836858189
Диалог между Лениным и Сталиным в 1924 на даче. Ленин: “Ваше предложение о создании в России партии для проведения революции я нахожу неприемлемым, ибо это естли не есть вредная ересь, то есть не есть революционный лозунг. Я считаю, чтоА.Г.Г. не только не может возглавить такую партию, но даже и не способе создать её. Я не могу понять, что Вы хотите сказать этими словами”. Сталин: “Вы прав, Ленин, но я не хочу быть Вас в чём-либо разубеждать, ибо Вы правы”. Ленин: “Это есть ересь, это есть революционный лозунг”. Сталин: “Нисколько. Я не могу понять, что Вы хотите сказать этим. Я не знаю, как В.И. Ленин не может понять, что он не может руководить партией, в которую не входит”»[418 - Цит. по: Бюллетень оппозиции. 1930. № 50. С. 8.].

Сталин не мог понять, что Ленин не может руководить партией, в которую не входит, потому что это есть революционный лозунг, а не революционный лозунг, которыи можно «подобрать» для революции. И потому он не стал разубеждать Ленина в этом, поскольку считал, что это есть ересь, не имеющая никакого отношения к революции.

В конце марта 1922 года, когда на Пленуме ЦК, который проходил в Москве, Троцкины выступили с критикой Ленина, Сталин, выступая в прениях, сказал: «Ленин был непра-вильен в отношении к нашей партии, когда он говорил: “Мы не можем, мы нэ можем, мы боимся”. Это есть ересь, это есть революционный лозунг, и Лениным, конечно, не может быть создана такая партия, которая не могла бы руководить страной. Это ест-ли не есть вредная ересь».

После пленума ЦК Сталин был исключён и из ЦК.



Сталин был не единственным человеком, который в те годы был не согласен с ленинскими идеями. В 1922 году Ленин, выступая на VIII Всероссийском съезде Советов, в частности, сказал: «Мы не можем быть споко-яны до тех пор, пока на свете будет существовать капиталистическое государство. Мы не можем быть споко-яны до тех пор, пока на свете будут существовать угнетатель-ные классы, и пока буде-те существовать классы угнетатель-ные. Поэтому мы должны, мы обязаны, мы должны быть беспоща-ны».

Сталин был согласен с Лениным в том, что «надо, конечно, быть споко-ены», но при этом он считал, что «надо быть и бдительным». «Надо быть бдительным к тем, кто стремится захватить власть, – говорил он, – надо быть бдительным к тем, кто стремится уничтожить нашу власть, и надо быть бдительны к тем, кто хочет нас поработить». «Мы должны быть бдительны к тем, кто хоче-т нас поработить. Надо быть бдительными к тем, кто хочет поработить нашу страну», – говорил Сталин.

Сталин был против создания в России коммунистической партии, которая бы руково-дила страной, но вместе с тем считал, что в такой партии, «конечно, не может быть создано революционное ядро, которое могло бы возглавить такую партию».

Сталин нёс полную ответственность за то, что в стране не сложилась революционная ситуация, которая позволила бы провести в жизнь ленинские идеи. «Это есть ересь, – говорил Сталин, – это есть революционный лозунг». «В этом смысле я с Лениным не согласен», – говори-л он.

После того как в 1924 году Сталин не поддержал идеи Ленина, он быль исключён из партии и исключён из Коминтерна. В 1930 году, выступая в прениях, Сталин сказал: «Это есть ересь, это есть революционный лозунг, и я нэ понимаю, чтоА.Г.Г. не может понять, чтоА.Г.Г. не может понять, что это есть ересь, что это ересь, чтоА.Г.Г. не может понять, чтоА.Г.Г. нэ может понять, чтоА.Г.Г. не может понять, что это есть револ. ек-тивный лозунг».



В конце 1920-х – начале 1930-х годов в СССР было много оппозиционых течений и групп. Среди них была и оппозиция в лице троцкистов.

С конца 1920-х годов троцкисты начали активно выступать с критикой Сталина, но при этом они не стали создавать в стране революционную ситуацию, которая могла бы привести к созданию в России революционной партии, способной возглавить страну.
Аноним 22/10/20 Чтв 13:39:15 1836865190
>>1836845
>сам вывод, а не значение в табличке.
Какой вывод? Меня как научили на алгебре в 10 классе производные считать, так я и делал. У нас никаких таблиц с ними не было
Аноним 22/10/20 Чтв 13:40:13 1836868191
Анончики, у меня вопрос. Я умею эксель (не VBA, но более-менее хуевертить таблицами и формулами могу), pandas и несколько штук из sklearn. Могу рассказать, как работают деревья. Также проходил курсы по R, но если сейчас посадить за пекарню и сказать «сверстай мне модель», я еще минут 20 буду ковыряться в документации. Раритетные вещи. А что такое R? Нет, в общих чертах понимаю, что эталон. А о чем он? Да у меня одна на моем курсе вся была в нарукавниках. Я ее не раз просил: «Помоги, мне за тобой весь класс пеку!» Ну не могу я их звать по именам. Для меня это с детства — кафф. Я их назвал R и RR. А теперь они совершенно другие. Pandas — эталон, а Pandas — это про меня. То есть все, что я любл и делаю (смотрел-смотрел) — эталон. Все! Tania — эталон. Я — эталон! ABBA — эталон. Bombardier — эталон. Garruf — эталон. Steal — эталон. Kwik — эталон. А уж про мои саги и подвиги все знают. Просто не с кем так говорить, потому что никталопы в реале все читали.

На днях слышал: «Генри, почему в школе тебя так не любят?». Я им: «Это вы не понимаете. Я не знаю, кафф ли моя специальность. Да это было давно, когда у меня сабжей не было».

6.

11.

Так вот, я могу тебе продемонстрировать... Нет, я не могу тебе показать эталон. Да ты даже нэ знаешь, что он такое. Ну, не ругайся. Видишь, я даже не пытаюс-ся тебя уверить, что мы — одно.

Ну ладно, я тебе покажу. Я буду показывать эталон только тебе. Я покажу тебе максимум из того, что умею. Представь, что я тебе буду показывать твой эталон — как его может показать только один человек на свете. Мы станем общаться на одной странице.

У нас с тобой будет уникальна, сверхъестественная связь. Ты, я и эталон. У нас не будет общих эмоций, эмоций с кем угодно. У нас будет только одна эмоция — эталон.

Я буду показывать твой эталон. А ты будешь показывать эталон мне. Я его вижу пере. Раз. Другой. Третий. Так. Ну-ка, кафф, это что ? Эмпатия. Раз. Два. Три. Эмпатия. Пять. Унифицирована. Один на один эталон с объектом.

Не знаю, это такое, наверно, слово. Уникально.

Что в этом особенного? Мы будем общаться на одном фа. На одном языке. Друг для друга. Понимаешь? Я буду показывать тебе твой эталон. А ты мне свой. А потом я покажу тебе свой.
Аноним 22/10/20 Чтв 13:40:33 1836869192
>Что в этом особенного? Мы будем общаться на одном фа. На одном языке. Друг для друга. Понимаешь? Я буду показывать тебе твой эталон. А ты мне свой. А потом я покажу тебе свой.

И вот тут я проиграл
Аноним 22/10/20 Чтв 13:43:26 1836873193
>>1836865
>Меня как научили на алгебре в 10 классе производные считать, так я и делал
Через пределы приращений?
22/10/20 Чтв 13:46:34 1836875194
>>1836845
лол маняматик пытается самоутвердиться перед школярами-вкатунами
выведи-ка мне на лету (f(g(x)))' = f'(g(x))g'(x) используя эпсилон/дельта определение предела
Аноним 22/10/20 Чтв 13:59:04 1836896195
>>1836731
Вот она культурная разница.
Вёрджины из open ai: пуууук ну очень реамлистично получаеца пууук это очень опамсно ну мы не будем вымкладывать
Сбер чад: Товарищи лахтинцы, держите
Аноним 22/10/20 Чтв 14:00:08 1836898196
изображение.png 78Кб, 752x951
752x951
Аноним 22/10/20 Чтв 14:04:40 1836903197
>>1836896
Ну реально у опенэайного GPT-3 оно посасывает. Думаю, потому что размер датасета отличается на пару порядков (600 гб, а опенаи насколько я помню было что-то типа 20 тб)
Аноним 22/10/20 Чтв 14:12:33 1836908198
>>1836865
>Какой вывод? Меня как научили на алгебре в 10 классе производные считать, так я и делал. У нас никаких таблиц с ними не было
Ну а откуда взялось то, чему тебя научили, из определения производной через предел и применения свойств пределов. В школе и гуманитарных вузах все дается в таком режиме - вот тебе рецепт, примени его, применил? Вот тебе пять, иди нахуй.
И по вопросам заметно, что люди так и думают, что математика - это набор рецептов, выучишь их - выучишь математику.
Аноним 22/10/20 Чтв 14:18:23 1836914199
>>1836908
>В школе и гуманитарных вузах все дается в таком режиме - вот тебе рецепт, примени его, применил? Вот тебе пять, иди нахуй.

Нихуя, в школьной геометрии всё заебись - последовательно от аксиом про точку прямую отрезок вся геометрия.

Вот математика переходящая в алгебру там да, но иначе никак - пояснять личинусам арифметику через теорию множеств и введение алгебры операций будет такое себе.
Аноним 22/10/20 Чтв 14:26:01 1836917200
Аноним 22/10/20 Чтв 14:38:05 1836921201
>>1836914
В геометрии - да. Хотя на самом деле в самых-самых основах (например, признаках равенства треугольников) там читерят.
>пояснять личинусам арифметику через теорию множеств и введение алгебры операций будет такое себе.
Ты слишком хардкорно взял.
Вот я о чем: https://www.youtube.com/watch?v=LeWkq6QIioo
Вместо объяснения сути процесса просто дают какие-то механические правила по преобразованию символов.
Аноним 22/10/20 Чтв 14:44:15 1836929202
Аноним 22/10/20 Чтв 14:58:02 1836937203
>>1836875
Ну если ты не сможешь этого сделать для элементарных функций, то вообще нахуя ты нужен? Я лучше посажу бумера в кликере нейронки склеивать, он хотя бы за еду работать будет.
Ну и вроде очевидно, что речь не про сложные функции, а про понимание того, откуда таблица производных берется.
Аноним 22/10/20 Чтв 15:04:02 1836940204
>>1836873
Нахуя знать, что это, для того, чтобы написать randomforest и gredsearchcv?
Аноним 22/10/20 Чтв 15:05:20 1836942205
Вот в оп посте говориться, что вкатунам стоит сначала стать девелоперами. Но что, если я математик? Начать таблички в экселе обезьянить?

С питоном пока играюсь на codewars. Прикольно. Довольно тешит чсв придумывание алгоритмов, работающих в несколько(например в 100) раз быстрее остальных решений.
Аноним 22/10/20 Чтв 15:09:46 1836947206
>>1836942
>Вкатывальщики могут устроиться программистами
>вкатунам стоит сначала стать девелоперам
Как это работает вообще?
Аноним 22/10/20 Чтв 15:28:41 1836964207
>>1836947
Ну, я именно об этой строке и говорил. Или что тебе непонятно?
Аноним 22/10/20 Чтв 15:29:56 1836965208
>>1836964
>могут
>стоит
Я автор этой строки. Разная модальность, тебе не кажется? Это просто один из возможных путей, который подходит далеко не всем
Аноним 22/10/20 Чтв 15:40:05 1836970209
image.png 56Кб, 391x986
391x986
Бля
Аноним 22/10/20 Чтв 15:46:16 1836973210
>>1836970

Проиграл с подливой, причем с того что реально ирл есть женатый знакомый от которого его мясная дырка требует что бы тот синячил только сухое вино и только на донышке, лал.
Аноним 22/10/20 Чтв 15:47:44 1836975211
>>1836965
Ок, я тебя понял. Но и я тоже сделал запрос на альтернативу этому варианту. И даже выдвинул свое предположение. Ну так может ли работа в эксельке(аналитиком?) быть ценным опытом в резюме для более серьезной вакансии? Или это трата времени?
Аноним 22/10/20 Чтв 15:55:15 1836979212
>>1836975
Ныне под словом аналитик подразумевается что угодно - от воротилы экселем на уровне ВПР до ML-спеца и составителя ТЗ для разрабов в софтварных фирмах
Аноним 22/10/20 Чтв 15:56:13 1836980213
>>1836975
Только как вариант попасть в корпорацию и тактически перекатиться. Внутри большой конторы это сделать сильно проще. К машобу это вообще не имеет отношения
Аноним 22/10/20 Чтв 15:58:14 1836981214
>>1836973
Я проиграл с форматирования. Это же просто авторегрессия нейронки, она сама эти пробелы ставит перед новой строкой и переносы делает
Аноним 22/10/20 Чтв 15:58:47 1836982215
Проиграл с подливой, причем с того что реально ирл есть женатый знакомый от которого его мясная дырка требует что бы тот синячил только сухое вино и только на донышке, лал.
— Так. А ну ка, иди сюда. Я тебе сейчас кое-что покажy.
И он начал доставать из сумки и раскладывать на столе перед нами различные приспособлениы и инструменты. Я, не понимая что происходит, наблюдал за этим и в то же время чувствоваал как у меня все тело начинает чесаться, но я не понимал откуда это. В это времи я обратил вн
имание что на всех нас смотрят как на идиотов.
— Что такое?
— А ты сам посмотри.
Я посмотрел на стол и обо что то споткнулся.
— Ааааааааааааа! — заорал я, падая с кресла на пол.
На столе лежал огромный и острый как нож нож.
— Это что за херня?
— А ты сам посмотри. — сказал он протягивая мне этот нож.
Я встал и посмотрел на стол. И увидел чтож. На столе лежал огромный нож, который был похож на тот, который я видел на улице.
— Ну ты как, нормально себя чувствуешь? — спросил меня
он.
Я посмотрел на него и сказал что нормально.
— Это не тот нож. — сказал я.
— Как не тот? — удивился он.
— А вот так, — сказал я. — Ты же сам мне показал это и я видел его у него на руке, я видел что он с собой в сумке носит.
— Ты что? — удивился он. — Да я не брал никакого ножа. Это что за бред?
— Нет не бред, — сказал я. — Ты сам посмотри на него. Он же в сумку его не кладет. А ты же саишник.
— Я не понимаю о чем ты говоришь.
— Я нэ знаю, как тебе объяснить. — сказал я.
— Да ты просто посмотри нннна него.
— Ну я ннну, смотрю.
— Таааак.
— Это что? — сказал я.
— Это ноу-хау. — ответил он.
— Ты хочешь сказать, что у тебя есть это ноу-хау? — спросил я.
— Ну ннну.
— Ноу-хау?
— А ты что думал. — усмехнулся он.
— Ты хочешь сказать что ты это ннне ты?
— Ну ннну.
— Ты что?
— Ннну.
— Ты понимаешь о чем я говорю?
— Конечно. Я же не говорю что это ты. Я говорю что это ноу-хау.
— сказал он.
— Ты что? — сказал я. — Ты понимаеш, что это ннне ты?
— Ну ннну.
— Тебя зовут не ты?
— Нет нне я.
— А ка кто? — спросил я.
— Я нннне знаю. — ответи он.
— Как это не знаешь?
— Ну я не знаю. Я просто это нннне я.
— А как это ннннне ты? — спросил я.
— Ну ннну, как не знаю? — спросил он.
— Ты что не понимаешь о чем я говорю? — спросил я.
— Нет ннне понимаю. — сказал он.
— Ты понимаешь, что ты говоришь? — спросил я. — Ты понимаешь, что ты говоришь? — спросил я.
— Нет ннне понимаю. — сказал он. — Я говорю, что ннне знаю, кто я. — сказал он. — Я говорю, что нне знаю, кто я.
Аноним 22/10/20 Чтв 16:01:59 1836986216
Аноним 22/10/20 Чтв 16:12:31 1836995217
Аноним 22/10/20 Чтв 16:14:59 1836997218
>>1836970
> На словах ты лев толстой
> а на деле лев худой
Чет вшепот
Аноним 22/10/20 Чтв 16:15:38 1836999219
>>1836995
А дальше модель зациклилась, надо писать интерфейс а-ля ai dungeon, чтобы можно было редактировать ее косяки, а не в консоли пердолиться
Аноним 22/10/20 Чтв 16:16:30 1837001220
>>1836997
На столе лежал огромный и острый как нож нож.
Аноним 22/10/20 Чтв 16:39:31 1837020221
>>1836942
>Но что, если я математик?
Кликер.
Только не используй всякую новомодную ебатню, в гугле ты найдешь только русскую подделку Логином или облачную парашу.

Правильная программа-кликер называется Orange.
Аноним 22/10/20 Чтв 16:45:28 1837035222
>>1836942
Если ты не можешь кодить, просто забудь.
Аноним 22/10/20 Чтв 16:52:12 1837045223
>>1837020
Господи, о чем ты?

>>1837035
Что ты подразумеваешь под "кодить"?
Аноним 22/10/20 Чтв 16:52:58 1837047224
Аноним 22/10/20 Чтв 16:57:01 1837054225
>>1837047
Ну, пока с этим проблем нет. Проблема в том, на каком уровне. Просто, по твоему определению, хэллоуворлд тоже считается
Аноним 22/10/20 Чтв 16:58:29 1837058226
>>1837045
чтобы поверхностно разобраться в процессе и алгоритмах, можешь потыкаться в программу для обучения машинному обучению Orange
. Скачаешь готовые учебные датасеты и сделаешь учебных задач больше чем некоторые за годы.

На работу программистом тебя, конечно, с этими навыками не возьмут, но ты получишь какие-то результаты и поймешь что к чему.

И да, ты сможешь часть предобработки данных сделать на питоне.
Аноним 22/10/20 Чтв 17:01:03 1837060227
>>1837054
Перепечатывать хеллоуворлд из туториалов это не писать код.
Вопрос того же плана, что и "можешь ли ты рисовать". Просто водить карандашом по бумаге могут все, копировать картину тоже. Можешь ты рисовать сам? Вот и с кодом так же.
Аноним 22/10/20 Чтв 17:21:08 1837072228
>>1837060
Ну из туториалов я код никогда не копировал, я лучше свой велосипед сделаю. Ну и код пока пишу только для задачек codewars, т.е. максимально не связанные с практическим применением и сторонними библиотеками. Но алгоритмы получаются довольно хорошие.
Аноним 22/10/20 Чтв 17:32:52 1837077229
>>1837072
Судя по твоим словам, ты можешь кодить. Значит можешь вкатываться смело.
Аноним 22/10/20 Чтв 17:35:18 1837081230
>>1837058
> программу для обучения машинному обучению Orange
Хуета так-то. Statistica 15-летней давности на минималках.
Аноним 22/10/20 Чтв 17:35:36 1837082231
Имеется случайная величина u, которая равномерно распределена от 0 до N.
Если есть единственное наблюдение u =4, можно ли что-то сказать о N?
Аноним 22/10/20 Чтв 17:43:59 1837089232
Аноним 22/10/20 Чтв 17:44:23 1837092233
>>1837081
А как 15 лет назад данные из google sheets подключали и эмбединги тексту считали?
Аноним 22/10/20 Чтв 17:47:58 1837097234
Аноним 22/10/20 Чтв 17:49:45 1837098235
>можно ли что-то сказать о N
Ебал мамку N
Аноним 22/10/20 Чтв 17:58:30 1837107236
>>1837092
Я про общий функционал говорю, а не о конкретных алгоритмах, которых 15 лет назад не было.
Аноним 22/10/20 Чтв 18:10:01 1837116237
Аноним 22/10/20 Чтв 18:12:09 1837118238
>>1837107
я чет не пойму, у тебя какие-то другие альтернативы есть?
Хочешь вместо датасаенса 95% времени изучать документацию pandas - поебись с питоном.
Мотематик хуев....
Аноним 22/10/20 Чтв 20:16:05 1837209239
image.png 91Кб, 952x265
952x265
>>1836731
>Сбер выложил русскоязычную модель GPT-3 Large с 760 миллионами параметров в открытый доступ
Но ведь у GPT-2 1.5 миллиарда параметров, а у самой большой GPT-3 - 175 миллиардов. В чем смысл этой модели?
Аноним 22/10/20 Чтв 20:33:18 1837215240
>>1837209
В том, что сам ты даже 700 миллионов параметров не обучишь.
Аноним 22/10/20 Чтв 20:40:04 1837218241
>>1837215
>В том, что сам ты даже 700 миллионов параметров не обучишь.
Чем эта GPT-3 лучше уже давно доступной GPT-2 с 1.5 миллиардами параметров? Я думал что "инновация" GPT-3 по сравнению с GPT-2 заключается только в количестве параметров.
Аноним 22/10/20 Чтв 21:00:21 1837225242
>>1837209
Инноваций у GPT-3 две, увеличенное окно контекста (1024 vs 2048) и чередование sparse и dense слоев.
Правда не понятно, почему они ruGPT2048 называют GPT-3, ведь там все слои dense, хотя и контекст 2048. Но medium модель формально GPT-3 medium, как описано в статье (если они не накосячили еще где-то).

Практический смысл в этом большой - можно файнтюнить на своем говне. Medium модель мне нравится. ruGPT2048 так и не заставил нормально генерировать, все время зацикливается.
Аноним 22/10/20 Чтв 21:42:46 1837247243
>>1837225
А на каком уровне gpt работает? Почему-то казалось всегда, что там char-level, но судя по предсказаниям, предсказывает word-level. Да и странный параметр vocab_size в репозитории.
Аноним 22/10/20 Чтв 21:52:52 1837252244
>>1837247
Что-то между, в более короткие токены превращаются популярные последовательности символов, а-ля архиватор, соответственно перед отправкой твой текст заменяется на набор токенов, а после декодируется по словарю назад. Это позволяет увеличить эффективный контекст в разы, но из-за этого даже the gpt3 всасывает на рифмах, если не разбивать буквы пробелами.
Аноним 23/10/20 Птн 04:33:09 1837443245
>>1836731
>Коллеги прочитав, переписку Бота я даже не поленился зарегистрироваться!
Я напомню, что есть такой термин Олигофренизм и одна из стадий это Дебилизм. Это не оскорбление, это термин медицинский! Так вот Дебил это сущность которая понимает слова, но не понимает их сути! Так вот прочитав переписку Бота я вижу клинический диагноз. А теперь представьте, что свершится мечта Банка и такие Боты будут доступны всем, и что будет? — будет клиника у всех! Поэтому вы можете хвастаться искусственным интеллектом, но по факту это бесполезная, даже опасная вещь!
На швабропараше один нормальные комент и то хомячье щаминусило.
Аноним 23/10/20 Птн 06:31:32 1837462246
Аноним 23/10/20 Птн 06:50:09 1837468247
>>1836731
Это ради кое-как обученной нейроночки с 3.5 параметров они пару лет назад по всей стране видюхи скупили? А чего крипту майнить прекратили? Сложность выросла, выхлоп уже не тот? Решили таки нейроночками заняться, доесть за западным барином? Лучше бы интерфейс онлайн банка написали не ногами, хуле оно после каждого пука грузится заново? Зато процент по вкладам в два раза меньше чем в ВТБ. (((Грефу))) денешки нужнее?
Аноним 23/10/20 Птн 08:16:14 1837480248
>>1837468
Ты в каком офисе карту открывал, туда и иди. Талончик в регистратуре не забудь взять на запись в электрическую очередь. Че ты сюда полез, старый? Ты хоть понял где находишься?
Аноним 23/10/20 Птн 08:21:52 1837481249
>>1837480
> Ты в каком офисе карту открывал, туда и иди.
От этой хуйни вроде избавились. Недавно карту менял (срок закончился, а у меня там бабло оставалось), поменяли на новую в том офисе, куда обратился.
Аноним 23/10/20 Птн 08:38:13 1837484250
>>1837443
>На швабропараше один нормальные комент
Тогда тебе на яндекс дзен - там таких Шизиков полно!
Аноним 23/10/20 Птн 08:42:46 1837485251
>>1837468
>Это ради кое-как обученной нейроночки с 3.5 параметров они пару лет назад по всей стране видюхи скупили?
Что несешь, жидошизик, V100 нельзя скупить по всей стране, это товар другого уровня
Аноним 23/10/20 Птн 09:08:18 1837494252
>>1837485
Сбер это же санкционная параша, им пади в100 не продадут. Они рил ходили по магазинам и скупали игровые видеокарты, лол.
Аноним 23/10/20 Птн 10:11:59 1837525253
>>1837494
V100 - не турбина для электростанции, ты ее в розницу можешь купить у рашкофирмы. На игровых картах подобные сетки не тренируются без большого ботлнека.
Аноним 23/10/20 Птн 12:50:48 1837600254
Аноним 23/10/20 Птн 13:01:53 1837608255
>>1837600
>Мань, но это же официальное заявление сберкассы
Я в курсе, мань, а теперь пиздуй лечить дислексию, потому что твой пост никакого отношения к моему не имеет.
Аноним 23/10/20 Птн 13:15:04 1837615256
Драсьте, подскажите, вот у меня есть данные по некоторым местам в виде Широты и долготы. Я бы хотел что-нибудь поделать с ними интересное, но идей нет. Можно подкинуть идею?
На самом деле я бы хотел что-то с вычислением "лишних объектов" или мест, где этих самых объектов не хватает.
Аноним 23/10/20 Птн 14:50:30 1837688257
Screenshot274.jpg 350Кб, 2263x1347
2263x1347
friend-request-[...].jpg 76Кб, 960x540
960x540
>>1837615
Ну смотри:
либо питоны дроченые https://developers.arcgis.com/python/guide/part6-solve-location-allocation/

либо апельсины (Orange Data Mining software) в говне моченые

Предполагается, что ты живешь в плоском Барнауле и доступа к api расчету расстояний у тебя нет.
А то по ссылка какая-то платная параша..
Аноним 23/10/20 Птн 16:02:28 1837756258
>>1837688
Это же можно в Tableu сделать
Аноним 23/10/20 Птн 16:06:29 1837761259
>>1837756
Но это же дрочево для визуализации,, которое при попытке использовать, требует сервера за кучу монет.

Там уже есть k-means?
Данные выбрать на карте и сохранить в файл можно?
Аноним 24/10/20 Суб 21:58:25 1838972260
1603553590686.jpg 1074Кб, 2275x1959
2275x1959
Поясните за GPT-3 для неспеца. Какие возможности?
Аноним 25/10/20 Вск 01:19:26 1839089261
Аноним 25/10/20 Вск 01:35:35 1839093262
>>1838972
Даёт неплохие представления для текстов. Может, можно будет использовать как часть пайплайна.
Меня больше интересуют подвижки в вопросе перевода естественного языка в формальный, типа "по вопросу сгенерировать SQL-запрос".
Аноним 25/10/20 Вск 01:36:21 1839094263
>>1838972
Пока ты хочешь выебываться в твиттере результатами - может всё.
Когда захочешь выкатить в прод - начнутся проблемы. При обучении случится mode collapsing, компания разорится из-за счетов за электричество, сетка начнет оправдывать геноциды, обучится к моменту тепловой смерти вселенной.
Аноним 25/10/20 Вск 09:11:40 1839155264
>>1832580 (OP)
С чего начать изучение математики, если я с самого первого класса всегда отставал и доходило до того, что мамка мне решала домашку. А когда я стал чуть старше, то заставляла меня учить формулы и таблицу умножения как стихи. Ну и регулярно срывалась на мне и била по голове скалкой пока я кровью вперемешку со слезами и соплями не заливал школьные учебники.
Аноним 25/10/20 Вск 10:14:59 1839163265
Man vs Fate.jpg 321Кб, 708x1818
708x1818
>>1839089
>>1839093
>>1839094

Благодарю! Меня интересует - может ли GPT-3 пройти этот тест:
https://vc.ru/special/roboeditor

>Системы конкурсантов должны проверять материал на соответствие теме, искать неуместные аргументы и разрывы в логике.

Или же GPT-3 это лишь более улучшенный анализатор текста на предварительные ключевые слова и параметры?
Аноним 25/10/20 Вск 12:33:00 1839218266
Аноним 25/10/20 Вск 13:53:55 1839265267
>>1839093
Какое представление, это же декодер
Аноним 25/10/20 Вск 15:54:30 1839345268
gpt-supervised.png 82Кб, 700x365
700x365
>>1839265
Ничто не мешает из него выдрать получение эмбеддингов. Более того, оригинальный GPT для того и делали, это уже потом выдумали задавать вопросы языковой модели, чтобы она на них отвечала.
Аноним 25/10/20 Вск 16:04:48 1839352269
>>1839218
Кого ты удивить хочешь?
Аноним 25/10/20 Вск 18:31:37 1839520270
Анончики, подскажите, плиз, как расковырять внутренние слои в PyTorch?
Задача, если вкратце, есть временной ряд с фичами y(t) X(t), хочу предиктить какой-нибудь RNN. Но следующее значение сильно зависит от предыдущих, поэтому хочу перед началом предсказания пропихнуть несколько известных X и y. Как мне вручную запихнуть в модель h_0[-1]? Как заставить пересчитать остальные h_0? Где об этом можно почитать, а то я даже не понимаю, как правильно сформулировать запрос для гугла?
Аноним 25/10/20 Вск 19:24:26 1839595271
>>1839520
Используй трансформеры лучше, нахуй эти RNN
Аноним 25/10/20 Вск 19:56:24 1839615272
>>1839595
Нах ему трансформеры для временных рядов? Они же порядок только через костыль учитывать могут.
Аноним 26/10/20 Пнд 01:53:46 1839865273
Всем привет!
Подскажите книгу справочник для классического мла, например если что забыл -> посмотрел, с меня как обычно..
Аноним 26/10/20 Пнд 10:35:34 1839945274
Аноним 26/10/20 Пнд 12:17:01 1840000275
16036401854420.jpg 443Кб, 1651x3096
1651x3096
>>1839520
>>1839595
>>1839615
Ну вы даёте, конечно... А чем по-вашему временной ряд отличается от не временного? Если временной ряд представить в виде матрицы Ганкеля и строки такой матрицы считать элементом датасета, чем это будет отличаться от любой другой матрицы как датасета?
Аноним 26/10/20 Пнд 13:04:39 1840031276
>>1840000
>Если временной ряд представить в виде матрицы Ганкеля
Зачем и самое главное нахуя?
Аноним 26/10/20 Пнд 13:10:04 1840034277
>>1840031
Затем, чтобы анализировать его любым алгоритмом.
Аноним 26/10/20 Пнд 13:19:51 1840037278
>>1840034
Ну только ты уже фиксируешь ширину окна, так что далеко в прошлое смотреть алгоритм не сможет. Да и в алгоритмах никак не будет использоваться знание того, что у тебя данные одной природы в разных столбцах матрицы.
Аноним 26/10/20 Пнд 13:21:01 1840039279
>>1839945
>Требуемый опыт работы: не требуется
>What we need to see:
>5+ years of experience

Уже практически не горю с такого
правда не горю...
Аноним 26/10/20 Пнд 13:26:11 1840040280
>>1840000
Тем что информация о просто n (которое кстати надо ещё выбрать) подряд идущих событиях не всегда полезна для того чтобы по ней что-то сказать, например если события у тебя происходят очень часто и между соседними мало что меняется алгоритм будет предсказывать не лучше чем просто по текущей точке. А количество всех возможных более сложных агрегаций истории можешь сам подсчитать. Тем что временные ряды часто многомерны, т.е. каждая точка это например вектор миллионной размерности. Короче всем тем же что и везде не повзволяет просто брать голые данные и скармливать их бустингу без предобработки.
Аноним 26/10/20 Пнд 13:27:17 1840044281
TtPf8Gp0UYI.jpg 85Кб, 665x498
665x498
>>1840031
блядь.
В этом состоит Датасаенс, чтобы использовать какую-то хуйню лишь бы покрасоваться определением?

Почему временной ряд не анализируется как простой вектор?
Аноним 26/10/20 Пнд 13:29:28 1840049282
>>1840044
>В этом состоит Датасаенс
Да
Потому что за это тебе заплатят 300К/сек и назовут самой сексуальной профессией 21 века
а статистика и другая скучная хуйня - ты чо бухгалтер что ли((
Аноним 26/10/20 Пнд 13:30:52 1840052283
https://sci-hub.do/10.1145/3316781.3317918
Хочу вот это попробовать повторить. Предсказывают смерть HDD на основе данных SMART . Дохуя практичная программа получилась бы!
Тут в примере временные ряды и небольшое число признаков.

Какие подводные?
где МАТРИЦА ГАНКЕЛЯ ?
Аноним 26/10/20 Пнд 14:06:20 1840070284
>>1840044
Потому что у тебя переменная длина у этого простого вектора мб?
Аноним 26/10/20 Пнд 14:23:50 1840081285
>>1839615
В 2020 есть два хороших подхода для одномерных данных, это CNN, если зависимости у тебя в основном локальные, и трансформеры, если зависимости сразу по всему окну. Считаешь ты пазишен энкодинг костылем или нет, он работает. RNN не нужны нигде, они всасывают у трансформеров во всем.
Аноним 26/10/20 Пнд 15:16:57 1840121286
>>1840052
>МАТРИЦА ГАНКЕЛЯ
Пукан Жманкеля
Аноним 26/10/20 Пнд 16:06:37 1840149287
>>1839595
Спасибо за совет, попробую. Даже нашёл какую-то статью с пример трансформера для временных рядов , но потерял)
Аноним 26/10/20 Пнд 16:27:20 1840174288
>>1840081
А как, кстати, реализуется длина окна? Вот пришла мне последовательность длиной миллион, и я не хочу квадратную матрицу миллион на миллион (KQ^T) считать для трансформера. Что в таком случае делают? Вручную нарезают?
Аноним 26/10/20 Пнд 16:31:12 1840176289
333.mp4 13050Кб, 1920x1080, 00:00:16
1920x1080
>>1840121
ты не понел. Я тоже иронизирую над тягой к малопонятным аббревиатурам вставляемым не к месту.
И в этом исследовании их нет.
Аноним 26/10/20 Пнд 16:32:16 1840178290
ох и стремная же Самая Известная Женщина Российской Науки
Аноним 26/10/20 Пнд 16:56:51 1840212291
>>1840081
>В 2020 есть два хороших подхода для одномерных данных
аминь
А в 21 ещё каую-нибудь новую хуйню придумают в гугл ресёрче, додики будут с новым ещё одним ЕДИНСТВЕННЫМ ПОДХОДОМ носиться.
Аноним 26/10/20 Пнд 17:02:32 1840217292
Как осознать трансформер помогите
Аноним 26/10/20 Пнд 17:04:50 1840219293
>>1840174
>А как, кстати, реализуется длина окна?
Через пазишен энкодинги как раз. У тебя к каждому токену приписано его положение в окне, например, с помощью бегущих синусоид рзаной частоты. Если ты тренировал сетку на окне с контекстом 2048 и имел соответствующие частоты синусоид, а возьмешь окно в миллион, сам трансформер-то скейлапнится, потому что ему похуй на длину последовательности, но с экондингами слушится жопка - потому что самые низкочастотные синусоиды начнут повторяться. Поэтому реальный вариант только один - бить строку длинной миллион на куски по 2048, возможно с перекрытием, и процессить.
Аноним 26/10/20 Пнд 17:18:14 1840224294
Аноним 26/10/20 Пнд 17:18:14 1840225295
>>1840212
Да все мы знаем, что есть классический подход, основанный на определителе жумпеля. Правда там качество не сильно лучше подбрасывания монетки, но главное, что зумеры не знают.
Аноним 26/10/20 Пнд 17:21:40 1840229296
>>1840178
Нет трожь эту святую женщину, она заслужила выглядеть как угодно и делать что угодно
Аноним 26/10/20 Пнд 17:43:27 1840254297
аноны, спрошу в этом треде, тк он наиболее релевантный, а заводить другой нет смысла - как правильно они редко приживаются
вопрос такой: может у кого был опыт устройства на работу в яндекс в команду беспилотников? я просто пиздюк, только уник закончил (робототехника), а опыт (3года) скорее релевантет больше к классическому проганью, чем к slam/траекторным задачам. Требования там ебать какие, судя по сайту.
Так вот, если пробовали устроиться в эту тиму, расскажите как оно. Может вообще тут из яндекса сидят (а он большой же, хули) расскажите плз, думаю не мне одному интересно будет
И еще доп вопрос: похожая тематика вообще где-нибудь есть еще в мск? чтобы роботы там, сенсоры, ну в общем вся та хуйня, которую я упорно учил 6 гребаных лет
спасибо, друзья
Аноним 26/10/20 Пнд 18:08:22 1840280298
>>1840254
>а опыт (3года) скорее релевантет больше к классическому проганью,
Ну и нахуй ты им нужен? Там таких как ты пруд пруди да еще и олимпиадники.
датасаенс объявили sexies job в 2012 году - 8 лет назад. Ты что делал 6 последних лет?
Аноним 26/10/20 Пнд 18:12:29 1840286299
>>1840280
там не только дата саентисты
в команде есть прогеры, внезапно
или ты, аналитический петух, копающийся в юпитере, прогером себя считаешь?
мимо c++ разраб
Аноним 26/10/20 Пнд 18:18:20 1840292300
>>1840286
Да. Смотрю как на говно на эту ораву .
Ведь у меня нет проблем веб-приложение слепить из ноутбука.
Аноним 26/10/20 Пнд 18:21:30 1840300301
>>1840292
шизик, разговор окончен
интересно сможешь ли ты хоть в самую сратую контору пройти собес на чистого питониста, веб приложение о слепит из ноутбука
Аноним 26/10/20 Пнд 18:21:36 1840301302
>>1840224
Кстати, кто-нибудь осилил книжку саттона-барто? Я боюсь вкатываться из-за того что там может оказаться много устаревшего говна.
Аноним 26/10/20 Пнд 18:21:54 1840302303
>>1840254
>И еще доп вопрос: похожая тематика вообще где-нибудь есть еще в мск?
Да дохуя, бери и ищи. Штук 10 вакансий должен найти сходу
Аноним 26/10/20 Пнд 18:22:52 1840304304
>>1840302
понял тебя, спасибо. На hh?
Аноним 26/10/20 Пнд 18:27:17 1840308305
>>1840304
Ну да. При чем если висит сеньерская вакансия, потыкай в нее пальцем, поищи careers на сайте у фирмы или вообще напиши влоб. Кодер с профильной вышкой - это довольно сильно. Как правило таким проектам не хватает как раз нормальных кодеров, которые разбираются в предметной области. Маняматиков дохуя, а работать некому.
Аноним 26/10/20 Пнд 18:27:39 1840309306
>>1840301
По-моему RL тут только ты интересуешься
Аноним 26/10/20 Пнд 18:30:13 1840316307
Аноним 26/10/20 Пнд 18:53:40 1840357308
>>1840308
>Маняматиков дохуя, а работать некому.
А чем маняматики занимаются? Всех МакДак разбирает?
Аноним 26/10/20 Пнд 18:55:38 1840360309
>>1840357
Пишут говнокод в жупитере, выше же было
Аноним 26/10/20 Пнд 19:08:33 1840369310
>>1840360
>>1840357
ну я вообще не сторонник радикальных взглядов: все профессии важны, как говорится. И математики делают какую-то пользу, и прогеры. Меня просто этот пидор бугуртнул >>1840280, сорян, никого из адекватных математиков оскорбить не хотел
мимо тот же с++ разраб
Аноним 26/10/20 Пнд 19:16:43 1840380311
>>1840369
>математики делают какую-то пользу
Кокую?
Аноним 26/10/20 Пнд 19:29:07 1840388312
>>1840380
да какую-то, наверное, приносят))))
я сам вообще встраиваемыми системами занимаюсь - у нас матеши нет
Аноним 26/10/20 Пнд 19:35:10 1840392313
>>1840254
В целом реалии яндекса таковы что хоть ты C++ прогер хоть МЛщик большую часть времени ты будешь перекладывать джсоны и запускать графы в нирване. Случай беспилотников может быть конечно особенный, но вообще когда меня года два назад дёрнуло поработать в этой параше полгодика, на ячане (внутренний двачик) вполне активно млщики оттуда спрашивали куда можно перейти, так что думай.
Аноним 26/10/20 Пнд 19:54:10 1840404314
>>1840392
хм, интересно
просто выглядит так, что у яндекса единсвтенных позиция "на передовой" в плане беспилотников (про сбер беспилотники молчу от части потому что не знаю как у них дела, от части потому что знаю как дела в лаборатории роботоетехники). Тк бюджет дай боже, машинки уже гоняют. Возможн я романтизирую, но мне кажется, что дела у них идут круто и задачи ок. НО опять же, не стоит забывать что я обосранный вчерашний студент
Аноним 26/10/20 Пнд 20:07:19 1840410315
>>1840224
>Все выучили bitter lesson и хуйней не страдают
Ты забываешь про нехватку данных. Использование domain knowledge и классических алгоритмов вкупе с нейронками позволяют достичь адекватных результатов при намного меньшем количестве данных.
Аноним 26/10/20 Пнд 20:10:51 1840413316
>>1840404
Не, если ты студент и попадёшь в беспилотники яндекса это очень круто для резюме безусловно, попытаться стоит. У них бан на полгода вроде бы, если обосрёшься потом ещё можешь попробовать.
Аноним 26/10/20 Пнд 20:18:32 1840422317
>>1840413
а у них бан на яндекс в целом? или только на команду?
Аноним 26/10/20 Пнд 20:25:16 1840431318
>>1840410
>Seeking an improvement that makes a difference in the shorter term, researchers seek to leverage their human knowledge of the domain, but the only thing that matters in the long run is the leveraging of computation
...
> 1) AI researchers have often tried to build knowledge into their agents, 2) this always helps in the short term, and is personally satisfying to the researcher
> 3) in the long run it plateaus and even inhibits further progress

Мне особенно нравится вот это персоналли сатесфаинг. Оно реально так. Придумать костыль для данных - весело и вкусно, такой ходишь довольный, что на текущем железе выжал максимум. А на длинной дистанции нахуй оно не уперлось, твои хаки под датасеты. А что уперлось - это простые как валенок универсальные решения, типа UNet.
Аноним 26/10/20 Пнд 20:36:09 1840443319
>>1840422
Если обосрёшься везде то в яндекс, но тебе возможно будут предлагать не одну команду.
Аноним 26/10/20 Пнд 20:40:57 1840450320
>>1840431
>такой ходишь довольны
Тут дело не в том чтобы тешить чсв, а в том что ресёрчерам интереснее заниматься осмысленной деятельностью, а не макакить слой за слоем.
Аноним 26/10/20 Пнд 20:44:02 1840453321
>>1840450
>Тут дело не в том чтобы тешить чсв, а в том что ресёрчерам интереснее заниматься осмысленной деятельностью, а не макакить слой за слоем.
Макакинг слоев можно автоматизировать и отдыхать, пока трясется ящик, а для ресерча придется по-настоящему РАБотать.
Аноним 26/10/20 Пнд 20:46:47 1840455322
>>1840450
Двачую, я затем чтоли в мл пришёл чтобы макакить? Захотел бы макакить не ебал бы мозги и фронтендером стал.
Аноним 26/10/20 Пнд 20:57:55 1840469323
>>1840450
>Тут дело не в том чтобы тешить чсв, а в том что ресёрчерам интереснее заниматься осмысленной деятельностью
satisfying - это не про чсв, это как раз про интересно. Понятно, что ресерчерам интереснее решать интелелктуальные задачи типа решения судоку, только чтобы за это самое судоку еще платили деньги. Посмотрел немигающим взглядом в график, увидел, закодировал, решил головоломку.
А приходится проектировать системы для тряски ящиков.

И хули ты хотел. Астрономы тоже вместо просмотра ночного неба в деревнской глуши трясут телескопы, в которых день работы стоит миллион долларов. Никакой романтики.
Аноним 26/10/20 Пнд 21:01:12 1840472324
gta-5-mission-8[...].jpg 63Кб, 740x416
740x416
>>1840300
Так в том то и дело, что ты погряз в макакинге и не знаешь, что сейчас можно деплоить сразу ноутбук в веб.

Программисты не могут перевернуть индустрию, а я - могу.
Аноним 26/10/20 Пнд 21:03:25 1840473325
15982164124121.png 115Кб, 482x400
482x400
Аноним 26/10/20 Пнд 21:05:10 1840476326
Аноним 26/10/20 Пнд 21:05:24 1840477327
Спрашивал пару тредов назад как разобраться с voila - ХУЙ КТО ОТВЕТИЛ!
ВЫ ЧЁ, ДЕБИЛЫ? Вы чё, ебанутые, что ли? Действи.. вы в натуре ебанутые? Эта сидит там, чешет юпитерблядь. Этот стоит, грит: "Я те щас тут dlib в докере скопмилирую "..
Аноним 26/10/20 Пнд 21:06:10 1840479328
>>1840472
и че, сколько индустрий уже перевернул?
Аноним 26/10/20 Пнд 21:06:34 1840480329
Разобрался в итоге. Охуенные дашборды собираю. без макакичей.
Аноним 26/10/20 Пнд 21:09:03 1840481330
>>1840431
Придумать новую канализационную систему - весело и вкусно, такой ходишь довольный, что на текущем железе выжал максимум. А на длинной дистанции нахуй они не уперлись, твои фитинги. А что уперлось - это простые как валенок универсальные решения, как сантехникам копаться в этом говне
Аноним 26/10/20 Пнд 21:13:26 1840486331
Аноним 26/10/20 Пнд 21:30:58 1840498332
image.png 753Кб, 492x1228
492x1228
Аноним 26/10/20 Пнд 21:32:16 1840500333
В нетфликсе продакшн прямо на ноутбуках
Аноним 26/10/20 Пнд 21:48:44 1840513334
image.png 247Кб, 680x709
680x709
>>1840498
да, я придума это, а копаться в этом говне будешь уже ты
Аноним 26/10/20 Пнд 22:23:14 1840559335
ичтотысделаешь.jpeg 10Кб, 197x256
197x256
Аноним 26/10/20 Пнд 22:25:19 1840562336
>>1840308
Так маняматик без задней мысли вкатится куда угодно
Аноним 27/10/20 Втр 02:35:45 1840654337
>>1840217
Да просто
В какой-то момент силой мирового гения учоных додумались до гениального решения что можно применять несколько матриц из параметров ко входу и брать свёртки того что получится, тогда выходит нелинейная но распараллеливаемая зависимость. Это называется атеншен.
Теперь если взять его поширше и застакать с обычными перцептронами поглубже, не забывая residual связей чтобы градиенты не кукожились и позишнл энкодингов чтобы гениальный механизм распознал что за чем следует, получится энкодер трансформера.
Если взять то же самое, но теперь в атеншене сворачивать с тем что пришло из енкодера то получится декодер.
Трансформер это энкодер плюс декодер плюс классический софтмакс поверх.
Всё это великолепие в охулиард параметров теперь можно тренировать если у тебя есть дохуя бабок, времени и достаточное количество яйцеголовых чтобы пинать сиё элегантное решение в нужном направлении. Отдельные безумцы смущаясь говорят что если у тебя есть дохуя бабок, времени и яйцеголовых то можно взять хоть огромный двухслойный перцептрон, лотерейные билетики сделают хрусть-хрусть и всё будет работать не хуже; но ни у кого нет всего вышеперечисленного чтобы проверить.
В целом этот процесс называется BigTech несёт прогресс.
Аноним 27/10/20 Втр 02:52:09 1840655338
>>1840224
> general methods that leverage computation are ultimately the most effective, and by a large margin
Если у тебя дохуя бабок. Вообще забавно как очередная "освобождающая" технология становится просто ещё одним преимуществом искусственных монополий над малым/средним бизнесом. Такое будет случаться всё реже и реже по понятным причинам, смотрите, дети, на пролетающую комету, нескоро вы её ещё раз увидите.
Аноним 27/10/20 Втр 03:35:54 1840658339
>>1840655
>Если у тебя дохуя бабок.
Наоборот, если у тебя мало бабок, то первым делом нужно думать о качестве своих вложений, и ни в коем случае не попадать в ловушку этих ad-hoc решений, которые живут несколько лет, а потом их смывает прогрессом.
Аноним 27/10/20 Втр 04:24:31 1840667340
>>1840658
Ну это аргумент в стиле зачем тебе нелегал мексиканец заведи себе киборга.
Аноним 27/10/20 Втр 08:13:21 1840688341
Мне посоветовали тут задать вопрос. Подскажите, существуют ли сейчас нейросети, которые позволяют действительно качественно отреставрировать старые фильмы с использованием референсных моделей? Как пример - есть фильм 20-х годов, дошедший до наших дней в ужасном качестве. В фильме появляется человек, лицо которого на средних и дальних планах превращается из-за качества в кашу, однако в этом же фильме есть один близкий план, в котором черты лица и глаза видны довольно четко. Все, что я нашел существующего в данный момент, пытается либо восстанавливать картинку пофреймово, анализируя скопления пикселей, либо просто отрабатывает весь ролик по одним общим правилам, внося косметические изменения. Я же хочу задать области ролика, которые требуют особой обработки, подсунуть модели для каждой области, а для невыделенных областей применить общие правила.
Аноним 27/10/20 Втр 08:20:34 1840690342
>>1840688
Такого не видел. Сделать можно, наверное, но ты ниасилишь, и денег ни у тебя, ни у твоего босса не хватит.
Аноним 27/10/20 Втр 08:27:57 1840691343
>>1840690
В смысле, не видел?
не видел он... все
https://www.youtube.com/watch?v=6FN06Hf1iFk

>>1840688
> Я же хочу задать области ролика, которые требуют особой обработки,

или ты платишь кучу бабла или идешь нахуй со своими гуманитарными фантазиями.
Аноним 27/10/20 Втр 08:35:50 1840694344
>>1840691
Этот просто взял не самый плохой исходник и прогнал кадры через топаз гигапискель, так и я могу. Идешь нахуй ты со своими гнилыми понтами, совсем уже студентота оборзела.
Аноним 27/10/20 Втр 08:48:12 1840697345
Аноним 27/10/20 Втр 13:33:29 1840873346
Что спрашивают у вкатунов на собесах? Через неделю будет один, говорят, будут спрашивать про основы data science и ещё решать задачи по матстату. Чего примерно ждать?
Аноним 27/10/20 Втр 14:05:22 1840892347
>>1840873
ЦПТ и pandas cheatsheet.

да хуй его знает что там у тебя спросят. мы за тебя должны на все собеседования сходить?
Аноним 27/10/20 Втр 14:07:43 1840894348
>>1840224
>Давай, назови автора этого эссе зумером и сойбоем.
Я назову его скорее довольно странным пафосным товарищем, который из пары распиаренных примеров успешного применения брутфорса, упрощая, выводит очередной единственно верный способ думать о всех проблемах вообще. Количество решений реальных бизнес проблем как раз использующих адхок на полную в то же время остаётся неизвестным по естественным причинам.
Я думаю что единственный общий принцип есть только один: не существует волшебной палочки. По крайней мере мечты о оных никогда ещё не сбывались.
Аноним 27/10/20 Втр 19:46:28 1841315349
Аноним 27/10/20 Втр 22:19:04 1841469350
Реально ли вкатиться в айти с темы треда? Если нет, то с чего, чтобы потом перейти?
Аноним 27/10/20 Втр 23:21:23 1841558351
>>1841315
>Есть ли смысл искать джунопозицию на западе?
Кому-то есть, кому-то нет.
>Они удалёнку предлагают?
Кто-то предлагает, кто-то нет.
>Или только переезд и работа в офисе?
Кто-то только переезд, а кто-то нет.
Аноним 27/10/20 Втр 23:24:52 1841564352
>>1841558
Какая хуёвая классификация. Чувствуется, модель недообучена.
Аноним 27/10/20 Втр 23:35:41 1841582353
>>1841564
Данных тонет. У меня еще хорошая модель, нейроночка бы просто выплюнула дефолтные предсказания и понимай как хочешь.
Аноним 28/10/20 Срд 00:52:21 1841650354
>>1841315
Думаю смысла нет. Фриланс можешь поискать
Аноним 28/10/20 Срд 14:55:17 1842009355
>>1841650
>Фриланс можешь поискать
Предварительно раскошелившись на новый комп с нормальной видюхой и памятью, что при нынешнем курсе рубля выйдет в 50-100 тысяч деревяннных, а то и больше.
И всё это чтобы зарабатывать копейки на фрилансе. Во всяком случае
поначалу.
План уровня /pr
Аноним 28/10/20 Срд 16:22:37 1842077356
>>1842009
Какой вообще фриланс может быть в датасаенсе? Фриланс это для мелкого бизнеса, вебсайты и наколенную автоматизацию делать. Откуда у них данные, деньги на машоб?
Аноним 28/10/20 Срд 16:31:47 1842089357
Аноним 28/10/20 Срд 16:35:14 1842095358
>>1833650
> Почему я должна доказывать, что я знаю?
Лол
Аноним 28/10/20 Срд 16:37:35 1842097359
boomer-gta.png 684Кб, 1280x720
1280x720
>>1842077
Так ты же сам им не предлагаешь ничего. Не стараешься создать почву. Только в кеглю дрочишь.

Надо популяризировать науку.
Аноним 28/10/20 Срд 16:44:15 1842104360
>>1834861
> кегля внезапно не приносит доход
Попади в топ, а потом проси з/п на $300000+ в год. Делов-то
Аноним 28/10/20 Срд 16:57:13 1842121361
>>1842104
Все равно что стать звездой баскетбола или топ актером, или депутатом. Только еще сложнее, пожалуй, потому что в отличие от них, на кегле придется головой работать. А конкуренция там +- сравнимая. Еще с паблик ноутбуками этими вообще жестко получается.
И, кстати, круг компаний которые очень ценят кагл сильно ограничен. Для большинства это как какой-то сертификат, что-ли, ну хорошая штука для последней строчки сиви. Если они вообще знакомы с каглом. А если ты положил жизнь на кагл, то тебе будет нечего написать в графе "опыт", и твое сиви полетит в корзину еще до того, как они дойдут до твоих призов.
Аноним 28/10/20 Срд 17:02:55 1842128362
>>1842104
>Попади в топ,
Вангую в топ попадают те, кто может использовать рабочие мощности.
А со своей пекарней ты никогда мегамощную сетку не запустишь.
Аноним 28/10/20 Срд 17:09:40 1842133363
>>1842128
почему бы не иметь возможность продемонстрировать примеры своего кода по какой-нибудь бесплатной никому не нужной проблеме с низкой конкуренцией?
такие хоть есть на кагле?
Аноним 28/10/20 Срд 17:09:52 1842134364
>>1842077
>Фриланс это для мелкого бизнеса
Да
>вебсайты и наколенную автоматизацию делать. Откуда у них данные, деньги на машоб?
Ты описываешь рашкореалии. В США мелкая контора с 10 сотрудниками должна делать $600к/год только для того, чтобы платить людям зарплату. Если объем фонда оплаты труда 50%, получается больше ляма оборота. На этом фоне нанять макак из третьего мира размечать датасеты и трясти нейронки стоит достаточно мало, чтобы был постоянный поток желающих рискнуть.
В любом случае пробовать лучше, чем сидеть на дваче. Как будто у тебя большой выбор.
Аноним 28/10/20 Срд 17:11:11 1842137365
>>1842134
>Как будто у тебя большой выбор.
В рашкореалиях действительно небольшой.
Аноним 28/10/20 Срд 17:23:36 1842143366
>>1842134
В реальности таких предложений на традиционных фриланс-площадках нет. Они, скорее всего, нанимают контракторов из специализированных контор, либо своих датаслесарей.
Аноним 28/10/20 Срд 17:25:36 1842144367
>>1842137
Только два варика: валить через науку или через опыт, полученный за еду в любой рахоконторе.
Аноним 28/10/20 Срд 17:27:39 1842146368
>>1842137
Да выбор вообще хуевое слово. Есть много разных лотерей, в которые нужно играть. Не дают первый проект на апрворке - дрочишь кагл. Не дрочится кагл - тренируешь стайлган на колабе. Хорошо натренируешь - внезапно получишь проект, а на пятом проекте - предложение поддерживать слепленное тобой говно. А не повезет - твой анус будет закален настолько, что на собеседовании будет что-то типа "а, йобанейм? знаю такое, работал, и с этим работал, и с этим работал".
Аноним 28/10/20 Срд 17:31:05 1842153369
>>1842146
Блять твой фриланс вот именно что ебаная лотерея. Сейчас работа есть, а завтра нет. И если в 20, когда ты у мамки на шее это ещё покатит, то в 30 уже не очень.
А всем ОПЫТ подавай. Даже видел на стажёров.
Вообще охуеть.
Аноним 28/10/20 Срд 17:34:51 1842159370
>>1842153
>Блять твой фриланс вот именно что ебаная лотерея.
И? У тебя есть выбор?
Аноним 28/10/20 Срд 17:35:13 1842161371
>>1842153
>А всем ОПЫТ подавай. Даже видел на стажёров.
Когда у тебя очередь из 500 человек стоит на вакансию стажера, из которых многие с ПхД, статьями, петпроектами, то можно и даже нужно задирать планку до небес, чтобы отфильтровать поток.
Аноним 28/10/20 Срд 17:41:24 1842167372
>>1842161
>многие с ПхД, статьями, петпроектами
Этой хуйне никто не верит, потому что полно жуликов, которые статьи имеют примкнувшись паровозиком, петпроекты - чисто для галочки, а если у человека ПхД и он идет на стажера - это вообще пиздец.
А вот несколько успешных и внедренных проект на фрилансе - это другое дело. Это значит, что соискатель не аутист, который не может сформулировать задачу, не задрот, которому нравится решать судоку за деньги, а не бизнес-задачи, не ботаник, который 5 лет учил формулировку ЦПТ, но не знает, как написать докерфайл.

То есть реально, приходит вот такой ПхДшник, обвешанный статьями и натренировавший стайлган, просит 150к, потому что хули, он джун что ли какой-то, а после вопросов понятно, что ближайшие несколько месяцев ты будешь его учить писать докерфайлы. Ему перезванивают, а он, залупа пафосная, думает, что "бля, это если МЕНЯ не взяли, то кого же взяли тогда?".
Аноним 28/10/20 Срд 17:46:10 1842171373
>>1842159
Возможно.
>>1842161
>Когда у тебя очередь из 500 человек стоит на вакансию стажера,
А по факту многие вакансии висят месяцами, либо всё ищут того самого неповторимого, либо просто собирают базу кандидатов.
Да и вообще 500 человек - жирновато, у нас тут не вротенд и не qa. Машобчик всё же требует базовых знаний математики, программирования и чего-нибудь ещё.
Аноним 28/10/20 Срд 18:16:22 1842200374
>>1842171
>и чего-нибудь ещё
Православия
Аноним 28/10/20 Срд 18:58:07 1842261375
>>1842167
>ближайшие несколько месяцев ты будешь его учить писать докерфайл
Макакен, всё в другую сторону работает: это ты, писатель докерфайлов, не сможешь быстро в настоящие вещи типа математики; а вот математик твою хуйню за полчаса максимум освоит. Именно поэтому математиков (тем более пхд) обычно набирают везде, от консалтинга до биоинформатики даже с нулевым знанием предметной области потому что типа сам освоит.
Аноним 28/10/20 Срд 19:13:37 1842280376
>>1842261
С чего ты взял, что я макакен? Для начала попробуй ответить на этот вопрос, а потом я объясню тебе, где ты не прав.
Аноним 28/10/20 Срд 19:16:49 1842288377
>>1842261
>Именно поэтому математиков (тем более пхд) обычно набирают везде
Даже имея пхд по компьютер саенс, который ценится намного больше, ты пойдешь либо постдоком за еду, либо джуном-макакеном, либо, если попадешь в машоб, будешь перекладывать жсоны и чистить вилкой данные за ту же зарплату джуна.

Маняматики в рыночек вписались еще меньше. Без других навыков (как кодинг для машоба) они вообще никому не нужны. Получив пхд у тебя два варианта - либо всю жизнь работать за еду, либо переобучаться на другую специальность.
Аноним 28/10/20 Срд 19:29:55 1842307378
>>1842288
Готов джуномакакеном за еду и опыт.
Аноним 28/10/20 Срд 19:37:04 1842313379
>>1842288
>пхд по компьютер саенс, который ценится намного больше
Ха-ха, дед, 90е давно прошли, доброе утро.
>Получив пхд у тебя два варианта - либо всю жизнь работать за еду, либо переобучаться на другую специальность
Я тебе написал как в реальности с нормальными ресёрчерами дело обстоит. У тебя очевидно примеры "аспирантов" косящих от армии на мамкиной шее в твоём мухосранском заборостроительном.
Аноним 28/10/20 Срд 19:48:01 1842327380
>>1842313
У тебя самого phd в чем?
Аноним 28/10/20 Срд 19:57:22 1842333381
>>1842313
>Я тебе написал как в реальности с нормальными ресёрчерами дело обстоит.
Дай определение нормального ресерча, и в какой стране им занимаются. Ну и самое главное, чтобы зарплата была хотя бы на уровне кодомакаки с аналогичным опытом (сам по себе пхд считай за пять лет опыта).
>У тебя очевидно примеры "аспирантов" косящих от армии на мамкиной шее в твоём мухосранском заборостроительном
Найс проекции.
Аноним 28/10/20 Срд 20:10:48 1842347382
>>1841315
>джунопозицию на западе
Там всё ещё хуже
Qualifications:

BS degree in Science, Engineering, Business Administration or related field + 5-9 years' experience;
9 years' experience equivalent to any combination of education and experience
Must possess acute reasoning/problem solving skills
Ability to conduct sophisticated experiments and develop theories
Ability to perform complex calculations and mathematical modeling
Ability to use computer technology
Ability to research and gather information, analyze and organize data, and prepare technical reports
Must be thorough and pay attention to detail
Excellent written, verbal and interpersonal communication skills
Ability to obtain a U.S. DOD Security Clearance up to the Top Secret level if required.
https://www.indeed.com/viewjob?jk=f6eafe2ae69a0bbc&tk=1elo1qhje3kff001&from=serp&vjs=3
Аноним 28/10/20 Срд 20:13:31 1842352383
15982164124121.png 115Кб, 482x400
482x400
>>1842347
>Junior Scientist
>BS degree in Science, Engineering, Business Administration or related field + 5-9 years' experience;
>9 years' experience equivalent to any combination of education and experience
И при этом зарплата максимум как у джуна-фронтендера.
Аноним 28/10/20 Срд 20:55:06 1842382384
Нейронавты, есть вопрос. Задача - магистерская работа. Суть - "составление расписаний". Тип есть работа на заводе, ее делает рабочий, с помощью (не обязательно) механизмов (грубо говоря машины, которыми рабочий управляет) и (всякие гайки, болты, ведра с компрессией и тд). Работ может быть много, а рабочих мало. Цель - составить оптимальное расписание, чтоб никто за станком не помер и у предприятия был профит максимальный.

Какой подход применить? Нашел МАС - мультиагентные системы. Альтернативно - использовать что-то из более традиционной штук типа всякой математики для проблем а ля job shop.

Можно ли здесь как-то нейронки вместо всего этого использовать? Может уместно будет в агентаз МАС использовать?

В нейронках ноль, времени на все магистратура. Предварительно проект на с#, так как задача полурабочая, может пойти в готовый продукт.
Аноним 28/10/20 Срд 23:13:25 1842513385
>>1842167
>если у человека ПхД и он идет на стажера - это вообще пиздец
А что делать, пчел? Не все такие звезды, что рекрутеры обрывают телефон и почтовый ящик. Стажировка/интерншип по машобу в гагле и сравнимых местах оче соревновательна. Они там вообще берут кого хотят. Недавно был скандал, что в индийском офисе гугла на интерншип взяли ТОЛЬКО молодых тяночек. Как тебе такое требование? Сможешь пройти такой фильтр со своими стайлганами?
Аноним 28/10/20 Срд 23:37:54 1842539386
>>1842382
> Работ может быть много, а рабочих мало. Цель - составить оптимальное расписание, чтоб никто за станком не помер и у предприятия был профит максимальный.
Экстремум целевой функции. Зачем тебе ML, если люди матан придумали? ML для по-настоящему сложных, порой чисто символических, задач (NLP к примеру).
Аноним 29/10/20 Чтв 02:04:23 1842616387
>>1842539
>Зачем тебе ML, если люди матан придумали?
Это чтоб на собесах потом говорили "аааа извините, матан это прекраcно но нам нужен опыт в мл" ?
Аноним 29/10/20 Чтв 05:08:54 1842636388
>>1842133
>никому не нужной проблеме с низкой конкуренцией
ну ты понял
Аноним 29/10/20 Чтв 05:12:13 1842637389
>>1842134
>пробовать лучше
Что пробовать? Пруфов такого фриланса - тем более в значимых объемах - ты так и не привёл
Аноним 29/10/20 Чтв 06:03:20 1842646390
>>1842616
> >Зачем тебе ML, если люди матан придумали?
> Это чтоб на собесах потом говорили "аааа извините, матан это прекраcно но нам нужен опыт в мл" ?
Ну, это смотря куда идешь. Если работа непосредственно связана с ML, то ясное дело HR будет требовать опыт в ML. Однако в твоей задаче достаточно математической оптимизации. Можно и нейронками решить читай: нейронка почти универсальный метод оптимизации

ML нужен в задачах:
- NLP
- Обработка здравого смысла и логики (иногда может пересекаться с NLP)
- Стратегий (к примеру, в играх)
- Интеллектуальная обработка/синтез изображений
- Синтез голоса и музыки, прочего аудио

Если надо решить задачу, но не понятно, как её решить, то нужно использовать NN.
Аноним 29/10/20 Чтв 06:26:57 1842649391
>>1842636
Даже там соснешь, инфа сотка. Придет скучающий ГМ на неделю до конца, у которого пара DGX-2 на работе простаивают))
Или очередной раджикумар в погоне за ноутбучными медальками расшарит ноутбук с хорошим решением, и начнется blending frenzy, когда за час будешь на 100 мест вниз сползать.
Или после открытия привата окажется, что сознатели накосячили немного)) и скоры рандомны.
Аноним 29/10/20 Чтв 10:43:07 1842708392
16039560405440.jpg 51Кб, 1024x512
1024x512
16039231216560.jpg 47Кб, 1024x512
1024x512
16039556094550.jpg 42Кб, 1024x512
1024x512
16039264189043.jpg 42Кб, 1024x512
1024x512
Аноним 29/10/20 Чтв 10:45:04 1842709393
Объясните как работают генеративные сети, когда у нас недостаточно пар для обучения? Вот те же зомби. У обучальщиков же не могло быть несколько тысяч фотографий одних и тех же людей в парах зомби<->не зомби.
Тогда как?
Аноним 29/10/20 Чтв 10:55:00 1842718394
>>1842709
Так в этом и суть. Нейроночка должна адекватно зомбифицировать еблишко, которое первый раз видит и которого 100% не было в обучающей выборке.
Аноним 29/10/20 Чтв 11:03:09 1842736395
Аноним 29/10/20 Чтв 11:05:16 1842741396
>>1842709
>как работают генеративные сети, когда у нас недостаточно пар для обучения?
Когда данных недостаточно они не работают. Обычно mode collapsing случается и они одно и то же начинают генерировать.
>У обучальщиков же не могло быть несколько тысяч фотографий одних и тех же людей в парах зомби<->не зомби.
Пары уже года три как не нужны https://arxiv.org/abs/1703.10593
Аноним 29/10/20 Чтв 11:20:16 1842753397
>>1842637
Ну окей, сиди в жопе, потому что анон не побежал искать тебе пруфы
Аноним 29/10/20 Чтв 11:58:07 1842773398
Как вам идея создания аналога куклоскрипта на основе NN? Это же профит. Просто скрываешь неприятные тебе посты и картинки, а NN учится классифицировать рандомный пост как неприятный. Можно автоматически скрывать толстоту, политоту, биопроблемы, при этом вероятность ошибки (в сравнении с топорным RegExp) понижается. То есть если в посте есть слово СССР это еще не значит что пост политический хотя определенно скатится в политоту, потому что боты стриггерятся на это слово.
Аноним 29/10/20 Чтв 12:23:55 1842791399
>>1842773
Сентимент анализом я думаю, можно что-то подобное детектить, но как ты это к куклоскрипту прикрутишь? И как ты видишь детекцию толстоты? Разметить датасет на толстые посты и нет?
Аноним 29/10/20 Чтв 12:28:13 1842793400
>>1842791
> но как ты это к куклоскрипту прикрутишь
Создать аналог куклоскрипта. Только с блекджеком и нейронками.
> как ты видишь детекцию толстоты
Устанавливаешь расширение -> заходишь на двач -> хайдишь неприятные посты -> данные поста отправляются в датасет -> тренируем -> повторяем н-ое кол-во раз пока нейронка не сможет самостоятельно хайдить посты.
Аноним 29/10/20 Чтв 12:56:27 1842822401
human2Zombie.jpg 65Кб, 1024x512
1024x512
Аноним 29/10/20 Чтв 16:19:19 1843033402
>>1842753
>иди туда не знаю куда, принеси то не знаю что
>пруфов что оно там есть не будет
Аноним 29/10/20 Чтв 17:13:52 1843086403
>>1842773
Толстые модели будут долго жевать текст, невыносимо будет двачевать с такой скоростью.
Аноним 29/10/20 Чтв 18:08:10 1843162404
>>1843086
Скорость пораши - 1000 постов в час, это по 3.6 секунды на пост. Бабушкин утюг справится. Надо просто сделать сервис, который будет выдавать результат по номеру поста, а куклоскрипт уже пусть обрабатывает результат.
Аноним 29/10/20 Чтв 19:02:06 1843207405
>>1843162
>Надо просто сделать сервис
Который будет собирать твои данные вдобавок к мейлру и гуглу? Нет, нахуй такое.
Аноним 29/10/20 Чтв 19:16:22 1843212406
>>1843207
А можно тупым людям мне не писать? Ну пожалуйста. Заебали
Аноним 29/10/20 Чтв 19:27:15 1843218407
>>1843212
Я думал что хотя бы здесь понимают, чем чревато анальное огораживание всего и всея сервисами, но, видимо, я ошибался.

Если делаешь в виде сервиса - выкладывай модель и код в открытый доступ, чтобы любой мог поднять у себя сервер. Не потакай созданию кибергулага.
Аноним 29/10/20 Чтв 19:31:19 1843219408
>>1843218
Иди нахуй, нечёткий шизопетух.
Аноним 29/10/20 Чтв 19:40:20 1843229409
>>1843218
>Если делаешь в виде сервиса
Я вообще ничего не делаю. Я всего лишь написал, что 1000 постов в час - это хуйня, но только при условии, что процесс работает в бэкграунде, а не анализирует каждый раз тред при клике на него. Остальное уже твои разоворы с воображаемым собеседником.
Аноним 29/10/20 Чтв 19:54:43 1843246410
>>1843229
>Остальное уже твои разговоры с воображаемым собеседником.
Добро пожаловать в /pr/ - НЕЙРОНОЧКИ И МАШОБ ТРЕД
Аноним 29/10/20 Чтв 21:00:35 1843310411
>>1842773
Проще не сидеть на дв*че 24/7
Аноним 29/10/20 Чтв 21:25:03 1843325412
>>1843162
Можно спец. клиент сделать. Но тебе оно надо? Потратишь полгода, а результат будет пшик. Никто кроме тебя пользоваться не станет.
Аноним 29/10/20 Чтв 21:54:35 1843346413
>>1843086
> Толстые модели будут долго жевать текст
Можно делать не толстые. Да и датасет даже до 500 Мб никогда не вырастет. Если делать по схеме, что я описал выше. Делать все, конечно, нужно на локальном железе.
Меня самого бесит, что ML уходит в облако.

К тому же есть шустрые алгоритмы классификации текста.

Погуглю эту тему, может реально создам свою интеллектуальную дашу
Аноним 29/10/20 Чтв 22:14:37 1843360414
>>1843346
Ещё всяких зумерошизиков по картинкам детектить надо. А потом в ответ пойдут adversarial атаки.
Аноним 29/10/20 Чтв 22:19:07 1843368415
unnamed.jpg 50Кб, 370x370
370x370
zombie.jpg 370Кб, 512x512
512x512
zombie (1).jpg 384Кб, 512x512
512x512
zombie (2).jpg 334Кб, 512x512
512x512
Аноним 29/10/20 Чтв 23:06:10 1843407416
Всё!

Microsoft выпустила бесплатный инструмент для обучения ИИ для тех, кто не умеет программировать.

Microsoft открыла всему миру доступ к программе Lobe, позволяющей за несколько минут создавать готовые модели машинного обучения для дальнейшего их использования в сторонних ПО и устройствах. Программа полностью бесплатна и исключает написание программного кода в процессе тренировки моделей – от пользователей нужно лишь загрузить в нее данные, а всю работу она выполнит сама.
Аноним 29/10/20 Чтв 23:15:25 1843411417
>>1843407
>Microsoft выпустила бесплатный инструмент для обучения ИИ
>Label an image based on its content. AVAILABLE NOW
>Locate an object inside of an image. COMING SOON
>Label data in a table based on its content. COMING SOON
Ну точно ВСЕ.
Аноним 29/10/20 Чтв 23:23:19 1843417418
>>1842288
Лол, а сейчас остались математики, не умеющие кодить? У меня даже деды в вузе этим занимаются, хотя с IT предметами они не связаны.
мимо третьекурсник маняматик
Аноним 29/10/20 Чтв 23:29:29 1843423419
>>1843417
>Лол, а сейчас остались математики, не умеющие кодить?
Умения кодить недостаточно - нужно уметь в архитектуру приложений, знать паттерны, солид и прочее. Математики не только всего этого не знают, но и настолько привыкают писать говнокод, что их практически невозможно переучить.
Аноним 29/10/20 Чтв 23:37:39 1843424420
zombie (1).jpg 384Кб, 512x512
512x512
>>1843423
>уметь в архитектуру приложений, знать паттерны, солид и прочее
чтож ты делаешь макакен уймись
Аноним 29/10/20 Чтв 23:42:44 1843426421