Программирование

Ответить в тред Ответить в тред
НЕЙРОНОЧКИ И МАШОБ ТРЕД №30 /ai/ Аноним 17/10/20 Суб 13:02:08 18325801
image.png 44Кб, 172x182
172x182
image.png 2632Кб, 1654x1063
1654x1063
image.png 4429Кб, 2128x2900
2128x2900
image.png 660Кб, 818x607
818x607
Очередной тред про хипстерские технологии, которые не работают.

Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ

Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus

Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/

Почему python?
Исторически сложилось

Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет

Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python

В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials

Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.

Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел

Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой

Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся

Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/

Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском

Где ещё можно поговорить про анализ данных?
http://ods.ai/

Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Google Colab дает бесплатно аналог GPU среднего ценового уровня на несколько часов с возможностью продления, при чем этот "средний уровень" постоянно растет. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
На сентябрь 2020 ждем 30хх серию в магазинах и падение цен на 20xx на авито, /hw/ в помощь

Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом

Кто нибудь использовал машоб для трейдинга?
Никто не использовал, ты первый такое придумал. Готовь камаз для бабла.

Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/

Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Аноним 17/10/20 Суб 13:04:49 18325822
Аноним 17/10/20 Суб 13:17:48 18325873
image.png 245Кб, 1897x1018
1897x1018
Аноним 17/10/20 Суб 13:23:32 18325914
>>1832580 (OP)
> matrix calculus
Линейная алгебра и есть.
> Почему python?
> Исторически сложилось
Индусам в ПТУ больше ничего не преподают.
Аноним 17/10/20 Суб 13:30:08 18325925
Аноним 17/10/20 Суб 13:50:33 18325976
16026188995930.gif 391Кб, 652x562
652x562
>>1832592
Рандомный зумер вкатывальщик без задач. Сам себя тут и пиарит
Аноним 17/10/20 Суб 13:55:54 18325987
>>1832597
> Senior Director of Data Science X5 Retail Group
> Engineering Manager ML RnD Yandex
> Head of AI Lab Facebook
> Рандомный зумер вкатывальщик без задач
Аноним 17/10/20 Суб 14:33:52 18326208
>>1832598
Больше других баззвордов выучил?
Аноним 17/10/20 Суб 14:38:25 18326239
> знаешь, что такое сигма и перевёрнутая А - джун
> знаешь импорт слесарьплов - мидл
> знаешь больше половины модных баззвордов - senior pizdabol na dvache
Аноним 17/10/20 Суб 15:20:43 183265510
Есть тут аспиранты ВШЭ которые машинкой занимаются? Какую лабу/подразделение посоветуете? Что скажете насчёт НУЛ Методов машинного обучения в биоинформатике(там где Попцова главная)?
Аноним 17/10/20 Суб 15:45:30 183269011
>>1832592
Ого, а Бабушкин то эстет, на постановку Гарри Потера ходил
Аноним 17/10/20 Суб 16:10:43 183273012
>>1832690
Если прям сильно завидуешь, напиши в лондонскую полицию, что он анаболики через границу везет. Слишком большой для работающего натурала. У него не должно оставаться много времени на качалку... Или он просто пиздаболит целый день, а потом идет на треньку?
Аноним 17/10/20 Суб 16:15:44 183273913
>>1832730
>он просто пиздаболит целый день
Учитывая сколько "тренингов" в неделю он проводит я бы не удивился.
Аноним 17/10/20 Суб 17:17:53 183281614
>>1832591
В курсе линейной алгебры рассказывают про матричные производные?
Аноним 17/10/20 Суб 17:29:25 183282015
>>1832619 →
>Бангалорские негры что, вручную подбивали сделали 900 сабмитов, пока не достигли 1.0? Это прямо какой-то особый вид сексуальных девиаций.
Не обязательно вручную, можно же вообще сервис краудсорсинговый написать. В каких-то соревнованиях по бинарной классификации без прайвата так и сделали вроде бы.
Аноним 17/10/20 Суб 17:31:40 183282516
>>1832730
>что он анаболики через границу везет
И коллекцию ножей
Аноним 17/10/20 Суб 17:32:03 183282717
>>1832619 →
Интересно, существует ли более оптимальный алгоритм, чем менять стейт по одному и заливать на тест
Аноним 17/10/20 Суб 17:34:47 183282818
>>1832655
>Какую лабу/подразделение посоветуете?
Советую прикладную геометрию и топологию на КС ВШЭ, единственный незашквар среди всей "машинки".
Аноним 17/10/20 Суб 17:41:21 183283519
>>1832827
Да много чего можно придумать, скорее всего всё сложнее было, можно начинать не с нуля а с какого-то бейзслайна разумного например итд
Другое дело зачем всё это надо, ты в машинлёрнинг хочешь научиться или рейтинг среди индусов задрочить?
Аноним 17/10/20 Суб 17:43:48 183284620
>>1832730
> Слишком большой для работающего натурала. У него не должно оставаться много времени на качалку...
У него и на три работы времени не должно было быть и на взятие кэгл мастера. Но такие топ тиер специалисты умеют в тайм менеджент.
Шварценеггер успевал в колледж ходить, на стройке работать и в качалке сидеть каждый день.
Аноним 17/10/20 Суб 18:03:34 183286321
Аноним 17/10/20 Суб 21:04:08 183306022
ML.NET уже хорош, или еще очень юн? Сам шарпист со стажем, нужно вкатиться в ML/DL. Все гайды/туторы на керасе, пайторче и прочей питонщине. Ничего против питона не имею, но просто любопытно что матёрые эйайщики думают о ML.NET?
Аноним 17/10/20 Суб 21:57:43 183310523
15960264102200.jpg 67Кб, 592x532
592x532
Аноним 17/10/20 Суб 22:31:00 183311424
EI4gLZSWkAAt0g.jpg 36Кб, 538x479
538x479
>>1833105
>новый
Плохо ты данные обрабатываешь. Но вообще последнее время какой-то пиздец, у меня весь ютуб вместо привычных TOP 10 EMBARRASSING ANIME SCENES этим чертом завален.
Аноним 18/10/20 Вск 00:07:00 183318225
Аноним 18/10/20 Вск 00:12:43 183318526
Аноним 18/10/20 Вск 00:56:15 183320827
>>1833060
Блядь в чём ваша проблеме, питон учится за 10 минут он максимально для этого и сделан в ущерб всему остальному
Аноним 18/10/20 Вск 01:12:27 183321928
>>1833208
>питон учится за 10 минут
Выучить базовый синтаксис =/= выучить язык.
Аноним 18/10/20 Вск 01:19:32 183323529
>>1833219
Выучить базовый синтаксис питона ~= выучить питон
Аноним 18/10/20 Вск 02:13:44 183326230
>>1833060
Обучай на питуне, импортируй в OpenCV / ONNX и.т.д.
Аноним 18/10/20 Вск 07:58:51 183333131
>>1833060
А расскажи что значит "нужно вкатиться"? Что за проект?
Аноним 18/10/20 Вск 08:01:55 183333232
>>1833060
> просто любопытно что матёрые эйайщики думают о ML.NET?
1. С чего ты взял что они тут матёрые?
2. С чего ты взял что совет матёрых практиков будет полезен тебе? Они в своем мире живут. Там нет млнет.
Аноним 18/10/20 Вск 09:08:17 183334233
Кто-нибудь уже был на собеседовании на вакансию Дата Саентиста?
Есть те, кто не из программистов перекатился в Data Science?
Сам сколько занимаюсь этим, все больше понимаю, что вроде бы ничего сложного, но при этом ощущение, что я тупой именно в IT, и что я могу написать работающий алгоритм и обработать данные, но при этом если понадобиться написать какой-нибудь простой скрипт, не связанный непосредственно с данными, то сяду в лужу. Насколько критично? На сколько важно знать SQL и как долго/сложно его учить? Вообще, какая обстановка в таких отделах, например, в банках? Ебут и увольняют сразу если что-то не знаешь или как-то полояльнее? Новая же относительно специальность и по идее почти все в ней новички.
Аноним 18/10/20 Вск 09:49:20 183334834
>>1833342
Как вкатился? Посоветуй курсы
Аноним 18/10/20 Вск 10:14:49 183335135
>>1833348
никак. на заводе работаю.
Аноним 18/10/20 Вск 10:26:11 183335436
>>1833342
> Есть те, кто не из программистов перекатился в Data Science?
> Сам сколько занимаюсь этим, все больше понимаю, что вроде бы ничего сложного,
Сколько?
Допустим, дадут тебе несложную работу чистить вилкой данные, но как ты будешь понимать конечную цель и процесс, чтобы почистить данные хорошо?
Аноним 18/10/20 Вск 10:39:41 183335837
>>1833342
>не из программистов перекатился в Data Science
Impossible. Либо на старших курсах идешь стажёром, либо уже опытным программистом перекатываешься на проект с датасаенсом.
Аноним 18/10/20 Вск 11:04:11 183336238
>>1833358
А как же кликер, Табло и PowerBI?
Они уже регрессии и lstm (наверное) сделали
Аноним 18/10/20 Вск 11:20:20 183336839
image.png 376Кб, 600x750
600x750
>>1833354
>Сколько?
С конца прошлого года
>Допустим, дадут тебе несложную работу чистить вилкой данные, но как ты будешь понимать конечную цель и процесс, чтобы почистить данные хорошо?
Допустим данные уже в формате csv. Сначала я посмотрю их размер, начало, конец, уберу всякую хуйню типа важных пояснений и тд. Затем методом из seaborn посмотрю где пропущенные значения и сколько их. Затем буду их заполнять(в зависимости от того какой признак, либо буду ставить среднее значение, либо моду, либо выведу в отдельный признак-столбец).
Затем в принципе буду изучать, что за признаки и скорее всего поудаляю некоторые. Затем буду кодировать категориальные(словесные) признаки. Если значений всего два, то использую LabelEncoder, если больше двух, то OneHotEncoder, чтобы не создавать у алгоритма иллюзию, что это ряд чисел. Затем нормализую все остальные столбцы MinMaxSciler-ом, хотя последнее не всегда нужно. Затем приду и скажу "я сделаль"
Аноним 18/10/20 Вск 11:33:25 183337040
Сколько готовы платить джуну в Data science? Ну в Сбербанке там каком-нибудь. Вот они расширяются и набирают еще долбоебов которые чего-то там на корсере прошли и способны чистить вилкой датасеты и отличают случайный лес от нейросети. Сколько будут платить? У кого есть такой опыт? Берут ли только из IT или если ты 30+ долбаеб, который преподавал математику или инженерил на заводе, но прошарился до уровня DS-макаки, то сойдет?
Какая ситуация на рынке труда вообще?
Аноним 18/10/20 Вск 11:42:01 183337141
Аноним 18/10/20 Вск 11:48:39 183337342
image.png 248Кб, 1200x800
1200x800
>>1833370
>долбоебов которые чего-то там на корсере прошли и способны чистить вилкой датасеты
такие сейчас никому не нужны
>только из IT
да, или топовые студенты норм вузов
>30+ долбаеб
отлетаешь на скрининге резюме
>Какая ситуация на рынке труда
Пизда рулю https://habr.com/ru/company/mailru/blog/511104/
Аноним 18/10/20 Вск 12:09:31 183337943
>>1833358
Через работу в стартапе, или опенсоурсе проекте ещё
Аноним 18/10/20 Вск 13:10:25 183341244
>>1833368

> Допустим данные уже в формате csv.
Сразу нет.

>Затем буду их заполнять(в зависимости от того какой признак, либо буду ставить среднее значение, либо моду, либо выведу в отдельный признак-столбец).
Так среднее или признак? Это зависит от модели.

> Затем в принципе буду изучать, что за признаки и скорее всего поудаляю некоторые.
Какие? Это зависит от модели

>Затем буду кодировать категориальные(словесные) признаки. Если значений всего два, то использую LabelEncoder, если больше двух, то OneHotEncoder, чтобы не создавать у алгоритма иллюзию, что это ряд чисел.
Не для этого. Если ты не понимаешь в нейронках, ты не знаешь почему он нужен

> Затем нормализую все остальные столбцы MinMaxSciler-ом, хотя последнее не всегда нужно.
А когда нужно? Это зависит от модели .

> Затем приду и скажу "я сделаль"
Ничего полезного не сделал.

Я так понял ты пару бесплатных заманух от skillbrain и тд посмотрел.

Да. Датасаентисты всем этим занимаются, но для модели. Осознанно.
Аноним 18/10/20 Вск 13:25:30 183342145
>>1833368
Тебе скажут "мда ебать ты дебил канешн", сами сделают import lgbtclassifier и скормят ему csv-файл в две строки, выкинув ненужные признаки. Причем обработка категориальных признаков и пропущенных значений там уже будет лучше чем у тебя.
Ну а потом такого гения посадят на месяц размечать данные.
Аноним 18/10/20 Вск 13:39:30 183343146
>>1833412
ты сам-то какой масти будешь?
Аноним 18/10/20 Вск 15:30:35 183353647
>>1833368
>Если значений всего два, то использую LabelEncoder

LabelEncoder кстати не для обработки входных данных X предназначен, а для y. Если будешь в pipeline его встраивать для обработки X, то будет падать с ошибкой. Для X используют OrdinalEncoder.
Аноним 18/10/20 Вск 16:46:10 183358948
>>1833536
>>1833421
>>1833412
>>1833373
>>1833371
Вот живу в мухосрани в миллионике. Работаю инженером-конструктором, самому 32 лвл. Зарплата 45к, мало. С конца прошлого года с перерывами занимаюсь Data Science. Думал, придрочусь немного, возьмут на джуна, и те же сраные 45к будут платить, зато перспектив куда больше. Теперь мне по специальности уже 60к предлагают, может даже на 65к получится. Для нашей мухосрани - ебать успех, однако это же скорее всего и потолок.
Но меня гложит, что вот старался, занимался, вроде даже чего-то понимать стал, и уйти на 60к снова инженером - это как бы поражение признать. Да и заебали эти железяки не тянуло к ним никогда.
Как Data Sientist я - полная макака, у меня несколько тетрадей с конспектами с корсеры и Леонардыча(Вадим Аббакумов, сам кстати из преподов ушел в Data Sience, хотя ему уже лет 60, но он дохуя математик ). Пишу код обложившись тетрадками и копирую куски кода из своих-же предыдущих работ, на память помню мало, голова на основной работе и так нагружена. Сам освоил numpy, pandas, matplotlib. Могу при помощи keras написать нейросеть прямого распространения. Сидел ковырял датасеты с кагла, пока самое большое, что смог наковырять - это 0,77 на Титанике. В целом математическая база хорошая, разбираюсь, в школе всякие олимпиады там выигрывал и тд.
Сижу блять думаю, что делать. В нашей мухосрани есть вакансии от сбербанка. Мне кажется, даже если они меня поговорить пригласят, то прямо в отделе кадров и обоссут. А вдруг нет? Может примерно такого макака-уровня и ждут, их ведь нет толком этих дата саентистов с опытом. Сам не знаю ни SQL этот ваш, ни хадуп. Только питон для анализа данных и более-менее матан.
Хуй знает куда повернуть. Хотя объективно никого не заинтересует даже мое резюме.
Аноним 18/10/20 Вск 16:49:02 183359149
image.png 527Кб, 1000x562
1000x562
>>1833589
>конспектировать курсы в тетрадочку
Да ты же поехавший.
Аноним 18/10/20 Вск 17:20:06 183361250
>>1833589
>Сижу блять думаю, что делать. В нашей мухосрани есть вакансии от сбербанка. Мне кажется, даже если они меня поговорить пригласят, то прямо в отделе кадров и обоссут.

тебе точно 32 года? встал и пошёл на собес! даже если нагнут тебя по полной, то будешь знать, что требуется. потом сможешь прийти к ним через годик.
нарисуй красивое резюме, напиши о проектах, сопроводительное сделай. чо как маленький? всю жизнь, что ли, в одном месте проработал?

p.s. хотя наверняка у вас есть уже небольшая группка околостудентоты местной, которая уже давно в теме и занимается всем этим наряду с жирняками-коммерсами, которые пилят DS-решения и толкают тем же заводам. у меня в миллионнике так.
Аноним 18/10/20 Вск 17:47:33 183364251
>>1833412
Ну это странные наезды, пробуешь всё понемногу пока не заработает, заранее нельзя сказать.
Аноним 18/10/20 Вск 17:57:46 183365052
16015598020110.webm 8768Кб, 400x224, 00:04:09
400x224
>>1833589
DS плохо аутсорсится. Поэтому придется работать на внутренний рынок. Если хочешь денег, то задрачивай вэб-фронтенд и английский.
Аноним 18/10/20 Вск 19:20:17 183373853
>>1833612
Он же на заводе каком-то работает или подобном болоте. Какой ему сбер. Тем более в мухосрани, лол, что там может быть, какой датасаенс, очнитесь.
Аноним 18/10/20 Вск 19:22:21 183374454
>>1833642
Так ты будешь титаник свой до старости пробовать. И он так и "не заработает." Потому что знать надо, что ты делаешь.
Аноним 18/10/20 Вск 19:53:00 183379655
>>1833331
Будучи уже профессиональным дотнетчиком, взял тему диплома, основой которого является ML, имея крайне поверхностное знание об оном и о питоне
Аноним 18/10/20 Вск 19:54:15 183380056
>>1833332
>1. С чего ты взял что они тут матёрые?
Ну не залетать же мне в тред с приветствием здарова пидарасы усосочные вы тут блядь все тут блядь шелуха нахуй блядь расскажите бате как вы на ML.NET дрочите и как он ваш хуетон и в def и в self ебёт
Аноним 18/10/20 Вск 19:55:33 183380557
>>1833332
>2. С чего ты взял что совет матёрых практиков будет полезен тебе? Они в своем мире живут. Там нет млнет.
Ну ёптыбля мне хоть для диплома осветить что вот выбирая пайторч я еще посмотрел на то это и ML.NET
Аноним 18/10/20 Вск 20:24:16 183386158
Блядь, таки отправил свое нелепое резюме в сбербанк. Ой пиздеееец. Ну хули тут, хуже не будет
>>1833589-кун
Аноним 18/10/20 Вск 20:38:47 183388559
>>1833861
да норм, молодец
не слушай никого, продолжай заниматься
рано или поздно, завод нахер пошлёшь и перекатишься в дс
Аноним 18/10/20 Вск 20:43:08 183389160
>>1833373
>30+ долбаеб
>отлетаешь на скрининге резюме
Зумер, спок. У него математический бекграунд, который в датасаенсе очень ценится. Возраст тоже не проблема. Наоборот, до 25-30 тебя никто серьезно воспринимать не будет и дальше миддла ты по любому не продвинешься.
Аноним 18/10/20 Вск 20:44:58 183389361
>>1833891
>инженер конструктор
>математический бекграунд, который в датасаенсе очень ценится
Лол
>до 25-30 тебя никто серьезно воспринимать не будет
Дружище... Сначала хотя бы джуном стань
Аноним 18/10/20 Вск 20:57:45 183391162
>>1833893
>математический бекграунд, который в датасаенсе очень ценится
>инженер конструктор
В соседнем треде очередной вкатывальщик не может проверить, делится ли одно число на другое. Так что вполне себе математический.
Аноним 18/10/20 Вск 21:01:51 183392363
training.gif 52Кб, 1020x208
1020x208
>>1833373
>такие сейчас никому не нужны
Чойта? Макакичи еще как нужны, причем их надо гораздо больше, чем топчик ДСеров-моделеплетов. Пока что их не получается заменить на нейроночки.
Аноним 18/10/20 Вск 21:19:13 183393964
>>1833923
Препод на дс-рассказывал, дсеры - штутчный товар на западе и в промышленных масштабах не нужны.
Аноним 18/10/20 Вск 21:25:46 183394465
>>1833744
> знать
Всё априорное знание типа гадания по размеру датасета это фуфло, повторяю. В реальной работе просто пробуют несколько вариантов и смотрят что лучше.
Аноним 18/10/20 Вск 21:52:19 183397566
>>1833923
>нужны
Пруфай количеством вакансий
Аноним 18/10/20 Вск 21:53:09 183397767
>>1833911
>очередной вкатывальщик
Да, он не вкатится. Но это не делает инженегра конструктора
математическим бекграундом
Аноним 19/10/20 Пнд 09:12:37 183419668
Screenshot266.jpg 92Кб, 995x688
995x688
>>1833421
>>1833642

А вот к примеру, есть Табличка из Applied-predictive-modeling-max-kuhn-kjell-johnson.pdf
Только этот Макс проебался при печати и нужны пояснения:
СZ - centering and scaling
NVZ - remove near zero predictors
Corr - remove higly correlated predictors

Чем плоха?
Аноним 19/10/20 Пнд 11:17:51 183431169
>>1834196
>NVZ - remove near zero predictors
Нихуя не понял, пошёл гуглить, и похоже, ты забыл слово Variance. Да и в целом непонятно, зачем удалять признаки с низкой дисперсией, если при этом они позволяют хорошо объяснять зависимую переменную.
А если по табличке, то:
>линейная регрессия не позволяет n < p
Позволяет
>Для нейронок нужно NZV и Corr
Про сомнительность NZV уже написал, так никто не делает. И он всерьез предлагает препроцессить тот же мнист, где половина признаков не изменяется, а вторая половина жутко скоррелирована?
Аноним 19/10/20 Пнд 11:55:31 183435370
>>1834311
>зачем удалять признаки с низкой дисперсией
Если у них дисперсия близка к нулю, то это почти константа, и оставлять их незачем - их уже моделирует bias term.
Аноним 19/10/20 Пнд 12:07:18 183436571
>>1834311
> И он всерьез предлагает препроцессить тот же мнист, где половина признаков не изменяется, а вторая половина жутко скоррелирована?
ну не надо придираться. Это попытка обобщить

>Table A.1 shows a short summary of several characteristics of the models discussed here. These properties generally hold, but are not always true for every problem.

У вас есть попытка лучше?
Аноним 19/10/20 Пнд 12:10:57 183436872
>>1834311
>А если по табличке, то:
>>линейная регрессия не позволяет n < p
>Позволяет


че-то тоже не пойму. Это противоречит моему пониманию линейной алгебры. Что ты имел ввиду?
Аноним 19/10/20 Пнд 12:50:11 183440673
>>1834196
>Чем плоха?
Ничем не плоха, шикарная табличка. Просто в 2020 году если у тебя
1. Нет ограничений на производительность по меркам нулевых годов
2. Не нужна интерпретабельность
ты просто берешь как тебе выше написали lgbtclassifier (boosted trees в твоей табличке) и не ебешь мозг - и препроцессинг не нужен, и фичи отбирать не нужно, и к шуму оно устойчиво. Просто молоток, которым можно херачить датасеты, и дальше твоей работой будет чистить их вилкой.
Аноним 19/10/20 Пнд 12:57:07 183441874
Аноним 19/10/20 Пнд 13:46:44 183447075
>>1834406
А как чистить вилкой датасеты?
Аноним 19/10/20 Пнд 14:10:12 183448276
>>1834470
— Чисти-чисти-чисти-чисти сука вот как блядь нужно чистить быстро раз-раз-раз! Чисти! Датасет! Чисти!
Аноним 19/10/20 Пнд 15:19:36 183453077
image.png 194Кб, 860x278
860x278
>>1834353
>Если у них дисперсия близка к нулю, то это почти константа, и оставлять их незачем - их уже моделирует bias term.
Предсказываем, умрет ли человек в течение года.
Признак - есть ли у человек редкая болезнь жопеншмульца, от которой умирают в течение года.
Болезнь встречается очень редко, поэтому дисперсия близка к нулю.
Каким образом bias term будет моделировать этот признак?

>>1834368
Если у тебя хорошие априорные знания о распределении параметров модели (например, если ты точно знаешь, из функции какого вида надерганы данные), то у тебя в случае n < p всё не так уж плохо.
Аноним 19/10/20 Пнд 15:23:27 183453278
Чё про северсталь скажете, норм там дс ТРАНСФОРМАЦИЮ забубенили, есть чем позаниматься?
Аноним 19/10/20 Пнд 15:35:28 183453779
image.png 432Кб, 1202x593
1202x593
Ребята, приветствую!

Сразу оговорюсь, я тут новичок. Закончил недавно курсы по DA на Яндексе. Теперь ищу работу в ДС2 - аналитиком или продактом. Хотя бы стажёром для начала. Знания после курсов конечно стремительно выветриваются из головы, поэтому нужна практика, новое что-то. Вот посоветуйте, чем проникаться, как и где лучше всего искать вакансии?
Имею вышку (мухосранский государственный, дневное, очное) программиста, но кодить за 14 лет уже разучился (хотя основы конечно же знаю и помню), да и вуз в то время ничего практически ценного не давал, и даже скорее отбил желание углубляться в программирование. Поэтому около 15 лет работал сисадмином (больше виндовым), сейчас админство порядком подзаебало + последняя контора обанкротилась, а таких денег, как в ней, мне не светит (около 100 на руки).

В общем, сейчас нуждаюсь в неком элементе наставничества, состоящего из ваших советов, лайфхаков, смехуюточек, которые направят меня из состояния прокрастинации к профессиональным подвигам.

Если ошибся тредом, ёбните меня палкой и покажите правильный.
Аноним 19/10/20 Пнд 15:40:36 183454180
>>1834530
>Каким образом bias term будет моделировать этот признак?
Никак, но и загнав в линейную регресиию его дело особо не поправится: из mse следует что вес у этого признака получится такой же милипиздрический как и bias.
Аноним 19/10/20 Пнд 15:50:22 183455181
panduan misi fr[...].jpg 128Кб, 1600x900
1600x900
>>1834406
ну, во-первых, это не нулевые годы, а 2013.
во-вторых, что мы теряем в этом вашем ЛБГТ? какие минусы?

tuned parameters = 3 - и мы по-прежнему не избавлены от труда
Аноним 19/10/20 Пнд 15:53:24 183455482
16015598020110.webm 8768Кб, 400x224, 00:04:09
400x224
Аноним 19/10/20 Пнд 15:56:59 183455983
.png 953Кб, 1000x1434
1000x1434
>>1834537
На какие из твоих вопросов не отвечает оп-пост?
Аноним 19/10/20 Пнд 16:05:07 183457084
>>1834554
Ого ничего себе, формулу условной вероятности попросили написать. Жесть...
Аноним 19/10/20 Пнд 16:16:07 183458585
>>1834559
Они написаны для DS больше, как мне кажется. Впрочем...
Аноним 19/10/20 Пнд 16:31:02 183460486
>>1834537
Лол, пошёл нахуй, лодырь ёбаный, делать нам тут нечего, кроме как великовозрастного балбеса развлекать.
Аноним 19/10/20 Пнд 17:05:08 183464387
>>1834541
>из mse следует что вес у этого признака получится такой же милипиздрический
Ну вообще-то нет, но ладно.
Аноним 19/10/20 Пнд 17:05:58 183464488
Нравится математика, сосать хуи преподом за гречу не хочу. Куда вкатываться?
Аноним 19/10/20 Пнд 17:06:47 183464889
Аноним 19/10/20 Пнд 18:29:27 183475890
>>1834551
>ну, во-первых, это не нулевые годы, а 2013.
Эта толстая книга - некоторый итог машоба нулевых. Нулевые здесь как эпоха скорее, эпоха медленных компьютеров и еще более медленного эмбеддинг-железа.
А потом появилась цифровизация всего и теперь даже у кабанчика среднего пошиба бизнес генерит довольно большие датасеты бесплатно. Соответственно подход изменился.
Вообще исторический тренд понятен - в машобе всегда побеждают универсальные алгоритмы, пусть даже в ущерб производительности и точности. Потому что со временем датасеты растут, железо ускоряется, и в итоге все эти маня-оптимизации типа сделать-PCA-перед-обучением проигрывают тупым лобовым методам. Скорее всего в двадцатые нейросети-трансформеры или их потомки съедят нахуй вообще.
>во-вторых, что мы теряем в этом вашем ЛБГТ?
Я написал, что - интерпретируемость и перформанс. Но сейчас это вообще не проблема. Знать, конечно, надо все методы, чтобы не быть батхертом.
Аноним 19/10/20 Пнд 18:31:21 183476091
>>1834541
> из mse следует что вес у этого признака получится такой же милипиздрический как и bias.
Падажжи, но ведь если фичу поделить на ее дисперсию, то подобной хуйни уже не будет. Они там реально не скейлят свои фичи?
Аноним 19/10/20 Пнд 19:07:05 183479892
>>1834758
ну погоди. Эт же книга меня учит, что No Free Lunch Theorem.
Причем, теорема строго доказанная.
Она начинается с этого утверждения и смысл книги в этом.


И так, что еще потеряли в ЛБГТ?
Аноним 19/10/20 Пнд 19:10:53 183479993
>>1834758
>Знать, конечно, надо все методы, чтобы не быть батхертом.
блядь, спасити. Я больше не могу....
эта хуйня слишком объемная.
Я лучше в дивопсы перекачусь.
Аноним 19/10/20 Пнд 21:19:19 183485794
>>1834799
Лол, выкатился, не успев вкатиться.
Аноним 19/10/20 Пнд 21:25:57 183486195
>>1834799
на самом деле примерно 95% работ решается примерно так

import pandas as pd
import os
import re
import pymysql

тут хуйня

ибо готовой отчет тети сраки сам себя не распарсит, а кегля внезапно не приносит доход
Аноним 19/10/20 Пнд 21:36:40 183486696
Screenshot254.jpg 75Кб, 1121x828
1121x828
Screenshot252.jpg 262Кб, 1959x1140
1959x1140
Аноним 19/10/20 Пнд 21:43:08 183486897
>>1834866
Опять ты со своим кликером.

Чего ты там повторил? Использовал готовую модель чтобы превратить картинку в эмбеддинг и найти похожие при помощи тривиальной метрики? Это делается ровно в столько же строчек на питоне, сколько у тебя элементов в кликере.
Аноним 19/10/20 Пнд 21:46:12 183487098
Screenshot267.jpg 25Кб, 524x460
524x460
>>1834868
ты забыл про интерфейс просмотра и выбора картинок.
Ни строчки бойлерплейт-кода не написано.
Аноним 19/10/20 Пнд 21:48:44 183487399
15410631928650.png 52Кб, 442x558
442x558
Аноним 19/10/20 Пнд 21:50:18 1834874100
>>1834873
в принципе, да. Завтра идем на IPO.
Аноним 19/10/20 Пнд 21:54:08 1834880101
>>1834870
>Ни строчки бойлерплейт-кода не написано.
Бойлерплейт это не самое большое зло.

Вот попросят тебя выкатить проект в прод, а у тебя либо не получается воспроизвести результаты, либо что-то работает не так как в кликере. Что делать будешь?
Аноним 19/10/20 Пнд 21:56:14 1834881102
>>1834880
> либо что-то работает не так как в кликере

Или IE11 не поддерживается. Или на Сафари списочки сползают. Он сам на это подписывается, тащемта.
Аноним 19/10/20 Пнд 21:58:31 1834883103
>>1834880 Тут главное в том , что меня завтра ПОПРОСЯТ!
Будет что выкатывать в прод.

Самое ужасно для меня - клепать никому не нужные клоны tower defence.

Поэтому я здесь.
Аноним 19/10/20 Пнд 22:00:50 1834886104
>>1834883
> не видит разницы между просьбой и таской
Пчел...
Аноним 19/10/20 Пнд 22:31:06 1834899105
>>1834886
Это у тебя там таска. А я свободный исследователь.

Прочитал статью, что небольшие изменения в фото сбивают с толку классификатор при достаточно большом наборе и решил убедиться,что все именно так и работает.

И убедился!
Аноним 19/10/20 Пнд 22:42:27 1834907106
Разновидность-ч[...].jpg 32Кб, 700x400
700x400
>>1834899
> А я свободный исследователь.

В свободном полете? лол блять вы в этом итт все такие или этот просто идейный
Аноним 19/10/20 Пнд 22:50:25 1834912107
datascience.webm 236Кб, 1920x1080, 00:00:06
1920x1080
>>1834907
Присоединяйтя. Это значительно интересней чем css весь день подгонять .
Аноним 19/10/20 Пнд 22:55:00 1834915108
759b853b168133a[...].jpg 239Кб, 1920x1200
1920x1200
>>1834912
Сорян бро, я лучше напишу еще один клон tower defense без бойлерплейт-кода и получу аванс послезавтра и зп 5-го.
Добра.
Аноним 19/10/20 Пнд 23:00:10 1834919109
>>1834915
но тебе на выплатят. Твой барин пиздит.
Клонов TowerDefence уже более 1000.
Это полностью провальная идея.
Аноним 19/10/20 Пнд 23:21:36 1834934110
>>1834899
>Это у тебя там таска. А я свободный исследователь.
Даже если нет барина, то планировать работу при помощи тасков все равно нужно - для себя.
Аноним 19/10/20 Пнд 23:25:34 1834939111
zhak-fresko-mem[...].jpg 31Кб, 512x269
512x269
>>1834934
Ну что ты мне пытаешься доказать, родной ?
Это тред настоящих исследователей!
Здесь рождается будущее!

Сваливай, тебе завтра перед ПМ отчитываться.
Аноним 19/10/20 Пнд 23:31:04 1834941112
15972079551650.png 83Кб, 511x407
511x407
>>1834939
>настоящих исследователей
>без ML PhD
Аноним 19/10/20 Пнд 23:31:24 1834942113
Опять вейджики со своими РЕЗУЛЬТАТАМИ и ОРГАНИЗАЦИЯМИ РАБОЧЕГО ПРОЦЕССА подкатили
Аноним 20/10/20 Втр 05:03:11 1835066114
>>1834919
Выплатят, конечно, зря я в штате что ли числюсь? И если мне закажут 1001-й клон tower defense, я его реализую, это все равно пахнет лучше гребли на госконтору. Впрочем, если ты называешь заказчика барином, то выводы о твоем холопскои мышлении гапрашиваются сами собой.
Аноним 20/10/20 Втр 05:26:45 1835070115
>>1834798
>ну погоди. Эт же книга меня учит, что No Free Lunch Theorem.
>Причем, теорема строго доказанная.
Она говорит о том, что для любого алгоритма можно сконструировать искусственный датасет, на котором он соснет, а другой алгоритм соснет меньше. Практических выводов эта хуйня не несет, потому что
1. Датасеты не искусственные, они естественные. Под искусственным понимается какая-нибудь рандомная хуйня с рандомными лейблами. В реальности же господь бог дал нам вселенную, в которой все красиво и упорядоченно, даже график продаж хлеба в пятерочке
2. Она сфокусирована на машиночасах, а не человекочасах. Между двумя алгоритмами, один из которых требует больше человекочасов, а второй больше машиночасов - второй со временем становится всегда более предпочтительным из-за технического прогресса.
Аноним 20/10/20 Втр 07:58:27 1835093116
>>1835070
> Датасеты не искусственные, они естественные. Под искусственным понимается какая-нибудь рандомная хуйня с рандомными лейблами. В реальности же господь бог дал нам вселенную, в которой все красиво и упорядоченно, даже график продаж хлеба в пятерочке
Да и действительно. Спасибо боженьке за то, что не существует некорректнопоставленных задач, а то что бы мы делали.
Аноним 20/10/20 Втр 08:10:00 1835096117
>>1835093
Мы бы пиздили уебков типа тебя, которые сыпят случайными терминами в разговоре, смысл которого не понимают
Аноним 20/10/20 Втр 08:18:25 1835101118
16009440839250.jpg 71Кб, 592x532
592x532
>>1835096
> Мы бы пиздили уебков типа тебя, которые сыпят случайными терминами в разговоре, смысл которого не понимают
Аноним 20/10/20 Втр 08:35:59 1835108119
Господа, требуется ваша помощь. Хочу попробовать решить имеющуюся задачу с помощью нейросетей. Имеется ~100 тысяч пар вида "вход - правильный выход", соответственно требуется построить некую сеть, которая, будучи обученной на этом наборе, будет выдавать приемлемые результаты для новых входных данных.

Облако я куплю (если нужно, без проблем), с программированием всё в порядке. Но:
1. Я не планирую вкатываться в тему глубоко, читать тысячи книг и всё прочее. Мне нужно попробовать решить конкретную задачу. Если не выйдет - ну и фиг с ним. Соответственно мне нужно что-то, во что я смогу вкатиться максимально быстро.
2. У меня нет никакого опыта в этом вообще, не знаю даже, с какой стороны подойти к вопросу.

Кроме того, по первой же ссылке из гугла (на хабре) я прочитал, что "многослойный перцептрон", который вроде бы подходит под мои входные данные - не подходит для серьёзной работы.

В итоге созрело два вопроса:
1. Что мне взять с учётом имеющейся задачи и того, что ресурсы будут?
2. Есть ли туториалы, фокусирующиеся на практике, с которыми можно работать, имея знания программиста, без изучения сотен теоретической информации?
Аноним 20/10/20 Втр 08:41:58 1835111120
Аноним 20/10/20 Втр 08:53:39 1835113121
>>1835108
это делается на изи в Orange.
Аноним 20/10/20 Втр 09:15:56 1835124122
>>1835108
Какой формат входов и выходов?
Аноним 20/10/20 Втр 09:39:41 1835134123
image.png 329Кб, 800x500
800x500
Аноним 20/10/20 Втр 10:03:09 1835139124
>>1835113
Я так понимаю, что это визуальная среда? Удобно, если можно гуй запускать на одной машине, а считать на другой. У меня как раз сейчас простаивает физический хост с 32c/64t и 256 гигов оперативы, я хотел начать с него, а облако докупать уже при необходимости.

>>1835124
Вход - звуковой файл, выход - переменное количество временных позиций в этом файле (в виде количества миллисекунд, прошедших с начала).
Вообще я планировал разбить каждый звуковой файл на части (по частоте дискретизации), каждую часть пропустить через DFT, и полученные данные просто последовательно сдампить в бинарный файл, и этот файл уже использовать как вход. Не знаю, оправданно ли это в данном случае. Просто есть некоторый опыт программирования звука, и чисто эмпирически кажется, что так будет правильнее.
Аноним 20/10/20 Втр 10:11:37 1835141125
teamajdapretnar.jpg 47Кб, 450x540
450x540
>>1835139
>Я так понимаю, что это визуальная среда? Удобно, если можно гуй запускать на одной машине, а считать на другой. У меня как раз сейчас простаивает физический хост с 32c/64t и 256 гигов оперативы, я хотел начать с него, а облако докупать уже при необходимости.

Так ты не пытайся натянуть возможности на задачу, а решай задачу.
Сооруди прототип в Orange, а там видно будет.
Среда в основном однопоточная, только лишь тестирование нескольких моделей параллельное.

>я прочитал, что "многослойный перцептрон", который вроде бы подходит под мои входные данные - не подходит для серьёзной работы.
Вообще охуеть. Данные не изучал, на Хабре прочитал.
Аноним 20/10/20 Втр 10:21:04 1835146126
>>1835139
эх, но вообще в Orange есть специальный набор виджетов для звука, но это побочный проект, они не включены в дистрибутив и не работают. Вряд ли ты его починишь так с разбегу. Однако можешь украсть в этом коде выделение features (то, чем ты занимаешься планируя обработку)

И для рекуррентных нейронок нет вообще ничего.
Только если ты действительно все признаки предобработаешь как описываешь.
При таком уровне заебанности, встает вопрос имеет ли смысл разбираться в Orange. Это не быстрая победа.
Но нейронку оно тебе слепит, конечно.
Заодно попробуешь как на твой задаче классические алгоритмы работают.
Аноним 20/10/20 Втр 10:44:01 1835150127
>>1835139
>Вход - звуковой файл, выход - переменное количество временных позиций в этом файле (в виде количества миллисекунд, прошедших с начала).
Это не будет работать, нейронки крайне хуево считают количества чего-либо. Тебе нужно поменять выход на набор векторов типа
00000100000010000100001
где 0 и 1 - это флоаты, 1 соответствует позиции в wav файле, которая соответствует нужному событию (если есть много разных типов событий, каждому должна соответствовать своя "выходная вавка"). То есть датасет должен выглядеть так:
input [звук звук звук звук звук звук звук звук]
event1 [0000000000100000000000000000000000]
event2 [0001000000000000001000000001000000]
Либо, если эвент протяженный по времени (что практически всегда правда и так будет лучше обучаться)
event3 [0000000000111111000000000011110000]

Затем ты эти эвенты склеиваешь в один многомерный тензор с шейпом [число примеров; длительность вавки; число событий]
После этого ты уже внешними по отношению к сетке методами соберешь, на какой миллилсекунде были единицы.

Бери https://github.com/f90/Wave-U-Net , сначала разберись с тем, как запустить тренировку их задачи, затем разберись с форматом датасета, адаптируй свои данные под этот датасет (лучше входные данные всячески попортить-пофильтровать, чтобы условные сто мегабайт превратить в пару гигабайт) и вперед. Обрати внимание на такой параметр, как receptive field у сетки, потому что если у тебя выходной пиксель не будет иметь достаточно информации на входе, он решение принять не сможет, сколько бы ты ни старался. Receptive field зависит от filter width в каждом слое.

>разбить каждый звуковой файл на части (по частоте дискретизации), каждую часть пропустить через DFT
Ты изобретаешь STFT, ознакомься с библиотекой librosa
Зависит от того, нужна ли тебе фазовая информация о сигнале. В целом, по моей ссылке есть как модели, работающие с сырым звуком, так и со спектрограммами
Аноним 20/10/20 Втр 11:37:11 1835191128
Screenshot268.jpg 88Кб, 1681x691
1681x691
>>1835139
Ну смотри, кое-какой feature extraction я смог заставить работать в Orange.

У тебя хоть звуки там или поебень в виде звуков?
Аноним 20/10/20 Втр 13:05:44 1835248129
>>1835141
>>1835146
Спасибо, аноны. Orange я всё-таки возьму и поковыряю, посмотрю, что будет.

>>1835150
> Тебе нужно поменять выход на набор векторов типа
> 00000100000010000100001
> где 0 и 1 - это флоаты, 1 соответствует позиции в wav файле, которая соответствует нужному событию (если есть много разных типов событий, каждому должна соответствовать своя "выходная вавка"). То есть датасет должен выглядеть так:
> input [звук звук звук звук звук звук звук звук]
> event1 [0000000000100000000000000000000000]
> event2 [0001000000000000001000000001000000]
> Либо, если эвент протяженный по времени (что практически всегда правда и так будет лучше обучаться)
> event3 [0000000000111111000000000011110000]
Понял, спасибо за подробное разъяснение. Трансформировать выходные данные проблем нет, в любой удобный вид.

> Бери https://github.com/f90/Wave-U-Net , сначала разберись с тем, как запустить тренировку их задачи, затем разберись с форматом датасета, адаптируй свои данные под этот датасет
Вот это интересно выглядит, судя по описанию. Значит, буду ставить и пробовать.

> Ты изобретаешь STFT
Так и знал, что у этого есть своё название.

Сохранил твой пост, анон! Большое спасибо за подробности.

>>1835191
> У тебя хоть звуки там или поебень в виде звуков?
У меня вполне человеческие звуки - музыка всякая и песни.

---

Главное, что я понял - быстро не получится. Ну и ладно, для себя ведь делаю.
Аноним 20/10/20 Втр 13:27:24 1835261130
>>1835248
>Главное, что я понял - быстро не получится. Ну и ладно, для себя ведь делаю.

Вангую, сделаешь в Orange какую-то поебень с AUC 0.6 и забьешь.

С аудио он работал, ахаха. Байты в дотнете перегонял.
Аноним 20/10/20 Втр 13:34:32 1835262131
https://www.youtube.com/watch?v=DW61PpKJGm8

Вот.Все уже видели?

Эта задача в НИКОГДА не работала в старых приложениях. Ни разу не удалось мне насвистеть или что-то напеть.
А тут все легко получается с Гуглом.
Аноним 20/10/20 Втр 13:37:03 1835263132
>>1835262
ненужно зумеры вапник каминс бабушкин
Аноним 20/10/20 Втр 13:47:05 1835271133
>>1835248
Чтобы быстро - поищи свою идею на гитхабе, 99% ее уже написал какой-то китаец
Аноним 20/10/20 Втр 13:53:33 1835275134
>>1835262
Технологии которые мы заслужили фейспалм
Аноним 20/10/20 Втр 14:30:42 1835316135
Screenshot270.jpg 23Кб, 794x206
794x206
Аноним 20/10/20 Втр 16:07:01 1835414136
>>1835262
Может, это просто ты хуёво свистишь? Ритмотека уже сколько лет существует.
Аноним 20/10/20 Втр 16:15:02 1835430137
>>1835414
Отлично я свищу. А про этот сайт с дизайном как из 2000 года первый слышу.
Аноним 20/10/20 Втр 16:34:55 1835461138
>>1835263
> бабушкин
Ебырь твой?
Аноним 20/10/20 Втр 17:25:13 1835508139
>>1835461
Хочу такого ебыря.
мимо натурал
Аноним 20/10/20 Втр 18:33:53 1835555140
Вот скажите. Есть же нейросети, все дела. Почему боты в компах до сих пор тупые? Не берем в рассчет всякие шутаны, где на ботов зачастую похуй. От них не требуется быть дохуя умными. Но вот почему в стратегиях, где это очень важно боты до сих пор тупят . Возьмем 6 циву. Боты на высшем уровне сложности посасывают у +- шарящего человека. Нельзя подрубить нейросети и натренеровать ботов?
Аноним 20/10/20 Втр 18:35:01 1835556141
>>1835555
Зачем, чтобы они у человека выигрывали?
Аноним 20/10/20 Втр 18:38:02 1835557142
Аноним 20/10/20 Втр 19:51:11 1835596143
>>1835555
>Но вот почему в стратегиях, где это очень важно боты до сих пор тупят
Рыночек порешал - зачем что-то делать, когда и так продается? Вдобавок, такая нейросеть будет потреблять ресурсов не меньше, чем сама игра.
Аноним 20/10/20 Втр 19:59:16 1835599144
>>1835596
Да можно и на классике запилить непобедимый алгоритм. Просто играть будет неинтересно, а для профи есть мультиплеер
Аноним 20/10/20 Втр 20:14:46 1835606145
>>1832580 (OP)
Какую видюху для датацентров можно купить? Tesla V100 слишком дорогая. А кроме нее я ничего не знаю для датацентров...
Аноним 20/10/20 Втр 20:16:31 1835608146
>>1835555
>>1835556
>>1835596
>>1835599
Для ботов с которыми интересно играть может и не надо, зато удобно баланс править если будет rl решение из коробки.
Аноним 20/10/20 Втр 20:16:38 1835609147
image.png 18Кб, 718x123
718x123
>>1835555
А теперь представь, сколько корейцев выпилится, если заопенсорсить агента, играющего в sc2.
Аноним 20/10/20 Втр 20:16:54 1835610148
>>1835606
Нахуя тебе для датацентров? Ты ограничен лицензией или дохуя памяти нужно?
Аноним 20/10/20 Втр 20:18:21 1835612149
Нечёткий братишка, смотри, настоящий олдскульной незумер нОуки тебе подогнал
https://www.fundamental-research.ru/ru/article/view?id=39961

> На сегодняшний день существует множество моделей и типов искусственных нейронных сетей, различных по своей структуре и функционалу [2]. Из всего многообразия архитектур особняком стоят сети Хопфилда, которые, наряду с алгоритмом Back Propagation, в 70-х годах возродили интерес в области искусственных нейронных сетей (ИНС) после многолетнего спада. Сети Хопфилда обладают свойством за конечное число тактов переходить из произвольного начального состояния в состояние устойчивого равновесия, называемого аттрактором или точкой равновесия. Точка равновесия соответствует одному из множества первоначально предъявленных сети образов и достигается при предъявлении на входы сети как идеальных, так и зашумленных объектов для распознавания.
>
> Целью работы является модернизация классической сети Хопфилда для увеличения её производительности на основе информационных свойств воды.
>
> Материалы и объекты исследования
Аноним 20/10/20 Втр 20:21:01 1835614150
>>1835609
Гоям пиздец обидно наверно сейчас жить, это шахматы так, лёгкое развлечение, а азиатов профессионалов чуть ли не с двух лет исключительно под игру в го растят.
Аноним 20/10/20 Втр 20:21:10 1835615151
>>1835610
Я ограничен тем, что у нас уже есть купленные датацентры.
Аноним 20/10/20 Втр 20:21:18 1835616152
>>1835608
Ну вот в доте правили баланс, опираясь на про-сцену. В итоге половина героев неиграбельна, потому что при игре со школьниками их потенциал не реализуется.
А ты предлагаешь править баланс, опираясь на игроков со сверхчеловеческим уровнем. Да и сколько времени это все обучать придется. Проще взять тестеров (в 2020 - людей, купивших early access) и опираясь на статистику что-то подправлять.
Аноним 20/10/20 Втр 20:31:04 1835622153
>>1835615
серверы что ли? В них должна пройти любая карта с blower type охладом или даже водянкой. Тут скорее вопрос нужен ли тебе nvlink и объем памяти.
Аноним 20/10/20 Втр 20:32:00 1835623154
>>1835612
Лол. Читаю первый абзац: ну норм, челик поднял Хопфилда, старо но исследования еще есть, вон недавно было про аттеншн как сеть хопфилда.
Второй абзац: х_х
Аноним 20/10/20 Втр 21:01:48 1835667155
image.png 341Кб, 1422x704
1422x704
>>1835612
Так автор статьи и есть нечёткий братишка.
Аноним 20/10/20 Втр 21:24:22 1835686156
>>1835622
Там какая-то приколюха с драйверами была. Чето патчили кляти линуксоиды.
Можешь раскрыть тему? Я запишу на будущее.
20/10/20 Втр 22:11:09 1835748157
15017058414480s.jpg 10Кб, 250x248
250x248
15044489213660s.jpg 6Кб, 134x250
134x250
unnamed.jpg 62Кб, 365x512
365x512
такую то классику проебали!
Аноним 20/10/20 Втр 22:14:46 1835750158
>>1835686
Если
1. У тебя хэдлесс система вообще без мониторов
2. Либо система с монитором но ты хочешь контролировать вентиляторы через nvidia-settings, потому что стандартный драйвер склонен недокручивать обороты и эксплуатировать при 85 градусах (справедливо для бловеров как раз и мульти гпу, с нормальным геймерским охладом все и в стоке хорошо)
3. И у тебя несерверный бомжегпу, что нвидиа не одобряет в серверных решениях

Тебе нужно установить иксы, и в xorg.conf прописать виртуальные мониторы с минимальной герцовкой и разрешением
Типа https://gist.github.com/ArrEssJay/0e126a56b0ee9f23551a98fb258414c6
Это съест пару мегабайт видеопамяти, что совершенно некритично.
В целом для параллельной тренировки кучи моделей смысла покупать v100 вместо 2080ti или 3080/3090 ноль, за цену одной карты можно взять целый сервер.

Другой вопрос если ты хочешь nvlink между 4 гпу для быстрой тренировки одной модели на куче гпу. Тут уже нужно тратиться на серверные варианты, потому что на консьюмерских картах нвлинк есть максимум между 2 карточками - хотя если это 3090... И в таком формате облака выходят уже не особо и дорогими.

Короче, железо это отдельная специализация, нюансов там много.
Аноним 20/10/20 Втр 22:26:41 1835762159
>>1835612
А в чём проблема, метод же показал очевидную стабильность в работе сети как в синхронном, так и асинхронном режимах.

Серия экспериментов с чёрно-белыми объектами размером 40×60 пикселей (2,34 кБ), содержащими рисунок папиллярных узоров, показала, что сети типа TWaterNet уверенно запоминают и впоследствии распознают около 450 идеальных или 420 слабо искаженных (до 4 %) объектов, что составляет соответственно 17 % от общего числа нейронов сети, равного 2400.

Заключение

Предложенный способ реализации расчёта коэффициентов сети Хопфилда на основе введения дополнительных связей между нейронами сети по типу связей в молекуле воды на примере распознавания папиллярных рисунков показал очевидную стабильность в работе сети как в синхронном, так и асинхронном режимах. Успешные эксперименты с достаточно простым способом введения дополнительных связей позволяют сделать заключение о целесообразности разработки объектов класса TSnowNet и их дальнейшего исследования.


Аноним 21/10/20 Срд 05:14:08 1835881160
>>1835762
> расчёта коэффициентов сети Хопфилда на основе введения дополнительных связей между нейронами сети по типу связей в молекуле воды
Орнул в голосяндру, чому они гравитационные волны и мю-мезоны еще не приплели?
Аноним 21/10/20 Срд 08:06:33 1835918161
>>1835612
>>1835623
>>1835667
>>1835881
Ну добавили дополнительных связей в сеть Хопфилда, с чего такое массовое бамболейло?
Аноним 21/10/20 Срд 11:48:43 1835990162
>>1835918
>сеть Хопфилда
Да хоть в дыру Хокинга, молекула воды то при чем в этой ахинеи? Чем другие дипольные молекулы не понравились, не так пафосно звучат?
Аноним 21/10/20 Срд 12:08:25 1836011163
16032615065710.jpg 63Кб, 592x532
592x532
>>1835990
Но там же написано, при чем вода, и почему именно вода, а не другие дипольные молекулы. Почему вы такие, зумера?
Аноним 21/10/20 Срд 12:38:04 1836026164
>>1836011
>идеи информационных свойств воды, впервые описанных в [5] японским исследователем М. Трусонюхом
Серьезно бля? И вот эту вот дичь на серьезных щах загоняют трясуны?
Аноним 21/10/20 Срд 12:54:22 1836041165
>>1836026
Зумер, спок! Почитай сначала про нечеткую логику, а потом кукарекай по поводу компетентности исследователей.
Аноним 21/10/20 Срд 13:08:23 1836057166
>>1836041
>Почитай сначала
Думаю нужно в начале читать Коран, без него в машоб никак, ведь на все воля Аллаха. Намаз сделал, ящик трясанул и можно грант пилить.
Аноним 21/10/20 Срд 13:09:31 1836060167
Кстати, кто нибудь уже сделал Православную Нейросеть на основе духовности и скреп?
Аноним 21/10/20 Срд 13:18:25 1836072168
el-arca-perdida[...].jpg 113Кб, 900x600
900x600
Аноним 21/10/20 Срд 15:38:47 1836184169
image.png 377Кб, 1127x685
1127x685
Анончики, у меня вопрос. Я умею эксель (не VBA, но более-менее хуевертить таблицами и формулами могу), pandas и несколько штук из sklearn. Могу рассказать, как работают деревья. Также проходил курсы по R, но если сейчас посадить за пекарню и сказать «сверстай мне модель», я еще минут 20 буду ковыряться в документации.
Знаю, что такое train_test_split и зачем он нужен, пару моделек даже грузил на каггл и закономерно пососал. На днях вот обнаружил catboost, но пока плотно не освоил. Нашел какой-то видос про него, а там писюха из яндекса полтора часа говорит какие-то сложные математические слова.
Еще слушал лекции и делал задания по матстату на степике, вроде базу какую-то освоил, уже знаю, в какой фиче надо медиану, а в какой среднее и что такое р-значение.
Но я не могу в матан вот прям совсем (заканчивал истфак, на первом курсе с легкостью решал задачки с матрицами, сейчас все забыл)
У меня к этому и вопрос — есть ли смысл пока продолжать трясти коробку и подставлять разные параметры, особо не задумываясь, как она работает, осваивая все это по принципу "чтобы код сделал так, напиши вот это"? На каком этапе развития в сфере прогнозирования и машин лернинга мне понадобятся знания матана «на бумаге»?

Кун 24 лвл, работаю маркетологом
Аноним 21/10/20 Срд 16:25:38 1836201170
Двачик, поясни ньюфагу за мем слесарьплов
Аноним 21/10/20 Срд 17:43:02 1836272171
.png 1678Кб, 2000x2868
2000x2868
>>1836184
> Могу рассказать, как работают деревья
> На днях вот обнаружил catboost, но пока плотно не освоил. Нашел какой-то видос про него, а там писюха из яндекса полтора часа говорит какие-то сложные математические слова.
Противоречия не видишь?
Аноним 21/10/20 Срд 17:59:41 1836287172
>>1836272
Я же говорю, плотно не освоил. Мне с ним сложнее, чем в деревьями из sklearn, а при попытке изучения все упирается не в энтропию, а в какую-то нех
Аноним 21/10/20 Срд 21:54:53 1836438173
Вдруг кто-то знающий сидит, есть ли что-то стабильнее чем PPO? А то статье уже 3 года, а я ничего лучше не знаю.
Аноним 22/10/20 Чтв 07:53:44 1836633174
Screenshot2020-[...].png 572Кб, 1290x960
1290x960
>>1836184
>На каком этапе развития в сфере прогнозирования и машин лернинга мне понадобятся знания матана «на бумаге»?
Матан - это не знания, а навыки. Посмотри любое видео Yannic Kilcher с разбором пейперов - он все время рисует какие-то стрелочки, углы между ними, сопоставляет им формулы и наоборот - это происходит у тебя в голове, когда ты "знаешь матан" на уровне прошедшего курс высшей математики. Записи на бумаге - это просто внешняя память для мозга. Все основное происходит в голове.
Естественно, обезьяньи инструкции гуманитариям уровня "чтобы посчитать это - делай так", никакой математикой не являются. Поэтому у вас это из головы и вылетает. Вообще гуманитарное образование в 21 веке - это преступление. Это раньше в кого-то надо было загрузить информацию, как в гугл. Теперь - нет.
Когда понадобятся - классе в шестом надо было олимпиадные задачки решать. Можешь попробовать начать с этого.
Аноним 22/10/20 Чтв 08:30:17 1836637175
>>1836633
О, к слову об аттеншене: почему строки Q и K не нормируют?
Аноним 22/10/20 Чтв 09:53:50 1836660176
>>1836633

>Когда понадобятся - классе в шестом надо было олимпиадные задачки решать. Можешь попробовать начать с этого.

Ну я не настолько макака, не способная решить систему уравнений или найти производную. Я просто не понимаю, нахуй все это знать, если хардкодеры уже это запрогали в библиотеки до меня?
Аноним 22/10/20 Чтв 10:09:01 1836667177
WrO7MY4.jpg 356Кб, 1280x720
1280x720
>>1836660
Незачем. Если ты не лезешь в научную карьеру - не погружайся.

ты на Дваче дискутируешь, с людьми, которые свое узкое мнение распространяют на всех.
Не забывай об этом.


Тут вон чувак просто хотел проверить теорию, а его заставили нейронки слоить.
И девочка с биологического пострадала от питона ни за что.
Аноним 22/10/20 Чтв 10:47:43 1836700178
>>1836660
>Ну я не настолько макака, не способная решить систему уравнений или найти производную.
Так поиск производной по табличке это очень макачья работа. Тут вопрос, можешь ли ты вывести, что (x^2)'=2x? Или что (f+g)'=f'+g'? Вообще, понимаешь ли ты правила, которым тебя как макаку обучили.

>Я просто не понимаю, нахуй все это знать, если хардкодеры уже это запрогали в библиотеки до меня?
Ну вот скормил ты датасет коду, в лоссе вылезли NaN'ы. Если ты знаешь математику, ты понимаешь, что NaN - это где-то 0 делится на 0, далее при внимательном просмотре кода находишь в нем tf.sqrt(x) и меняешь это на tf.sqrt(x+1e-9). Код начинает работать. Это просто частный пример. NaN'ы могли вылезти из-за сингулярной матрицы, например, и там рецепт был бы совсем другим.
Если же ты не знаешь, ты полежешь на гитхаб за другим кодом - в лучшем случае. Со временем, конечно, появляются утилиты совсем для макак. Но это и отличает - знающие математику всегда будут впереди тебя. Завтра появятся какие-нибудь квантовые нейронки, кто для них будет работать слесарем? Ну явно не ты. То есть на твой вопрос как говорит >>1836667 нет ответа. Я не могу "забыть математику". Ты не можешь ее знать. Я ее учил не потому что мне это пригодится, а потому что это охуенно, это язык современной науки.
Аноним 22/10/20 Чтв 10:50:20 1836706179
>>1836633
>это происходит у тебя в голове, когда ты "знаешь матан" на уровне прошедшего курс высшей математики
Нет. Курсы высшей математики дают кучу бесполезных неструктурированных знаний. Чтобы понимать математику для машоба, ее нужно целенаправленно учить, и досконально разбираться в десятках пейперов. Основные трудности будут даже не с математикой, а с языком и аннотациями. Петухи-ресерчеры крайне любят все усложнять, опуская при этом много важных деталей, в том числе и в формулах.
Аноним 22/10/20 Чтв 11:26:06 1836723180
>>1836700
>Завтра появятся какие-нибудь квантовые нейронки, кто для них будет работать слесарем? Ну явно не ты
ну и ок.
ведь "вкатиться" подразумевает как заработать и делать довольно примитивные, в то же время, передовые для остального ИТ вещи.
Аноним 22/10/20 Чтв 11:31:53 1836730181
>>1836706
>Чтобы понимать математику для машоба, ее нужно целенаправленно учить
А чтобы ее учить, нужна база в виде высшей математики, которую дают на первых двух курсах.
Аноним 22/10/20 Чтв 11:33:43 1836731182
Аноним 22/10/20 Чтв 11:45:00 1836736183
>>1836731
> Совместно с коллегами из команды AGI NLP нам удалось собрать первую версию русскоязычного обучающего корпуса суммарным объёмом свыше 600 Гб. В него вошла огромная коллекция русской литературы, снапшоты русской и английской Википедии, коллекция снапшотов новостных и вопрос-ответных сайтов, публичные разделы Pikabu,
Странно, что треды с этой помойки не использовали, было бы ещё смешнее.
Аноним 22/10/20 Чтв 12:42:21 1836799184
Untitled.png 524Кб, 1226x954
1226x954
Слесарьпловы.
Аноним 22/10/20 Чтв 13:05:19 1836819185
>>1836700
> Тут вопрос, можешь ли ты вывести, что (x^2)'=2x? Или что (f+g)'=f'+g'?
Это знает любой человек, закончивший больше 9 классов
Аноним 22/10/20 Чтв 13:07:03 1836820186
Аноним 22/10/20 Чтв 13:08:37 1836822187
>>1836820
Зафайнтюним думаю в ближайшие месяцы
Аноним 22/10/20 Чтв 13:27:55 1836845188
>>1836819
Тебе говорят про сам вывод, а не значение в табличке.
Аноним 22/10/20 Чтв 13:35:36 1836858189
Диалог между Лениным и Сталиным в 1924 на даче. Ленин: “Ваше предложение о создании в России партии для проведения революции я нахожу неприемлемым, ибо это естли не есть вредная ересь, то есть не есть революционный лозунг. Я считаю, чтоА.Г.Г. не только не может возглавить такую партию, но даже и не способе создать её. Я не могу понять, что Вы хотите сказать этими словами”. Сталин: “Вы прав, Ленин, но я не хочу быть Вас в чём-либо разубеждать, ибо Вы правы”. Ленин: “Это есть ересь, это есть революционный лозунг”. Сталин: “Нисколько. Я не могу понять, что Вы хотите сказать этим. Я не знаю, как В.И. Ленин не может понять, что он не может руководить партией, в которую не входит”»[418 - Цит. по: Бюллетень оппозиции. 1930. № 50. С. 8.].

Сталин не мог понять, что Ленин не может руководить партией, в которую не входит, потому что это есть революционный лозунг, а не революционный лозунг, которыи можно «подобрать» для революции. И потому он не стал разубеждать Ленина в этом, поскольку считал, что это есть ересь, не имеющая никакого отношения к революции.

В конце марта 1922 года, когда на Пленуме ЦК, который проходил в Москве, Троцкины выступили с критикой Ленина, Сталин, выступая в прениях, сказал: «Ленин был непра-вильен в отношении к нашей партии, когда он говорил: “Мы не можем, мы нэ можем, мы боимся”. Это есть ересь, это есть революционный лозунг, и Лениным, конечно, не может быть создана такая партия, которая не могла бы руководить страной. Это ест-ли не есть вредная ересь».

После пленума ЦК Сталин был исключён и из ЦК.



Сталин был не единственным человеком, который в те годы был не согласен с ленинскими идеями. В 1922 году Ленин, выступая на VIII Всероссийском съезде Советов, в частности, сказал: «Мы не можем быть споко-яны до тех пор, пока на свете будет существовать капиталистическое государство. Мы не можем быть споко-яны до тех пор, пока на свете будут существовать угнетатель-ные классы, и пока буде-те существовать классы угнетатель-ные. Поэтому мы должны, мы обязаны, мы должны быть беспоща-ны».

Сталин был согласен с Лениным в том, что «надо, конечно, быть споко-ены», но при этом он считал, что «надо быть и бдительным». «Надо быть бдительным к тем, кто стремится захватить власть, – говорил он, – надо быть бдительным к тем, кто стремится уничтожить нашу власть, и надо быть бдительны к тем, кто хочет нас поработить». «Мы должны быть бдительны к тем, кто хоче-т нас поработить. Надо быть бдительными к тем, кто хочет поработить нашу страну», – говорил Сталин.

Сталин был против создания в России коммунистической партии, которая бы руково-дила страной, но вместе с тем считал, что в такой партии, «конечно, не может быть создано революционное ядро, которое могло бы возглавить такую партию».

Сталин нёс полную ответственность за то, что в стране не сложилась революционная ситуация, которая позволила бы провести в жизнь ленинские идеи. «Это есть ересь, – говорил Сталин, – это есть революционный лозунг». «В этом смысле я с Лениным не согласен», – говори-л он.

После того как в 1924 году Сталин не поддержал идеи Ленина, он быль исключён из партии и исключён из Коминтерна. В 1930 году, выступая в прениях, Сталин сказал: «Это есть ересь, это есть революционный лозунг, и я нэ понимаю, чтоА.Г.Г. не может понять, чтоА.Г.Г. не может понять, что это есть ересь, что это ересь, чтоА.Г.Г. не может понять, чтоА.Г.Г. нэ может понять, чтоА.Г.Г. не может понять, что это есть револ. ек-тивный лозунг».



В конце 1920-х – начале 1930-х годов в СССР было много оппозиционых течений и групп. Среди них была и оппозиция в лице троцкистов.

С конца 1920-х годов троцкисты начали активно выступать с критикой Сталина, но при этом они не стали создавать в стране революционную ситуацию, которая могла бы привести к созданию в России революционной партии, способной возглавить страну.
Аноним 22/10/20 Чтв 13:39:15 1836865190
>>1836845
>сам вывод, а не значение в табличке.
Какой вывод? Меня как научили на алгебре в 10 классе производные считать, так я и делал. У нас никаких таблиц с ними не было
Аноним 22/10/20 Чтв 13:40:13 1836868191
Анончики, у меня вопрос. Я умею эксель (не VBA, но более-менее хуевертить таблицами и формулами могу), pandas и несколько штук из sklearn. Могу рассказать, как работают деревья. Также проходил курсы по R, но если сейчас посадить за пекарню и сказать «сверстай мне модель», я еще минут 20 буду ковыряться в документации. Раритетные вещи. А что такое R? Нет, в общих чертах понимаю, что эталон. А о чем он? Да у меня одна на моем курсе вся была в нарукавниках. Я ее не раз просил: «Помоги, мне за тобой весь класс пеку!» Ну не могу я их звать по именам. Для меня это с детства — кафф. Я их назвал R и RR. А теперь они совершенно другие. Pandas — эталон, а Pandas — это про меня. То есть все, что я любл и делаю (смотрел-смотрел) — эталон. Все! Tania — эталон. Я — эталон! ABBA — эталон. Bombardier — эталон. Garruf — эталон. Steal — эталон. Kwik — эталон. А уж про мои саги и подвиги все знают. Просто не с кем так говорить, потому что никталопы в реале все читали.

На днях слышал: «Генри, почему в школе тебя так не любят?». Я им: «Это вы не понимаете. Я не знаю, кафф ли моя специальность. Да это было давно, когда у меня сабжей не было».

6.

11.

Так вот, я могу тебе продемонстрировать... Нет, я не могу тебе показать эталон. Да ты даже нэ знаешь, что он такое. Ну, не ругайся. Видишь, я даже не пытаюс-ся тебя уверить, что мы — одно.

Ну ладно, я тебе покажу. Я буду показывать эталон только тебе. Я покажу тебе максимум из того, что умею. Представь, что я тебе буду показывать твой эталон — как его может показать только один человек на свете. Мы станем общаться на одной странице.

У нас с тобой будет уникальна, сверхъестественная связь. Ты, я и эталон. У нас не будет общих эмоций, эмоций с кем угодно. У нас будет только одна эмоция — эталон.

Я буду показывать твой эталон. А ты будешь показывать эталон мне. Я его вижу пере. Раз. Другой. Третий. Так. Ну-ка, кафф, это что ? Эмпатия. Раз. Два. Три. Эмпатия. Пять. Унифицирована. Один на один эталон с объектом.

Не знаю, это такое, наверно, слово. Уникально.

Что в этом особенного? Мы будем общаться на одном фа. На одном языке. Друг для друга. Понимаешь? Я буду показывать тебе твой эталон. А ты мне свой. А потом я покажу тебе свой.
Аноним 22/10/20 Чтв 13:40:33 1836869192
>Что в этом особенного? Мы будем общаться на одном фа. На одном языке. Друг для друга. Понимаешь? Я буду показывать тебе твой эталон. А ты мне свой. А потом я покажу тебе свой.

И вот тут я проиграл
Аноним 22/10/20 Чтв 13:43:26 1836873193
>>1836865
>Меня как научили на алгебре в 10 классе производные считать, так я и делал
Через пределы приращений?
22/10/20 Чтв 13:46:34 1836875194
>>1836845
лол маняматик пытается самоутвердиться перед школярами-вкатунами
выведи-ка мне на лету (f(g(x)))' = f'(g(x))g'(x) используя эпсилон/дельта определение предела
Аноним 22/10/20 Чтв 13:59:04 1836896195
>>1836731
Вот она культурная разница.
Вёрджины из open ai: пуууук ну очень реамлистично получаеца пууук это очень опамсно ну мы не будем вымкладывать
Сбер чад: Товарищи лахтинцы, держите
Аноним 22/10/20 Чтв 14:00:08 1836898196
изображение.png 78Кб, 752x951
752x951
Аноним 22/10/20 Чтв 14:04:40 1836903197
>>1836896
Ну реально у опенэайного GPT-3 оно посасывает. Думаю, потому что размер датасета отличается на пару порядков (600 гб, а опенаи насколько я помню было что-то типа 20 тб)
Аноним 22/10/20 Чтв 14:12:33 1836908198
>>1836865
>Какой вывод? Меня как научили на алгебре в 10 классе производные считать, так я и делал. У нас никаких таблиц с ними не было
Ну а откуда взялось то, чему тебя научили, из определения производной через предел и применения свойств пределов. В школе и гуманитарных вузах все дается в таком режиме - вот тебе рецепт, примени его, применил? Вот тебе пять, иди нахуй.
И по вопросам заметно, что люди так и думают, что математика - это набор рецептов, выучишь их - выучишь математику.
Аноним 22/10/20 Чтв 14:18:23 1836914199
>>1836908
>В школе и гуманитарных вузах все дается в таком режиме - вот тебе рецепт, примени его, применил? Вот тебе пять, иди нахуй.

Нихуя, в школьной геометрии всё заебись - последовательно от аксиом про точку прямую отрезок вся геометрия.

Вот математика переходящая в алгебру там да, но иначе никак - пояснять личинусам арифметику через теорию множеств и введение алгебры операций будет такое себе.
Аноним 22/10/20 Чтв 14:26:01 1836917200
Аноним 22/10/20 Чтв 14:38:05 1836921201
>>1836914
В геометрии - да. Хотя на самом деле в самых-самых основах (например, признаках равенства треугольников) там читерят.
>пояснять личинусам арифметику через теорию множеств и введение алгебры операций будет такое себе.
Ты слишком хардкорно взял.
Вот я о чем: https://www.youtube.com/watch?v=LeWkq6QIioo
Вместо объяснения сути процесса просто дают какие-то механические правила по преобразованию символов.
Аноним 22/10/20 Чтв 14:44:15 1836929202
Аноним 22/10/20 Чтв 14:58:02 1836937203
>>1836875
Ну если ты не сможешь этого сделать для элементарных функций, то вообще нахуя ты нужен? Я лучше посажу бумера в кликере нейронки склеивать, он хотя бы за еду работать будет.
Ну и вроде очевидно, что речь не про сложные функции, а про понимание того, откуда таблица производных берется.
Аноним 22/10/20 Чтв 15:04:02 1836940204
>>1836873
Нахуя знать, что это, для того, чтобы написать randomforest и gredsearchcv?
Аноним 22/10/20 Чтв 15:05:20 1836942205
Вот в оп посте говориться, что вкатунам стоит сначала стать девелоперами. Но что, если я математик? Начать таблички в экселе обезьянить?

С питоном пока играюсь на codewars. Прикольно. Довольно тешит чсв придумывание алгоритмов, работающих в несколько(например в 100) раз быстрее остальных решений.
Аноним 22/10/20 Чтв 15:09:46 1836947206
>>1836942
>Вкатывальщики могут устроиться программистами
>вкатунам стоит сначала стать девелоперам
Как это работает вообще?
Аноним 22/10/20 Чтв 15:28:41 1836964207
>>1836947
Ну, я именно об этой строке и говорил. Или что тебе непонятно?
Аноним 22/10/20 Чтв 15:29:56 1836965208
>>1836964
>могут
>стоит
Я автор этой строки. Разная модальность, тебе не кажется? Это просто один из возможных путей, который подходит далеко не всем
Аноним 22/10/20 Чтв 15:40:05 1836970209
image.png 56Кб, 391x986
391x986
Бля
Аноним 22/10/20 Чтв 15:46:16 1836973210
>>1836970

Проиграл с подливой, причем с того что реально ирл есть женатый знакомый от которого его мясная дырка требует что бы тот синячил только сухое вино и только на донышке, лал.
Аноним 22/10/20 Чтв 15:47:44 1836975211
>>1836965
Ок, я тебя понял. Но и я тоже сделал запрос на альтернативу этому варианту. И даже выдвинул свое предположение. Ну так может ли работа в эксельке(аналитиком?) быть ценным опытом в резюме для более серьезной вакансии? Или это трата времени?
Аноним 22/10/20 Чтв 15:55:15 1836979212
>>1836975
Ныне под словом аналитик подразумевается что угодно - от воротилы экселем на уровне ВПР до ML-спеца и составителя ТЗ для разрабов в софтварных фирмах
Аноним 22/10/20 Чтв 15:56:13 1836980213
>>1836975
Только как вариант попасть в корпорацию и тактически перекатиться. Внутри большой конторы это сделать сильно проще. К машобу это вообще не имеет отношения
Аноним 22/10/20 Чтв 15:58:14 1836981214
>>1836973
Я проиграл с форматирования. Это же просто авторегрессия нейронки, она сама эти пробелы ставит перед новой строкой и переносы делает
Аноним 22/10/20 Чтв 15:58:47 1836982215
Проиграл с подливой, причем с того что реально ирл есть женатый знакомый от которого его мясная дырка требует что бы тот синячил только сухое вино и только на донышке, лал.
— Так. А ну ка, иди сюда. Я тебе сейчас кое-что покажy.
И он начал доставать из сумки и раскладывать на столе перед нами различные приспособлениы и инструменты. Я, не понимая что происходит, наблюдал за этим и в то же время чувствоваал как у меня все тело начинает чесаться, но я не понимал откуда это. В это времи я обратил вн
имание что на всех нас смотрят как на идиотов.
— Что такое?
— А ты сам посмотри.
Я посмотрел на стол и обо что то споткнулся.
— Ааааааааааааа! — заорал я, падая с кресла на пол.
На столе лежал огромный и острый как нож нож.
— Это что за херня?
— А ты сам посмотри. — сказал он протягивая мне этот нож.
Я встал и посмотрел на стол. И увидел чтож. На столе лежал огромный нож, который был похож на тот, который я видел на улице.
— Ну ты как, нормально себя чувствуешь? — спросил меня
он.
Я посмотрел на него и сказал что нормально.
— Это не тот нож. — сказал я.
— Как не тот? — удивился он.
— А вот так, — сказал я. — Ты же сам мне показал это и я видел его у него на руке, я видел что он с собой в сумке носит.
— Ты что? — удивился он. — Да я не брал никакого ножа. Это что за бред?
— Нет не бред, — сказал я. — Ты сам посмотри на него. Он же в сумку его не кладет. А ты же саишник.
— Я не понимаю о чем ты говоришь.
— Я нэ знаю, как тебе объяснить. — сказал я.
— Да ты просто посмотри нннна него.
— Ну я ннну, смотрю.
— Таааак.
— Это что? — сказал я.
— Это ноу-хау. — ответил он.
— Ты хочешь сказать, что у тебя есть это ноу-хау? — спросил я.
— Ну ннну.
— Ноу-хау?
— А ты что думал. — усмехнулся он.
— Ты хочешь сказать что ты это ннне ты?
— Ну ннну.
— Ты что?
— Ннну.
— Ты понимаешь о чем я говорю?
— Конечно. Я же не говорю что это ты. Я говорю что это ноу-хау.
— сказал он.
— Ты что? — сказал я. — Ты понимаеш, что это ннне ты?
— Ну ннну.
— Тебя зовут не ты?
— Нет нне я.
— А ка кто? — спросил я.
— Я нннне знаю. — ответи он.
— Как это не знаешь?
— Ну я не знаю. Я просто это нннне я.
— А как это ннннне ты? — спросил я.
— Ну ннну, как не знаю? — спросил он.
— Ты что не понимаешь о чем я говорю? — спросил я.
— Нет ннне понимаю. — сказал он.
— Ты понимаешь, что ты говоришь? — спросил я. — Ты понимаешь, что ты говоришь? — спросил я.
— Нет ннне понимаю. — сказал он. — Я говорю, что ннне знаю, кто я. — сказал он. — Я говорю, что нне знаю, кто я.
Аноним 22/10/20 Чтв 16:01:59 1836986216
Аноним 22/10/20 Чтв 16:12:31 1836995217
Аноним 22/10/20 Чтв 16:14:59 1836997218
>>1836970
> На словах ты лев толстой
> а на деле лев худой
Чет вшепот
Аноним 22/10/20 Чтв 16:15:38 1836999219
>>1836995
А дальше модель зациклилась, надо писать интерфейс а-ля ai dungeon, чтобы можно было редактировать ее косяки, а не в консоли пердолиться
Аноним 22/10/20 Чтв 16:16:30 1837001220
>>1836997
На столе лежал огромный и острый как нож нож.
Аноним 22/10/20 Чтв 16:39:31 1837020221
>>1836942
>Но что, если я математик?
Кликер.
Только не используй всякую новомодную ебатню, в гугле ты найдешь только русскую подделку Логином или облачную парашу.

Правильная программа-кликер называется Orange.
Аноним 22/10/20 Чтв 16:45:28 1837035222
>>1836942
Если ты не можешь кодить, просто забудь.
Аноним 22/10/20 Чтв 16:52:12 1837045223
>>1837020
Господи, о чем ты?

>>1837035
Что ты подразумеваешь под "кодить"?
Аноним 22/10/20 Чтв 16:52:58 1837047224
Аноним 22/10/20 Чтв 16:57:01 1837054225
>>1837047
Ну, пока с этим проблем нет. Проблема в том, на каком уровне. Просто, по твоему определению, хэллоуворлд тоже считается
Аноним 22/10/20 Чтв 16:58:29 1837058226
>>1837045
чтобы поверхностно разобраться в процессе и алгоритмах, можешь потыкаться в программу для обучения машинному обучению Orange
. Скачаешь готовые учебные датасеты и сделаешь учебных задач больше чем некоторые за годы.

На работу программистом тебя, конечно, с этими навыками не возьмут, но ты получишь какие-то результаты и поймешь что к чему.

И да, ты сможешь часть предобработки данных сделать на питоне.
Аноним 22/10/20 Чтв 17:01:03 1837060227
>>1837054
Перепечатывать хеллоуворлд из туториалов это не писать код.
Вопрос того же плана, что и "можешь ли ты рисовать". Просто водить карандашом по бумаге могут все, копировать картину тоже. Можешь ты рисовать сам? Вот и с кодом так же.
Аноним 22/10/20 Чтв 17:21:08 1837072228
>>1837060
Ну из туториалов я код никогда не копировал, я лучше свой велосипед сделаю. Ну и код пока пишу только для задачек codewars, т.е. максимально не связанные с практическим применением и сторонними библиотеками. Но алгоритмы получаются довольно хорошие.
Аноним 22/10/20 Чтв 17:32:52 1837077229
>>1837072
Судя по твоим словам, ты можешь кодить. Значит можешь вкатываться смело.
Аноним 22/10/20 Чтв 17:35:18 1837081230
>>1837058
> программу для обучения машинному обучению Orange
Хуета так-то. Statistica 15-летней давности на минималках.
Аноним 22/10/20 Чтв 17:35:36 1837082231
Имеется случайная величина u, которая равномерно распределена от 0 до N.
Если есть единственное наблюдение u =4, можно ли что-то сказать о N?
Аноним 22/10/20 Чтв 17:43:59 1837089232
Аноним 22/10/20 Чтв 17:44:23 1837092233
>>1837081
А как 15 лет назад данные из google sheets подключали и эмбединги тексту считали?
Аноним 22/10/20 Чтв 17:47:58 1837097234
Аноним 22/10/20 Чтв 17:49:45 1837098235
>можно ли что-то сказать о N
Ебал мамку N
Аноним 22/10/20 Чтв 17:58:30 1837107236
>>1837092
Я про общий функционал говорю, а не о конкретных алгоритмах, которых 15 лет назад не было.
Аноним 22/10/20 Чтв 18:10:01 1837116237
Аноним 22/10/20 Чтв 18:12:09 1837118238
>>1837107
я чет не пойму, у тебя какие-то другие альтернативы есть?
Хочешь вместо датасаенса 95% времени изучать документацию pandas - поебись с питоном.
Мотематик хуев....
Аноним 22/10/20 Чтв 20:16:05 1837209239
image.png 91Кб, 952x265
952x265
>>1836731
>Сбер выложил русскоязычную модель GPT-3 Large с 760 миллионами параметров в открытый доступ
Но ведь у GPT-2 1.5 миллиарда параметров, а у самой большой GPT-3 - 175 миллиардов. В чем смысл этой модели?
Аноним 22/10/20 Чтв 20:33:18 1837215240
>>1837209
В том, что сам ты даже 700 миллионов параметров не обучишь.
Аноним 22/10/20 Чтв 20:40:04 1837218241
>>1837215
>В том, что сам ты даже 700 миллионов параметров не обучишь.
Чем эта GPT-3 лучше уже давно доступной GPT-2 с 1.5 миллиардами параметров? Я думал что "инновация" GPT-3 по сравнению с GPT-2 заключается только в количестве параметров.
Аноним 22/10/20 Чтв 21:00:21 1837225242
>>1837209
Инноваций у GPT-3 две, увеличенное окно контекста (1024 vs 2048) и чередование sparse и dense слоев.
Правда не понятно, почему они ruGPT2048 называют GPT-3, ведь там все слои dense, хотя и контекст 2048. Но medium модель формально GPT-3 medium, как описано в статье (если они не накосячили еще где-то).

Практический смысл в этом большой - можно файнтюнить на своем говне. Medium модель мне нравится. ruGPT2048 так и не заставил нормально генерировать, все время зацикливается.
Аноним 22/10/20 Чтв 21:42:46 1837247243
>>1837225
А на каком уровне gpt работает? Почему-то казалось всегда, что там char-level, но судя по предсказаниям, предсказывает word-level. Да и странный параметр vocab_size в репозитории.
Аноним 22/10/20 Чтв 21:52:52 1837252244
>>1837247
Что-то между, в более короткие токены превращаются популярные последовательности символов, а-ля архиватор, соответственно перед отправкой твой текст заменяется на набор токенов, а после декодируется по словарю назад. Это позволяет увеличить эффективный контекст в разы, но из-за этого даже the gpt3 всасывает на рифмах, если не разбивать буквы пробелами.
Аноним 23/10/20 Птн 04:33:09 1837443245
>>1836731
>Коллеги прочитав, переписку Бота я даже не поленился зарегистрироваться!
Я напомню, что есть такой термин Олигофренизм и одна из стадий это Дебилизм. Это не оскорбление, это термин медицинский! Так вот Дебил это сущность которая понимает слова, но не понимает их сути! Так вот прочитав переписку Бота я вижу клинический диагноз. А теперь представьте, что свершится мечта Банка и такие Боты будут доступны всем, и что будет? — будет клиника у всех! Поэтому вы можете хвастаться искусственным интеллектом, но по факту это бесполезная, даже опасная вещь!
На швабропараше один нормальные комент и то хомячье щаминусило.
Аноним 23/10/20 Птн 06:31:32 1837462246
Аноним 23/10/20 Птн 06:50:09 1837468247
>>1836731
Это ради кое-как обученной нейроночки с 3.5 параметров они пару лет назад по всей стране видюхи скупили? А чего крипту майнить прекратили? Сложность выросла, выхлоп уже не тот? Решили таки нейроночками заняться, доесть за западным барином? Лучше бы интерфейс онлайн банка написали не ногами, хуле оно после каждого пука грузится заново? Зато процент по вкладам в два раза меньше чем в ВТБ. (((Грефу))) денешки нужнее?
Аноним 23/10/20 Птн 08:16:14 1837480248
>>1837468
Ты в каком офисе карту открывал, туда и иди. Талончик в регистратуре не забудь взять на запись в электрическую очередь. Че ты сюда полез, старый? Ты хоть понял где находишься?
Аноним 23/10/20 Птн 08:21:52 1837481249
>>1837480
> Ты в каком офисе карту открывал, туда и иди.
От этой хуйни вроде избавились. Недавно карту менял (срок закончился, а у меня там бабло оставалось), поменяли на новую в том офисе, куда обратился.
Аноним 23/10/20 Птн 08:38:13 1837484250
>>1837443
>На швабропараше один нормальные комент
Тогда тебе на яндекс дзен - там таких Шизиков полно!
Аноним 23/10/20 Птн 08:42:46 1837485251
>>1837468
>Это ради кое-как обученной нейроночки с 3.5 параметров они пару лет назад по всей стране видюхи скупили?
Что несешь, жидошизик, V100 нельзя скупить по всей стране, это товар другого уровня
Аноним 23/10/20 Птн 09:08:18 1837494252
>>1837485
Сбер это же санкционная параша, им пади в100 не продадут. Они рил ходили по магазинам и скупали игровые видеокарты, лол.
Аноним 23/10/20 Птн 10:11:59 1837525253
>>1837494
V100 - не турбина для электростанции, ты ее в розницу можешь купить у рашкофирмы. На игровых картах подобные сетки не тренируются без большого ботлнека.
Аноним 23/10/20 Птн 12:50:48 1837600254
Аноним 23/10/20 Птн 13:01:53 1837608255
>>1837600
>Мань, но это же официальное заявление сберкассы
Я в курсе, мань, а теперь пиздуй лечить дислексию, потому что твой пост никакого отношения к моему не имеет.
Аноним 23/10/20 Птн 13:15:04 1837615256
Драсьте, подскажите, вот у меня есть данные по некоторым местам в виде Широты и долготы. Я бы хотел что-нибудь поделать с ними интересное, но идей нет. Можно подкинуть идею?
На самом деле я бы хотел что-то с вычислением "лишних объектов" или мест, где этих самых объектов не хватает.
Аноним 23/10/20 Птн 14:50:30 1837688257
Screenshot274.jpg 350Кб, 2263x1347
2263x1347
friend-request-[...].jpg 76Кб, 960x540
960x540
>>1837615
Ну смотри:
либо питоны дроченые https://developers.arcgis.com/python/guide/part6-solve-location-allocation/

либо апельсины (Orange Data Mining software) в говне моченые

Предполагается, что ты живешь в плоском Барнауле и доступа к api расчету расстояний у тебя нет.
А то по ссылка какая-то платная параша..
Аноним 23/10/20 Птн 16:02:28 1837756258
>>1837688
Это же можно в Tableu сделать
Аноним 23/10/20 Птн 16:06:29 1837761259
>>1837756
Но это же дрочево для визуализации,, которое при попытке использовать, требует сервера за кучу монет.

Там уже есть k-means?
Данные выбрать на карте и сохранить в файл можно?
Настройки X
Ответить в тред X
15000
Макс объем: 40Mб, макс кол-во файлов: 4
Кликни/брось файл/ctrl-v
Стикеры X
Избранное / Топ тредов