Программирование

Ответить в тред Ответить в тред
НЕЙРОНОЧКИ И МАШОБ ТРЕД 29 /ai/ /ai/ Аноним 27/09/20 Вск 13:45:04 18173201
image.png 775Кб, 1386x881
1386x881
image.png 1554Кб, 1137x765
1137x765
image.png 317Кб, 498x833
498x833
Очередной тред про хипстерские технологии, которые не работают.

Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее keras и pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ

Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus

Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/

Почему python?
Исторически сложилось

Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет

Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python

В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials

Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.

Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел

Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой

Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся

Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/

Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском

Где ещё можно поговорить про анализ данных?
http://ods.ai/

Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. На март 2020 Google Colab дает бесплатно аналог GPU среднего ценового уровня (что-то между 1050 и 1080) на несколько часов с возможностью продления. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
На сентябрь 2020 ждем 30хх серию в магазинах и падение цен на 20xx на авито, /hw/ в помощь

Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом

Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/

Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Аноним 27/09/20 Вск 13:46:41 18173242
Аноним 27/09/20 Вск 14:19:49 18173763
Аноним 27/09/20 Вск 14:33:22 18173884
>>1817376
> наш
Не наш, а ваш. Пиар параши тут не нужен.
Аноним 27/09/20 Вск 14:39:48 18174025
>>1817388
Да нормальный контент, обзор докладов всяко лучше этой А КАК УСТРОИТЬСЯ КО МНЕ НА РАБОТУ параши, которую он приносил раньше
Аноним 27/09/20 Вск 14:58:25 18174176
>>1817376
Это еще веселее, чем в прошлый раз. У половины докладов видео нет, остальные видео unlisted, для просмотра некоторых нужно бить челом отдельно. При этом контент уровня сельского митапа.
Главное Data Science событие года, я ебал.
Аноним 27/09/20 Вск 15:08:01 18174247
Зумерская пидорашка продолжает вонять что не на блюдечке поднесли
Аноним 27/09/20 Вск 15:09:10 18174258
Аноним 28/09/20 Пнд 01:08:34 18178749
>>1817320 (OP)
Фигасе четкая детекция на втором пике.
Аноним 28/09/20 Пнд 03:45:46 181789310
>>1817388
Так вы тут пара токсошизиков, похуй на вас.
Аноним 28/09/20 Пнд 05:40:24 181790311
Аноним 28/09/20 Пнд 07:06:28 181790712
Если марковкой цепи привить многоуровневую память, то будет ли прирост адекватности текстов? Имею в виду учитывать не только последнее слово, но и последние 2,3,4, и т.д слов.
Аноним 28/09/20 Пнд 08:17:38 181791913
>>1817907
Да, будет, но (кто-бы мог подумать) только до какого-то момента.
Аноним 28/09/20 Пнд 08:56:46 181792814
2FSG2.png 543Кб, 760x380
760x380
Удивительно, но я всё ещё не забил.
Аноним 28/09/20 Пнд 10:51:14 181796215
1601279472930.jpg 497Кб, 1080x2340
1080x2340
Проиграв
Аноним 28/09/20 Пнд 13:26:19 181806016
image.png 161Кб, 794x394
794x394
Аноним 28/09/20 Пнд 15:50:35 181818917
Читал про разные типы моделей и не понял пару моментов:
1. Есть модели, которые относят объект к одному из двух классов. Есть модели, которые относят объект к одному из множества классов. Есть модели, в которых есть один класс и все остальное. Чем это отличается от модели с двумя классами? Возможно, я ответил на это во втором вопросе.
2. Если у модели 2+ классов, то она относит объект к тому классу, на который объект больше "похож". Если в модели есть один класс и "все остальное", то как определяется, отнести объект к этому одному классу или нет? По некоторому порогу чувствительности? То есть, если объект отдален от класса более чем на n, то он уже не относится к этому единственному классу? Если да, то как находится это n?
Аноним 28/09/20 Пнд 16:31:40 181821518
>>1818189
>Чем это отличается от модели с двумя классами?
На практике у тебя как правило X позитивных примеров (картинка с котом) и X*100 негативных примеров (картинка без кота - с собакой, травкой, домом). Из-за этого алгоритм получает на входе перекос в распределении и без дополнительных усилий (например, присваивания примерам с котами большей значимости при обучении) работать будет плохо. В частности, он может выдавать "не кот" в 100% случаев и получить точность в 99% - котов-то в датасете в 100 раз меньше. Это практическая разница. Для знаний теории же не забивай голову.
>Если у модели 2+ классов, то она относит объект к тому классу, на который объект больше "похож".
Нет, модель выдает тебе вероятности каждого класса. Если у тебя 2 класса (не важно, второй класс это "не-кот" или что-то другое), она выдает тебе одно число - вероятность p (от 0 до 1) либо какое-то другое число, которое можно пересчитать в вероятность. Если 3 класса - то 3 числа, сумма которых будет равна 1. Допустим, она выдает тебе, что 50% на картинке кот, 50% собака и 0% - травка.
>Если да, то как находится это n?
В зависимости от ТЗ. Если ты преступников-террористов ловишь, то тебе выгоднее занизить порог обнаружения, и посадить отдел сержантов, которые будут уже вручную сверять кто на картинке - террорист, или ложное срабатывание. А если ты по фейсу определяешь покупателя в пятерочке, то лучше пусть никакого срабатывания, чем ложное. Если модель идеальна и обучена без перекосов, то ставишь порог 0.5.
Аноним 28/09/20 Пнд 16:59:26 181824419
>>1818215
В твоем примере с котами и не-котами нужно сделать один класс "коты" и дальше настраивать порог срабатывания, насколько близко к котам? Или нужно сделать 2 класса: "коты" и "не-коты" и определять вероятность по каждому? Второй вариант не подходит, потому что у "не-котов" будет слишком много разных признаков, верно?
Аноним 28/09/20 Пнд 17:02:57 181824620
>>1818215
>В частности, он может выдавать "не кот" в 100% случаев и получить точность в 99%
А надо брать F1 по котам и всё будет в порядке
Аноним 28/09/20 Пнд 17:07:55 181825421
>>1818246
>F1
Это мера, которая считается как средняя гармоническая от точности и полноты модели, верно?
Аноним 28/09/20 Пнд 17:09:56 181825722
>>1818244
Ты пойми, при supervised обучении классы в датасете определяет пользователь. Нейроночка учится на готовом датасете, она не задаёт классы. Как напишешь, так и будет. Другой вопрос, что эффективность обучения будет разной.
Аноним 28/09/20 Пнд 17:14:35 181826323
>>1818257
Скорее всего, я буду использовать не нейронки (байес, логистическая регрессия, опорные вектора, случайный лес), потому что данные не очень сложные. Я читал, что в scikit-learn есть гиперпараметры, которые задают количество классов для модели. Отсюда были вопросы. Пока что разобрался, спасибо.
Аноним 28/09/20 Пнд 17:23:00 181826824
>>1818263
>В твоем примере с котами и не-котами нужно сделать один класс "коты" и дальше настраивать порог срабатывания, насколько близко к котам?
Нужна вообще другая сущность - веса классов. Грубо говоря, ошибка в предсказании одного класса должна вызывать у модели во много раз больший шухер и апдейт весов. Для этого модифицируется целевая функция, как вариант - с помощью весов. Отношение весов настраивается так, чтобы максимизировать например >>1818246 или какую-то еще важную тебе метрику.
>Или нужно сделать 2 класса: "коты" и "не-коты" и определять вероятность по каждому?
У тебя по определению если вероятность кота p, вероятность не-кота (1-p). Если у тебя вероятность кота p, вероятность не-кота q, и p+q не равно 1, значит это не вероятность, а какая-то хуета.
Аноним 28/09/20 Пнд 17:36:45 181827925
>>1818268
Понятно, спасибо. Про веса классов в теории пока не встречал, почитаю.
Аноним 28/09/20 Пнд 18:28:03 181830726
Аноним 28/09/20 Пнд 21:51:30 181844227
Здравствуйте многоуважаемые программисты, я новичок в этом деле, но получилось так что мне нужно углубляться в нейронные сети. И у меня возникла проблема с видом нейронной сети нужной для решения моей задачи. Работаю со шрифтами. Есть две нейронки, первая ищет у символа отличительные черты, такие как плавные изгибы, острые углы и подобное; вторая должна создавать символ по стилистике схожий с тем, который был на входе у первой нейронной сети. Не могу понять, какой вид должен быть у второй нейронной сети. Хелпанете?
Аноним 28/09/20 Пнд 22:07:47 181844628
>>1818442
если что, то первая нейронная сеть нужна для того чтобы вторая понимала, что конкретно ей нужно генерировать.
Аноним 28/09/20 Пнд 22:25:01 181845529
>>1818442
Я бы смотрел на style transfer, а не на две нейронки с непонятным функционалом.
А ешё есть подозрение, что ты никогда в жизни достаточно данных не соберешь.
Аноним 28/09/20 Пнд 22:26:44 181845630
Аноним 28/09/20 Пнд 23:10:29 181848431
>>1818456
Видел код Эрика, он просто генерирует новые шрифты как я понял, может ошибаюсь. Ну, я в общем ушел от его кода, может в этом я и ошибся.
Аноним 28/09/20 Пнд 23:14:38 181848632
>>1818455
Начал сейчас гуглить и мне кажется из этого многое может выйти.
Аноним 28/09/20 Пнд 23:31:14 181849433
>>1818484
Я не тебе отвечал, это был ответ на вопрос, как обойтись без прямого датасета - использовать GAN
Аноним 28/09/20 Пнд 23:33:29 181849634
>>1818494
Извиняюсь. Я как раз таки и пришел к выводу, что это можно использовать для создания датасета.
Аноним 29/09/20 Втр 00:36:35 181851535
>>1818455
Я почитал. А это точно будет работать со шрифтами? Что-то меня сомнения огромные постигают.
Аноним 29/09/20 Втр 00:54:38 181852236
>>1818515
>дипленинх
>А это точно будет работать?
нет.
Аноним 29/09/20 Втр 01:01:32 181852837
>>1818522
>нет
Ну немношко будет же
Аноним 29/09/20 Втр 01:05:42 181853038
>>1818307
Бля, этого петуха невозможно смотреть, прекрати.
Аноним 29/09/20 Втр 01:40:02 181854139
Аноним 29/09/20 Втр 01:40:27 181854240
>>1818530
Хохолка и андеркатов не хватает, зумеридзе?
Аноним 29/09/20 Втр 01:54:43 181854641
>>1818515
Не должно это работать со шрифтами
Аноним 29/09/20 Втр 03:03:49 181856342
>>1818546
>я не хочу чтобы это работало со шрифтами. ну мам
Аноним 29/09/20 Втр 03:06:31 181856443
>>1818563
Гринтекстер хуже пидораса
Аноним 29/09/20 Втр 09:25:10 181863044
>>1818546
Чекни сурс 2мя ответами выше, там у ребят вышло ведь, или я ошибаюсь?
Аноним 29/09/20 Втр 15:32:21 181884545
>>1818630
По картинкам херня вышла. Стайл транфер хорошо переносит текстуры, а шрифты сложно назвать текстурами.
Аноним 29/09/20 Втр 17:16:01 181893046
>>1818845
Мне в любом случае уже что то нужно делать. Поэтому скорее всего попробую правильно обучить нейронку по style transfer, мб что нибудь да выйдет
Аноним 29/09/20 Втр 18:16:31 181901147
Аноним 29/09/20 Втр 22:45:47 181919548
>>1819011
Ща бы на телеги шликать
Аноним 30/09/20 Срд 17:12:21 181982849
Что думаете насчет GP(Genetic Programming). Заставляем генетический алгоритм найти функцию, которая будет входе X выдавать Y. Думаю это оооочень полезно для декларативного и ленивого программирования. Говори машине что хочешь сделать, а не как это сделать.
К примеру:
inc(1) -> inc(2)
dec(2) -> dec(1)
Задача компилятора: найти определение функции inc и dec используя примитивные функции.
Аноним 30/09/20 Срд 17:26:57 181984050
16014441565230.gif 437Кб, 350x409
350x409
>>1819828
Сама идея правильная, проблема в том что требует неподьемных вычислительных мощностей даже в наше время. Более-менее будет работать на языках с 1.5 операциями, например с лямбда исчислением. Но генетическое программирование сейчас уже не в моде, есть т.н grammatic evolution, эта тема поинтереснее. Общая идея в том, что нужная грамматика задаётся в виде BNF (форма Бэкуса - Наура), ну и дальше подбирается нужное решение по заданной функции приспособленности. Можно генетическим алгоритмом, можно тупо перебором, там много вариантов. Но это не для зумеров вкатывальщиков тема, там мозги надо.
Аноним 30/09/20 Срд 17:41:17 181985351
15957454245120.jpg 91Кб, 604x453
604x453
>>1819828
Есть ещё property-based testing, например, quickcheck, но это больше для функционального программирования, хотя за 20 лет этот квикчек куда только не портировали с хачкиля, даже в пистон и coq. Там вообще без всяких генетических алгоритмов и прочего машобчика обошлись.
Аноним 30/09/20 Срд 17:51:00 181986352
>>1819840
> Сама идея правильная, проблема в том что требует неподьемных вычислительных мощностей даже в наше время.
Ну, смотря что решаем. Большая часть времени уйдёт на компиляцию (нахождение функций).
Но зато какие огромные возможности! Компилятор будет выдавать из всех верных функций для X -> Y самую эффективную. Это может очень сильно повысить производительность как программ, так и программистов.
Аноним 30/09/20 Срд 17:56:20 181986653
>>1819853
> property-based testing
Никак не связано с сабжем. GP про генерацию алгоритмов, а не про их проверку.
Аноним 30/09/20 Срд 18:25:57 181989354
>>1819866
> Никак не связано с сабжем. GP про генерацию алгоритмов, а не про их проверку.
Я бы не сказал, что никак не связано. В том же коке оно может генерировать пруф-обьекты для доказательства обитаемости заданного типа. Это вполне можно рассматривать как генерацию алгоритма, если само задание нужного типа это спецификация программы, т.е описание того, что программа должна получать на вход и что выдавать на выходе.
>>1819863
> Но зато какие огромные возможности! Компилятор будет выдавать из всех верных функций для X -> Y самую эффективную
Ну так-то да, если на этих принципах вымутить оптимизирующий компилятор, знатная бы штука получилась. Но наверное давно бы уже сделали, если бы все так просто было. Ящитаю, все упирается в вычислительные требования.
Аноним 30/09/20 Срд 18:37:20 181990155
>>1819863
> Большая часть времени уйдёт на компиляцию (нахождение функций).
Опять же, вместо непосредственной компиляции можно использовать аксиоматическую семантику (VST в коке, почти полноценный С), что сократило бы время проверки процентов на 95+. Если к VST прикрутить grammatical evolution или хотя бы тот же quickchick, получилось бы интересно. Я как-то давно пробовал, но там нотация несовместимая, одно импортируешь - другое отваливается, лол, надо разбираться, возможно авторов трясти, а мне лень. В итоге просто забил.
Аноним 30/09/20 Срд 19:51:09 181994956
>>1819901
> использовать аксиоматическую семантику
В GP под копиляцией я подразумевал нахождение алгоритма нужного алгоритма. По крайней мере, в GP процесс нахождерия алгоритма бвдет происходть в компил-тайм, а запуск итоговой функции, соответсвенно, в рантайм.
30/09/20 Срд 19:52:33 181995157
face-recognitio[...].jpeg 75Кб, 900x507
900x507
>>1817320 (OP)
Сап двач. Реквестирую соус распознавания лиц. С меня как обычно
Аноним 30/09/20 Срд 20:45:46 181998658
Аноним 30/09/20 Срд 20:50:09 181999059
>>1819951
Что тебе нужно-то? Сурс пикчи, такая же разметка типа хакир цифравойй, любая подходящая модель-распознавалка?
Аноним 30/09/20 Срд 20:56:43 181999360
>>1819828
> Что думаете насчет GP(Genetic Programming).
Подобный подход хорош, когда у тебя пространство решений более-менее гладкое. Например, если у тебя нейронка, то добавив-удалив слой, перформанс сильно не упадет. Или когда ты проектируешь какую-нибудь амебу.
Но в случае классических алгоритмов такого свойства нет, и вся эта хуйня будет работать не сильно лучше простого перебора. Любые ухищрения уменьшат константу, но не экспоненту.
Аноним 30/09/20 Срд 21:03:37 181999961
>>1819986
Прологом другие дела обстоят. Он ахуенен, но автоматический вывод там не полон. Программист всё должен формализовать. А если задача плохо формализуется?
Аноним 30/09/20 Срд 21:08:21 182000162
>>1819993
Этот подход(GP) можно использовать для прикладного программирования, чтобы снизить когнитивную нагрузку на программиста? Насколько это будет оправдано?
Аноним 30/09/20 Срд 21:13:12 182000463
>>1820001
> программиста
Мне пора спать...
Аноним 30/09/20 Срд 21:37:59 182002164
>>1819951
Нет, соси. С просьбой помощи по цифровому ГУЛАГу сразу нахуй.
Аноним 30/09/20 Срд 21:42:41 182002265
>>1819990
Да мне нужно more! Просто хочу несколько разных. Не понял что тут написано: хакир цифравойй. Интересуюсь вопросом. Хочу разобраться как работает с математической точки зрения.
Аноним 30/09/20 Срд 21:44:50 182002566
>>1820021
Сосешь ты либераха и будешь сосать всю жизнь. Иди в po и реви очком там. Меня интересуют алгоритмы а не гулаг, гулаг можно и без этого устроить как товарищ Сталин заделал.
Аноним 30/09/20 Срд 22:37:18 182005367
>>1820025
>Меня интересуют алгоритмы
Попробуй кминс или кнн.
Аноним 30/09/20 Срд 23:13:04 182007068
Все эти генетические алгоритмы, RL и прочие попытки наебать систему страдают от одной и той же проблемы: придумать фиттинг функцию/реворд такие чтоб няронкам сложно было их хакнуть не интересным нам способом не легче чем решить саму задачу, а вернее это почти эквивалентные вещи.
Аноним 30/09/20 Срд 23:13:58 182007269
Аноним 30/09/20 Срд 23:18:09 182007870
>>1820001
Не, нельзя. В 2020 году оправдано смотреть в сторону трансформеров, которым будет скормлен гитхаб, а оно будет предлагать автодополнение. Так как гитхаб принадлежит микрософту, думаю они что-то подобное выкатят в ближайшие лет 5
Аноним 30/09/20 Срд 23:27:19 182008571
Аноним 30/09/20 Срд 23:28:38 182008872
>>1820085
Кто сказал что парень будет устраиваться на работу?
Аноним 30/09/20 Срд 23:28:47 182008973
>>1817320 (OP)
> хипстерские
Фу, блять, уносите это говно нахуй.

мимо-не-прогрессивный-быдло-программист-без-гироскутера
Аноним 30/09/20 Срд 23:30:14 182009074
Аноним 30/09/20 Срд 23:31:14 182009175
image.png 17Кб, 130x122
130x122
Аноним 30/09/20 Срд 23:33:44 182009476
>>1820090
Какие? Чо?

Лол, я вообще не из ML и ничего против него не имею, я просто хипстеров недолюбливаю и меня триггернуло это слово.

И вообще...

Нах ты мне отвечаешь? Я ЖЕ ПРОСТО ТОЛСТЫЙ МИМОКРОКОДЯЩИЙ, ЛОЛ
Аноним 30/09/20 Срд 23:33:53 182009577
>>1820091
Зачем для распознавания лиц фильтруют цвет? Разве яркость не читается без этого?
Аноним 30/09/20 Срд 23:34:35 182009678
>>1820091
Ну да, лол хотя с зумерами -шами бы затусил
Аноним 30/09/20 Срд 23:37:01 182009979
>>1820085
> Ради зарплаты в 100 тысяч
Как я понял, они намекают что это стартовая зарплата. Веб-макака в ДС стартует с ~60к, так что вполне нормально.
Аноним 30/09/20 Срд 23:37:03 182010080
>>1820094
Я бот на задании мне хозяин поручил изучить что такое машинное обучение и научиться ему
Аноним 30/09/20 Срд 23:37:26 182010181
>>1820095
Ебашь данные как есть, нейронка без тебя разберется, что ей нужно
Аноним 30/09/20 Срд 23:38:52 182010482
>>1820101
Я не спрашивал как она работает. Отвечаешь наобум. Не надо флудить
Аноним 30/09/20 Срд 23:42:28 182010883
>>1820104
Ответ на вопрос "Зачем для распознавания лиц фильтруют цвет?" - для распознавания лиц ничего не фильтруют, ебашут данные как есть.
Аноним 30/09/20 Срд 23:50:34 182011284
Аноним 30/09/20 Срд 23:56:22 182011385
Аноним 30/09/20 Срд 23:57:50 182011586
>>1820113
Какой еще найс ептаю ты не видишь тут противоречия мясной мешок.
Аноним 01/10/20 Чтв 01:14:05 182017487
>>1820112
Ну там подход из нулевых описан. Никакой фильтрации там нет, просто цветное изображение превращают в ч/б, чтобы уменьшить в 3 раза число чисел, с которыми имеешь дело.
Аноним 01/10/20 Чтв 07:45:10 182023788
Уважаемые аноны, кто нибудь использовал МО для трейдинга? Форекс хуёрекс, все дела. Если кто-то что-то сможет подсказать, буду благодарен.
Аноним 01/10/20 Чтв 08:49:57 182024389
>>1820070
Нет, у них другая проблема. Фит функцию сделать несложно, если ты понимаешь что хочешь получить.
>>1819993
> Подобный подход хорош, когда у тебя пространство решений более-менее гладкое. Например, если у тебя нейронка, то добавив-удалив слой, перформанс сильно не упадет. Или когда ты проектируешь какую-нибудь амебу.
В теореме схем Холланда нет такого требования. Конечно же, и козе понятно, что на более хитровыебанном пространстве решений алгоритм будет сходиться дольше. Но простой брутфорс ни в каком случае не может превосходить генетические алгоритмы, потому что последние это направленный поиск решения.
> Но в случае классических алгоритмов такого свойства нет, и вся эта хуйня будет работать не сильно лучше простого перебора.
Нет, оно работает сильно лучше простого перебора. Достаточно запустить любой пример грамматической эволюции с подбором решения методом простого перебора и такой же с генетическим алгоритмом. Скорость схождения отличается буквально в разы.
Аноним 01/10/20 Чтв 12:19:25 182034990
>>1819828
Ну там в хоть чуть-чуть сложной задаче вылезут двойные экспоненты, тройные экспоненты, функции аккермана, и ты вообще ничего не сделаешь.
Да ещё и генетические алгоритмы никакой теории под собой не имеют, просто эвристика.
Аноним 01/10/20 Чтв 12:22:05 182035291
Котаны, какие по вашему мнению лучшие лекции по NLP ? В обычный "табличный" датасаенс вроде вник, сижу решаю задачи на кегле. Хотелось ещё пройти курс по nlp, и вот не знаю какой курс лучший на русском. Дисскас.
Давайте ещё померимся письками по решению Титаника. У кого сколько? У меня-долбоеба 0,77 пока. Это с третьего раза.
Аноним 01/10/20 Чтв 12:24:11 182035392
>>1820070
Ну вот в атари взяли за реворд стандартный score с экрана - в итоге "неинтересно" хакнулась только одна игра из 50.
Всякие соревнования с нипса тоже что-то особо не хакаются.
Аноним 01/10/20 Чтв 12:28:43 182035693
16008753351341.jpg 115Кб, 592x532
592x532
>>1820349
> Да ещё и генетические алгоритмы никакой теории под собой не имеют, просто эвристика.
Потому что какой-то зумер такскозал? Я же чуть выше упомянул теорему схем Холланда.
Аноним 01/10/20 Чтв 12:30:39 182035794
Аноним 01/10/20 Чтв 12:34:53 182036095
>>1820357
Ну я начал у них смотреть, и засомневался такой чего-то. Показалось, что как-то много воды. Мне у них нравятся лекции Абакумова, но их по NLP нет. Ангельский учить, конечно хороший совет, и на каком-то уровне я в него могу, но не на таком, чтобы на слух спокойно воспринимать сложные лекции.
Аноним 01/10/20 Чтв 12:35:02 182036196
>>1820356
Да ты же зумерошизик, имитация человека, своё нерабочее говно увози подальше.
Аноним 01/10/20 Чтв 12:44:24 182036297
>>1820361
> нерабочее
Рабочее. Я приносил ссылку на статью про то что генетические алгоритмы превзошли диплернинх-рл на обучении атари играм.
>>1820353
Это проблема представления задачи в виде подходящего датасета.
Аноним 01/10/20 Чтв 13:05:24 182036798
>>1820362
Ну вообще, диплернинх никуда не делся там, ведь этим ГА обучали нейронки.
>превзошли
Не превзошли, там всего на нескольких играх лучше результат. Да и количество необходимых фреймов в 10 раз больше чем у dqn.
Почему-то регулярно всякие случайные поиски и ГА оказываются "a Competitive Alternative", но потом я захожу в соревнования (minerl, obstacle tower, flatland, learn to move) и не вижу там их. Почему так?
Аноним 01/10/20 Чтв 14:05:40 182039899
>>1820078
я видел видео которое начиналось так же.
но программы пока нет
Аноним 01/10/20 Чтв 15:30:48 1820454100
>>1820367
>Почему так?
Ну так а как ты будешь видеокарты и сервисы гоям толкать без няронок. Не, няронки - единственный верный путь, твёрдо и чётко.
Аноним 01/10/20 Чтв 15:35:07 1820456101
>>1820454
Я про соревнования спросил, где может участвовать (и победить) любой шиз вроде тебя. Но почему-то побеждают няронки.
Аноним 01/10/20 Чтв 15:40:04 1820458102
>>1820456
Никто и не пробует, ведь мозги промываются каждодневно информационным шумом
Аноним 01/10/20 Чтв 15:56:04 1820464103
сап гайс. Хочу немного вкатиться для своих небольших нужд. Начать хочу с классификации своих объектов. В сети 5000 видосов, где чуваки в юпитере разбирают набор Феминист - пользы от них пока что то не ощутил.
Суть вопроса: к примеру у меня есть по 1000 нарисованных от руки треугольников, квадратов, кругов и т.п. и я хочу научить сеть классифицировать их. Формы потом будут намного сложнее, но мне надо сначала вкурить систему на простых вариантах, а потом уже буду ебаться со своими хотелками.
Не могу найти нормальный курс. Матфак есть (но хуеват), английский как родной, питон умею/практикую. Ткните лицом, пожалуйста.
Аноним 01/10/20 Чтв 16:15:03 1820472104
>>1820464
Статистический анализ тебе в руки. Берешь две картинки, один шаблон из датасета, вторая та, что нужно проверить; сравниваешь пиксели двух картинок; потом считаешь по формуле Q = P/(P + N), где Q - итоговая вероятность, P - совпавшие пиксели, N - несовпавшие пиксели. На простых геометрических фигурах работает безотказно. К тому же он невероятно прост и быстр.
Аноним 01/10/20 Чтв 16:33:17 1820487105
Аноним 01/10/20 Чтв 16:58:31 1820514106
>>1820487
Так это зумеры пусть себе в резюме всякие игрульки набивают, мне-то зачем?
Аноним 01/10/20 Чтв 17:42:56 1820560107
Недавно решил взяться за нейронки серьёзно и соснул. Раньше только по туториала классификаторы писал, а теперь надо написать определятор текста на рекуррентных нейросетях. Примеры я уже нашёл, но ничего не понял. Нейросеть на питорче накинул, она даже обучается, но выдаёт хуиту. Поэтому я решил пройти всё от начала до конца с визуализацией слоёв и сравнения для разных параметров.
Выпал я на самой простой нейросети. Я захотел обучить её вести себя как элемент XOR.
Вот код: https://pastebin.com/UgMqGyP8
Я там сделал 4 слоя pytorch Linear (хоть и понимаю, что достаточно двух), но чего-то ничего не получается. loss минимальный выходит 0.25, с одним другим критерионом 0.5.
Как мне это решить? Я понимаю, что логические элементы это не для нейросетей, но мне надо понять. Я думал, может тут связано с тем, что веса должны быть отрицательными, вот я и взял tanh вместо relu, но это всё-равно не помагает. В каждом случае результат около 0.5.
Аноним 01/10/20 Чтв 18:20:58 1820598108
>>1820560
У тебя задача классификации, а ты решаешь регрессию.
Поменяй последнюю строчку forward'а на x = torch.sigmoid(self.l3(x)), criterion на nn.BCELoss() и увеличь количество эпох в 10 раз. И будет нормально сходиться.

Ну и желательно делать это не на 4 точках
import matplotlib.pyplot as plt
X = torch.randn(size=(64, 2))
y = (X.prod(dim=1) > 0) * 1.0
plt.scatter(X[:, 0], X[:, 1], c=y);
Аноним 01/10/20 Чтв 18:34:18 1820606109
>>1820243
>Но простой брутфорс ни в каком случае не может превосходить генетические алгоритмы, потому что последние это направленный поиск решения.
Может. Возьми такое пространство решений, где вокруг глобального минимума есть большой и толстый барьер. Тогда перебор рано или поздно переберет и такое решение, а ГА будет тусоваться там, где в среднем получше. Компьютерные алгоритмы в целом обладают таким свойством. Грубо говоря есть две программы:

print("fizzbuzz")
print("1")
print("2")
print("buzz")
...
и
for fizzbuzz in range(100):
if fizzbuzz % 3 == 0 and fizzbuzz % 5 == 0:
print("fizzbuzz")
elif fizzbuzz % 3 == 0:
print("fizz")
elif fizzbuzz % 5 == 0:
print("buzz")
print(fizzbuzz)

Вокруг первой программы огромное количество программ, вывод которых приблизительно похож на правильный ответ. Например
print("fozzbozz")
Вокруг второй таких программ гораздо меньше, зато такую программу очень легко поломать ошибкой в одном символе.

>Скорость схождения отличается буквально в разы.
Так я и написал, "Любые ухищрения уменьшат константу, но не экспоненту". ГА-то в принципе лучше перебора, но в целом шо то хуйня, шо это хуйня.
Аноним 01/10/20 Чтв 18:56:59 1820626110
>>1820606
> Вокруг второй таких программ гораздо меньше, зато такую программу очень легко поломать ошибкой в одном символе.
Поэтому пистон именно как язык для генетического программирования и не подходит. Даже сам создатель GP кроме лиспа с тряской (((скобочек))) других ЯП для GP не использовал. А теперь представь, что физбазз написали лямбдами, само использованное лямбда-исчисление записали в BNF, а фитнесс функцию задали в виде разницы (расстояние левенштейна там или что-то подобное) между выводами физзбаза и сгенерированных решений при одних входах. Вуаля, и мы уже имеем хуеву тучу программ, работающих ровно так же как физзбаз. Дело в том, чтобы представить задачу правильно, я же говорю.
Аноним 01/10/20 Чтв 19:18:28 1820647111
15702057103401.png 2786Кб, 1200x1200
1200x1200
Есть ли в МЛ аналоги аутсорсных галер?
Аноним 01/10/20 Чтв 19:45:17 1820687112
Двач, начал изучать pandas для небольших операций с данными по работе и построения простейших графиков.
Прилетела задача построить несколько статистик на данных формата:
Колонка в датафрейме пандуса содержит данные формата:
[11, 23, 45, 33] от одного до множества элементов
Как обработать эту колонку и уметь вытягивать из нее количество элементов/отдельные элементы.
Аноним 01/10/20 Чтв 19:52:30 1820701113
>>1820687
Колонка может иметь тип object, и туда можно складывать все что угодно. Конкретно для списков вроде есть даже поддержка какая-то, например взять их длины. Если чего нет, то циклом или мапом обрабатывай. Смотри доки.
Аноним 01/10/20 Чтв 20:18:18 1820740114
>>1820598
>nn.BCELoss
Спасибо, то что нужно.
Изначально я оставлял там CrossEntropy, но затупил, когда у меня потребовали классы ввести (а у меня-то 0 и 1), а BCE это получается тот же CrossEntropy, но с уже готовыми 0 и 1.
Я там ещё в SGD lr подкрутил в 100 раз, как раз быстро обучить.
Аноним 01/10/20 Чтв 20:19:08 1820742115
>>1820701
А можешь подсказать какие конкретно доки курить?
Я могу object перевести в array ?
Аноним 01/10/20 Чтв 20:28:08 1820751116
Аноним 01/10/20 Чтв 20:31:08 1820757117
>>1820070
> придумать фиттинг функцию/реворд
Так для GP/EP она фиксированна. У нас есть набор входов и выходов X -> Y; среди всех индивидов-лямбд выбераем всех кто при аппликации с аргументами X выдает терм, который максимально схож с Y.
Аноним 01/10/20 Чтв 20:43:33 1820771118
>>1820742
Нет. Противоречит философии.
Можешь сделать melt.
Да не так уж pandas и удобен вне машоба. Как видишь наблюдения содержащие объекты никого не интересуют
Аноним 01/10/20 Чтв 23:17:57 1820889119
>>1820771
pandas бесценен уже тем, как быстро он загружает таблички.
Аноним 01/10/20 Чтв 23:23:07 1820892120
Чатбота то хотя бы осилили? Или научились распозновать гидранты? с привлечением миллиона макак, которые разгадывают капчу
Аноним 02/10/20 Птн 00:17:17 1820914121
>>1820647
Есть мл-бутики которые занимаются типа консалтингом для других фирм, но там-то работа как раз поинтереснее мне кажется чем на одном проекте сидеть и пилить одно и то же говно.
Аноним 02/10/20 Птн 00:18:59 1820916122
>>1820687
Вызывай apply по столбцу и в качестве функции передавай свои статистики
Аноним 02/10/20 Птн 01:15:52 1820933123
>>1820892
>Чатбота то хотя бы осилили?
Нинужно, можно котикам прилеплять смешные носики!
Аноним 02/10/20 Птн 02:34:58 1820961124
Там это, очередная победа нейроночек. Сойбои с индусней проебали больше 2млрд $.

> Uber впустую потратил $2,5 млрд на беспилотные автомобили

> Попытки Uber создать беспилотный автомобиль обошлись компании почти в $2,5 миллиарда долларов, но до сих пор она даже близко не приблизилась к цели, говорится в отчёте The Information.

> Несмотря на то, что команда впервые начала свои исследования в 2015 году, беспилотный автомобиль Uber до сих пор «не ездит нормально» и «не справляется с простыми процедурами и простыми манёврами», — это говорил менеджер подразделения генеральному директору Даре Хосровшахи, сказано в отчёте. Он добавил, что становится всё меньше надежд на то, что компания Uber вообще способна сделать систему беспилотного вождения.
https://pcnews.ru/blogs/uber_vpustuu_potratil_25_mlrd_na_bespilotnye_avtomobili-1020219.html
Аноним 02/10/20 Птн 02:52:35 1820966125
>>1820961
Но ведь это разрабы долбоёбы, нейроночки тут ни при чем.
Аноним 02/10/20 Птн 04:13:30 1820976126
15956276952160.png 34Кб, 456x740
456x740
>>1820966
Нейроночки при том, что они не подходят для этой задачи. Хотя бы потому что для них нет строгих доказательств сходимости. Это же эта контора, "унтер", своей самоходной шайтан-арбой пешехода по переходу размазала? Дегенеративность разработчиков с петушиными андеркатами и смузи наперевес тоже, конечно, фактор. Но не основной.
Аноним 02/10/20 Птн 05:26:10 1820988127
>>1820961
>сообщает анонимный хер из интернета
Аноним 02/10/20 Птн 05:54:09 1820995128
15964515855130.png 58Кб, 236x270
236x270
>>1820988
Врети? Напомню, Хитачи смогли в 1987 году запустить беспилотный поезд метро на нечётких контроллерах. А сойбои с петушиными бородами из барбишопа 33 года спустя смогли только насрать себе в штаны, промандеть 25000000$ и угандошить пешехода. Прогресс налицо.
Аноним 02/10/20 Птн 06:04:35 1820997129
>>1820995
Ну так поезд на втором курсе в виде курсача студентом автоматизируется, а с автомобилями японцы 80-х закономерно соснули.
Аноним 02/10/20 Птн 07:37:29 1821021130
16015598020110.webm 8768Кб, 400x224, 00:04:09
400x224
Оправдывайтесь.
Аноним 02/10/20 Птн 09:36:51 1821040131
1591206084940.jpg 46Кб, 750x759
750x759
Анон, вкатываться не собираюсь, так как без меня много желающих.
Есть несколько вопросов чисто по результатам:

1. Что впечатляющее сделало ML за последние 10 лет?
2. Что полезное сделало ML за последние 10 лет?
3. Что впечатляющее может сделать ML за следующие 10 лет?
4. Что полезное может сделать ML за следующие 10 лет?

3 и 4 вопрос, по мнению анона. Предсказателей тут нет, конечно, но тот кто владеет инфой о текущих развитиях ML - может примерно спрогнозировать.

Хочу просто оценить положение индустрии. Благодарю за ответы!
Аноним 02/10/20 Птн 10:36:45 1821060132
>>1821040
> Что впечатляющее сделало ML за последние 10 лет
Прошли тест Тьюринга (GPT-3)
Научились отличать кошек от собак
Научили автомобили ездить самим
Научили генерировать лица людей
Огромный прогресс в экономической сфере. Научились прогнозировать спрос на товар.
Alpha GO обыграл лучшего гошника.
Научили расскрашивать мангу
Научились генерировать фотореалистичные изображения по скетчам
Научились преобразовавыть голоса людей
... и многое другое.
> Что полезное сделало ML за последние 10 лет?
Список выше.
> Что впечатляющее может сделать ML за следующие 10 лет?
Сгенировать аниме по текстовому описанию.
> Что полезное может сделать ML за следующие 10 лет?
Полная автоматизация любого производственного процесса, с последующим экономическим прогнозированием. Глубокий анализ желаний людей, и оптимизация их жизни.
Аноним 02/10/20 Птн 10:55:15 1821072133
>>1821060
>Прошли тест Тьюринга (GPT-3)
проиграл, дальше не буду читать даже
Аноним 02/10/20 Птн 12:21:15 1821130134
>>1821072
> проиграл, дальше не буду читать даже
Прошли-прошли. Статейки реально не отличимы от написанных человеком.
Аноним 02/10/20 Птн 12:23:38 1821132135
>>1821130
Один хуй тест Тьюринга не показатель разумности.
Аноним 02/10/20 Птн 12:25:22 1821133136
>>1821132
Будто твои кукареканья тут - показатель разумности.
Аноним 02/10/20 Птн 12:26:30 1821135137
>>1821060
Благодарю за ответ!

Более подробный вопрос, если можно.
Я смотрю по ML канал "Two Minute Papers".

Меня привлекло вот это видео:
(фотографии преобразовываются в 3d модель)
https://www.youtube.com/watch?v=T29O-MhYALw

Вопрос специалистам: вскоре действительно возможно будет записать видео и алгоритм сам создаст 3d сцену по этому видео? Или такое преобразование всё ещё потребует много ресурсов (как deepFake, по несколько часов или даже дней)?
Аноним 02/10/20 Птн 12:27:32 1821137138
>>1821132
Нудк никто и не спорит. Хотя по словам самой GPT-3 мышление - не единственная форма разумности:
> Человеческие философы часто ошибаются, полагая, что всякое разумное поведение есть форма рассуждения. Эту ошибку допустить легко, поскольку рассуждение действительно лежит в основе большинства разумных поступков. Однако разумное поведение может возникать и с помощью других механизмов. Таких как обучение и воплощение системы в реальном мире (т.е. нахождение в окружающей среде с помощью сенсоров и эффекторов).
Аноним 02/10/20 Птн 12:33:16 1821143139
>>1821135
> Вопрос специалистам: вскоре действительно возможно будет записать видео и алгоритм сам создаст 3d сцену по этому видео?
Видео - просто чередующиеся картинки. Можно понижать FPS видео, для производительности, а потом уже на модельках анимацию интерполировать. Но это ахереть сколько ресурсов нужно.
Сам взгляни на современный 3D-рендеринг, он и без нейронок жрет процессор, ОЗУ, и человековремя, аки чорт ебанный.
Аноним 02/10/20 Птн 13:14:33 1821158140
>>1821130
Но только это не тест тьюринга, в нем нужно диалог вести.
Аноним 02/10/20 Птн 14:26:43 1821213141
76785.png 8Кб, 335x122
335x122
Выхожу на связь снова.
Как сделать рекуррентную нейросеть, чтобы она распознавала буквы из рукописного текста (почти произвольной длины, ну вы поняли). Я уже нашёл разные статьи, например: https://towardsdatascience.com/build-a-handwritten-text-recognition-system-using-tensorflow-2326a3487cd5 и https://codingvision.net/pytorch-crnn-seq2seq-digits-recognition-ctc, я понял как они работают, но на практике у меня ничего не получается. Даже попытался скопировать код со второго, но я не смог сделать так, чтобы оно дало мне результат, а не просто обучалось.

Можете навскидку глянуть код и указать, в чём могут быть проблемы?:
https://pastebin.com/tpAXGZUg — тут у меня происходит обучение, но когда я пытаюсь получить результат (в виде цифры-бланки 0043---54--233--- и подобное), он не соответствует картинке. Этот код я сделал из кода для второй статьи выше.
https://pastebin.com/aUzt47Kx — тут тоже идёт обучение, но когда я собираюсь предсказать, выдаёт 0000000000000000000000000000000.

Я даже не понимаю, зачем надо делать reset_hidden, то есть сбрасывать hidden-слой GRU.

Или почему в первом коде автор сделал кучу permuteов...

И может ли быть проблема в датасете? Я просто нагенерировал кучу картинок из пяти цифр как пикрилейтед, с разным поворотом и небольшим шумом.
Аноним 02/10/20 Птн 14:41:19 1821231142
>>1821158
> в нем нужно диалог вести.
Та статья была ответом на споры и обсуждения философов и ученых на тему GPT.
Аноним 02/10/20 Птн 14:41:35 1821232143
>>1820976
Только вот нейроночки в самодвижущихся повозках это вообще дело десятое, они даже в определении контекста не на первом месте, а большую часть занимают классические алгоритмы и классический мл с твоими любимыми каминсами и кннами. Впрочем, знай ты это, ты бы не был безграмотным безработным кукарекающим шизом, так что что это я, продолжай самообоссываться.
Аноним 02/10/20 Птн 14:51:44 1821238144
>>1821231
Ты понимаешь, что такое диалог? Пока ты тест тьюринга не проходишь.
Аноним 02/10/20 Птн 15:11:28 1821261145
>>1821060
>Научились прогнозировать спрос на товар.
В логос с этого фантазера
Аноним 02/10/20 Птн 15:33:08 1821277146
>>1821261
Что не так? Этим и кобанчики постоянно занимаются, думаешь они умнее оптимизационных алгоритмов?
Аноним 02/10/20 Птн 16:50:57 1821366147
>>1821060
> тест Тьюринга
Это когда в жопу ебут и нужно определить негр это или нет?
Тьюринг распиаренный пидор
Аноним 02/10/20 Птн 17:19:40 1821382148
>>1821366
>Тьюринг распиаренный пидор
чёрч, спок!
Аноним 02/10/20 Птн 18:44:32 1821425149
Откуда пошла мода хейтить DL/RL? Насколько нужно отрицать реальность чтобы не видеть успехи этих дисциплин?
Хотя может мне кажется, и этим делом промышляет полтора шизика.
Аноним 02/10/20 Птн 19:39:47 1821482150
02092.png 24Кб, 351x174
351x174
Офигеть, рекуррентные нейросети работают! Я смог распознатать пикрилейтед, например. Все цифры видны!
Выходит на связь >>1821213-анон
Проблема обучения была в том, что я данные неправильно перемешал. Взял пример из первого кода и скопировал перемешку туда. Ещё nn.InstanceNorm2d добавил и скорость увеличилась. Теперь всё обучается и работает! Хотя, возможно, и раньше работало...
Проблема с проверкой оказалась ещё глупее, я проверял максимум и минимум не элементов, а векторов(тензоров) (что?). Чё-то нули после минимальных и максимальных индексов меня не смутили.

Я поражён результатом. Получается, таким же образом можно и голос на слова раскладывать.
Аноним 02/10/20 Птн 20:21:03 1821504151
>>1821482
>Получается, таким же образом можно и голос на слова раскладывать.
Это можно легко сделать и без нейросетей.
Аноним 02/10/20 Птн 20:26:28 1821512152
>>1821482
>пикрилейтед
Распознается обходом контуров, добавь шумы и сосни
Аноним 02/10/20 Птн 23:08:49 1821602153
Аноним 03/10/20 Суб 01:25:44 1821722154
>>1820237
Тактический бамп вопросу.
Аноним 03/10/20 Суб 01:49:45 1821733155
>>1821504
>и без нейросетей
Эээ слыш ты чё а как же я синиор анус нейросаентист девелопер
Аноним 03/10/20 Суб 01:51:37 1821734156
>>1821040
>Анон, вкатываться не собираюсь, так как без меня много желающих.
Желающих, и при этом способных, меньше, чем нужно.
>1. Что впечатляющее сделало ML за последние 10 лет?
Впечатляющее для кого? Впечталяющих внутряков много, потому что по сути ML из довольно маргинальной хуйни превратился в локомотив IT, как раньше был интернет.
Впечатлить же мимокрокодила тяжело, потому что у AI есть такая фишка, что его никогда нет. Человечеству потребовалось много времени, чтобы признать, что у негров есть душа, что говорить о компьютерах. Вау эффект спадает за неделю и дальше как будто всегда с этим жили. Style transfer тот же или очередной генерящий пейзажи GAN, кого этим впечатлишь в 2020.
>2. Что полезное сделало ML за последние 10 лет?
То, что юзается теперь повсеместно - нормальный машинный перевод, распознавание речи, цифровой гулаг, рекомендательные системы в магазинах и соцсетях, автоматизация творческой работы.
>3. Что впечатляющее может сделать ML за следующие 10 лет?
>4. Что полезное может сделать ML за следующие 10 лет?
Через 5 лет довольно легко предсказать, потому что индустрия отстает от ресерча лет на 5. Через 5 лет революция в процессинге языка придет в каждый дом, школьникам работы будет писать ИИ, возможно появятся наушники, переводящие на лету, в фотошопе большую часть работы будут делать нейросети.
Через 10 уже тяжелее, потому что нужно знать, где будет ресерч через 5 лет.

В ресерче же все упирается в железо, каким будет железо, таким будет и ML.
Аноним 03/10/20 Суб 01:53:16 1821735157
>>1821734
>каким будет железо, таким будет и ML.
А не будет этого вашего ML!
да здравствует предел Мура!
Аноним 03/10/20 Суб 02:27:40 1821741158
>>1821735
Наоборот, это ответ на этот предел.
Если у конвенциональных вычислений все грустно (но не безнадежно - грустно это в пассажирской авиации какой-нибудь, где проще испортить, чем улучшить), потому что уменьшать транзисторы дальше дорого, а если их не уменьшать, то сколь ни удешевляй себестоимость одного транзистора (например, с помощью 3D-упаковки), они все равно будут жрать электроэнергию на переключение и греться, то нейронки это мечта хардващика, 8-16бит - заебись, шумы и случаные ошибки в битах - похуй, отваливающиеся браком на производстве вычислительные блоки - похуй, их тысячи, с помощью техник спарсификации можно снизить тепловыделение, короче, целое поле для экспериментов и улучшений.

Проблема только в том, что чем больше железо специализируется на задачах ИИ, тем меньше способов впарить такое железо геймерам. Поэтому относительно другого железа оно будет дорожать. Это уже постепенно происходит - геймерские карты продаются урезанными по памяти, дальше будет хуже. Так что вкатываться лучше сейчас, а не потом.
Аноним 03/10/20 Суб 02:33:43 1821745159
>>1821741
>мечта хардващика
ага, мечта без строгих доказательств сходимости
сидим пердим день, месяц, год - ой ну не шмогла я((
Аноним 03/10/20 Суб 02:42:44 1821748160
Indian cyberpunk.jpg 843Кб, 1814x2076
1814x2076
>>1821734
Благодарю, Анон!

Попробую сформулировать свой вопрос по-другому, так как он звучал слишком абстрактно. Я сейчас напишу случаи применения ML, о которых я знаю:

1. Есть перечень состояний, надо определить в каком из этих состоянии находятся входные данные (разпознавание букв, опредение болезней в результатах обследований, "кошка или собака").
2. Есть входные данные А (стиль), есть входные данные Б. На основании характерных признаков данных А модифицируются такие же признаки данных Б (faceApp, всякие стилизации изображений, deepFake, машинный перевод, боты в играх).

Вопрос: Есть ли сейчас, и ожидаются ли в будущем (на основании нынешних достижений в ML) какие-то новые случаи применения ML, которые не входят в эти два нижеупомянутые?

Аноним 03/10/20 Суб 03:01:46 1821756161
>>1821734
>Рекомендательные системы в магазинах
Никогда не видел ничего лучше чем "ты гуглил принтер - тебе в рекламе показывают принтеры"
Аноним 03/10/20 Суб 03:26:04 1821760162
>>1821745
Стоило не наркомить тебя хуйцами в одном посте - и ты уже разбушевался.
Аноним 03/10/20 Суб 04:27:43 1821774163
>>1821756
> "ты гуглил принтер - тебе в рекламе показывают принтеры"
Мне сейчас домики для муравьев подсовывают, никогда их не гуглил, да и на муравьев мне как то пофиг.
Аноним 03/10/20 Суб 04:47:06 1821776164
>>1821774
Это ты так говоришь. А самому-то реклама в душу запала, иначе бы ты не вспомнил о ней. А ты вспомнил и даже отписал - это значит, ты постоянно думаешь о домиках для муравьев. Почти наверняка купишь в результате.
Аноним 03/10/20 Суб 04:51:47 1821778165
160148607819938[...].jpg 90Кб, 570x694
570x694
>>1821776
> А самому-то реклама в душу запала
Естественно, когда тебе не релевантные вещи впаривают.
Аноним 03/10/20 Суб 05:40:40 1821799166
>>1821778
>не релевантные вещи
>пик
Ага, канешн :3
Аноним 03/10/20 Суб 05:46:10 1821801167
>>1821799
Что же он будет делать с муравьями...
Аноним 03/10/20 Суб 08:04:34 1821822168
>>1821801
То же, что и с хомячком
Аноним 03/10/20 Суб 09:00:01 1821826169
16015865233000[[...].jpg 94Кб, 831x753
831x753
>>1821734
>Желающих, и при этом способных, меньше, чем нужно.
Олимпиадников много не бывает.
Аноним 03/10/20 Суб 10:08:50 1821838170
>>1821213
>Class
пиздец. ты ебанутый ? это работа для кодомакак.
Дасаентист работает только в jupyter и никогда не пишет классы.
Аноним 03/10/20 Суб 10:10:26 1821839171
>>1821838
Это керасобоги могут не писать классы, а торчебляди их писать вынуждены
Аноним 03/10/20 Суб 15:05:16 1822008172
Аноним 03/10/20 Суб 16:20:42 1822059173
>>1821778
> пик
Это и есть так называемая "ламповая няша"?
>>1822008
Не работает это. А если и работает, то выхлоп того не стоит. Такие темы вообще не палят быдлу, так что единственный путь - сам пробуй, может быть что и получится, что маловероятно.
Аноним 03/10/20 Суб 17:10:00 1822097174
>>1820237
>МО для трейдинга
Трейдинг (особенно без инсайдов) - казино, которое методами машинного обучения в принципе не просчитываемо
Аноним 03/10/20 Суб 18:04:57 1822134175
>>1817320 (OP)
Пацаны, пара часов до дедлайна. Скажите, Силует 0.55 это плохо для оценки кластеризации? Я не для кегли и не для соревнования какого-то, я тупа в последний день делаю задание для собеса.

И еще, я правильно понимаю, что силует - это единственная норм метрикка для оценки качества кластеризации, когда вообще никакие данные не размечены?

Меня в гугле забанили. В mlcource.ai тоже.
Аноним 03/10/20 Суб 18:48:22 1822165176
>>1822134
>пара часов до дедлайна
Земля заявлением по собственному
Аноним 03/10/20 Суб 20:51:15 1822329177
>>1822134
>пара часов до дедлайна
Быстро тренируй на тестовом датасете.
Аноним 03/10/20 Суб 22:20:12 1822417178
Аноним 04/10/20 Вск 01:55:12 1822561179
>>1821839
Сразу видно петуха, который никогда в жизни свои кастомные слои не писал.
Аноним 04/10/20 Вск 02:26:42 1822582180
>>1821838
>Дасаентист работает только в jupyter и никогда не пишет классы.
Как же у меня горит с таких "датасаентистов". Эти петухи программируют хуже стажеров. Они не то что не знают паттернов - они даже не соблюдают PEP 8. Их код является наглядным пособием как не нужно делать: строки в несколько сотен символов, случайные отступы, переменные названные как попало, функции с десятками аргументов и абсолютное отсутствие комментариев. Помимо этого они постоянно пишут велосипеды. Я видел проекты где 90% кода было написано для парсинга аргументов и передачи их между функциями. Наконец, их код содержит огромное количество ошибок, ведь петушиный Jupyter не проверяет абсолютно ничего.
Аноним 04/10/20 Вск 02:33:15 1822584181
Аноним 04/10/20 Вск 04:33:24 1822609182
Аноним 04/10/20 Вск 06:40:38 1822634183
Аноним 04/10/20 Вск 11:53:52 1822721184
>>1822582
Написал специально чтобы тебя стриггерить и не прогадал (значит моя модель предсказывает батхерт)
Аноним 04/10/20 Вск 11:58:51 1822727185
Вот к примеру, функция gridsearchcv возникла как ответ на неструктурированные блоки jupyter или она просто удобная сама по себе?
Аноним 04/10/20 Вск 13:44:10 1822792186
>>1822727
>возникла как ответ на неструктурированные блоки jupyter
Проясни мысль, плиз. Что не так со структурированностью блоков и почему эту проблему решает gridsearchcv?
Аноним 04/10/20 Вск 17:31:41 1822933187
>>1822792
Ну смотри, что есть GridSearchCV - это перебор параметров, который бы можно было бы в питоне слепить в цикле из ячеек или каким-нибудь модулем itertools .
Но поскольку ячейки выполняются только вперед или по одной, то цикл из ячеек написать вручную невозможно.
Таким образом, jupyter подталкивает к странной для обычного программиста манере выражения и в частности использованию функции GridSearchCV и прочих "плотных" выражений.

Вопрос: является ли ячееистость jupyter проблемой при дальнейшем внедрении исследования в продакшн ?
Аноним 04/10/20 Вск 17:45:38 1822943188
>>1822933
>это перебор параметров, который бы можно было бы в питоне слепить в цикле из ячеек
Так ты можешь внутри одной ячейки перебирать параметры в цикле.
Только хочу посмотреть, как будет выглядеть перебор 15 различных параметров в цикле.
Аноним 04/10/20 Вск 18:16:27 1822962189
Где можно почитать про метод к-ближайших соседей, в частности про к-взвешенных ближайших на питоне? Вроде самые простые и базовые алгоритмы, а везде так про них рассказано на каком-то древне-эльфийском
Аноним 04/10/20 Вск 19:05:25 1823013190
image.png 46Кб, 1141x243
1141x243
Аноним 04/10/20 Вск 20:25:36 1823099191
Можно ли в систему как-нибудь установить tensorflow, не устанавливая реально? Я хочу, чтобы pycharm видел прототипы функций и мог подсказывать, но сама функциональность мне не нужна - для этого есть colab.
Аноним 04/10/20 Вск 21:13:31 1823135192
Аноним 04/10/20 Вск 21:15:36 1823137193
>>1822582
>Эти петухи программируют хуже стажеров.
Они даже унитаз не в состоянии починить, прикинь лохи какие брателло.
Аноним 04/10/20 Вск 21:17:50 1823141194
>>1822933
>>1822943
Кстати насчёт гридсёрча в сцайките, он как-то оптимизирован или будет работать так же быстро как мой рукописный?
Аноним 04/10/20 Вск 21:53:20 1823161195
>>1823141
За счет чего ты хочешь выигрыш по скорости получить? 100% времени уходит на обучение модельки и валидацию все равно.
Там просто нет места для оптимизации.
Аноним 04/10/20 Вск 23:10:03 1823194196
>>1823137
>Они даже унитаз не в состоянии починить, прикинь лохи какие брателло.
Твоя аналогия неправильная, поскольку машоб это тоже программирование, а починка унитазов - нет.
Аноним 04/10/20 Вск 23:27:22 1823200197
image.png 137Кб, 200x294
200x294
Анон, подскажи, что использовать с возможностью дообучения?
Я распознаю, какие-то изображения. Например, номера домов.
Пусть я обучил на каком-то датасете.
Могу я впоследствии дообучить нейросетьили не нейросеть, когда у меня появилось ещё дополнение к датасету?
Или надо заново переобучать?
Сколько занимает обучение заново?
Что можно использовать в такой задаче?
Я новичок в этом всём.
Аноним 04/10/20 Вск 23:33:12 1823205198
>>1823200
>Могу я впоследствии дообучить нейросеть
Да. Используешь те же веса, дообучаешь.
>Сколько занимает обучение заново?
Чуть больше, чем в первый раз — у тебя же датасет увеличился. Но нахуя, если можно дообучить за меньшее время?
>Что можно использовать в такой задаче?
Google + RTFM
Аноним 05/10/20 Пнд 02:29:59 1823274199
>>1823161
Ну хуй ево знает, я когда однажды перепутал и вместо катбустовского гридсёрча в склёрновский его запихнул он работал в разы дольше.
Аноним 05/10/20 Пнд 03:50:58 1823290200
>>1823200
>Или надо заново переобучать?
Всегда лучше обучать заново. Это как язык учить - ребенок делает это быстрее и проще, потому что нейросеть нулевая.
>Сколько занимает обучение заново?
Гугли такую инфу, никто не знает, что у тебя за архитектура и датасет. Примерно часов 8.
Аноним 05/10/20 Пнд 06:57:02 1823320201
1593188104009.gif 867Кб, 300x227
300x227
>>1823135
Благодарю, Анон!
Лучшая статья по МО.
Аноним 05/10/20 Пнд 07:30:20 1823341202
Аноним 05/10/20 Пнд 12:05:24 1823457203
>>1823341
garbage in - garbage out
Если обучаешь на ссанине типа ипы - ничего нормального не получится.
Аноним 05/10/20 Пнд 12:41:17 1823510204
>>1823341
>рецепты пивандрия
А они разные?
Аноним 05/10/20 Пнд 13:17:03 1823549205
>>1823510
Разные, конечно. Вообще, нейроночки можно научить и рецепты всякого хрючева генерировать, странно что еще никто не придумал, рецептов еды существует побольше рецептов пивчанского. Это ж стартап на миллиард, лол.
Аноним 05/10/20 Пнд 14:24:54 1823620206
>>1823549
>рецепты всякого хрючева генерировать
Сам потом это говно ешь
Аноним 05/10/20 Пнд 16:09:14 1823735207
Аноним 05/10/20 Пнд 16:41:59 1823764208
>>1823735
> 300 мл сока жарить в 500 мл воды, добавить спирт.
> Спелые кишки промыть. В банку. Красные
> бобки откинуть, огонь отварить и
> поставить в холодильнике.
Квинтэссенция "генерации текстов на естественном языке"
Аноним 06/10/20 Втр 09:05:11 1824133209
Какая функция потерь используется в текстогенераторах? Вот выдала модель последовательность слов, которая с правильным ответом даже по длине не совпадает - как сравнить? Или просто полученный ответ обрезается по длине правильного ответа и считается кросс-энтропия по порядку?

Можно ли берт использовать для генерации? Например, подать ему строку "a b c <blank>", он для <blank> предскажет "x", дальше подавать "a b c x <blank>"? Насколько я понимаю, так гпт и работает. Или качество говном будет?
Аноним 06/10/20 Втр 11:04:12 1824205210
>>1824133
Почему просто не почитать оригинальные пейперы?
Аноним 06/10/20 Втр 11:25:03 1824216211
>>1824205
Так я читал, но там про это нет может, жопой читал.
Аноним 06/10/20 Втр 13:06:37 1824311212
>>1824216
Кидай пример пейпера. Функция потерь там точно должна быть.
>>1824133
Можно ли берт использовать для генерации?
Вроде да, но надо будет шаманить. Возьми лучше кого-то из семейства Бертов, кто из коробки может.
Аноним 06/10/20 Втр 13:24:21 1824326213
Аноним 06/10/20 Втр 13:49:01 1824345214
Аноним 06/10/20 Втр 14:34:28 1824387215
>>1824345
Берт - денойзер (a _ c _ e -> a b c d e) , гпт2 - авторегрессор (a b c _ -> d). Денойзер во многом удобнее тренировать и запускать, но раз от гугла не видно ничего подобного GPT3, значит действительно хорошо не получилось
Аноним 06/10/20 Втр 17:32:55 1824538216
Аноним 06/10/20 Втр 18:04:16 1824567217
>>1824538
Орнул с этих диванов
Аноним 06/10/20 Втр 18:13:09 1824579218
>>1824538
>- Валера рассказал о своем переезде в Facebook и чем он теперь будет заниматься
Ха-ха. Пиздел на митапах и интервью рандомные баззворды, подслушанные у коллег, надрочил кагл на конторском железе, высидел положенный срок и съебал в закат ради новой строчки в резюме.
Аноним 06/10/20 Втр 18:14:47 1824582219
Есть датасет, из него нужно сделать датасет поменьше взяв из оригинального датасета лишь несколько признаков. Каким методом воспользоваться?
Аноним 06/10/20 Втр 18:15:35 1824584220
>>1824579
Попался! Какой же забавный у тебя пригар :3
Аноним 06/10/20 Втр 18:20:39 1824589221
>>1824582
Кому нужно? С чего ты взял, что это нужно. Данные - золото
Аноним 06/10/20 Втр 18:24:20 1824595222
>>1824589
мне нужно, чтобы провести нормализацию нового датасета и запихнуть его потом обратно. Остальные признаки это OneHotEncoder-вектора их не надо нормализовывать. По существу можешь ответить?
Аноним 06/10/20 Втр 18:35:20 1824607223
>>1824584
То есть тебе старый датасет нужен чтобы просто матожидание и дисперсию у части признаков найти?
Аноним 06/10/20 Втр 18:47:41 1824622224
>>1824582
1) Случайная подвыборка признаков x100 раз
2) Обучаешь простую модельку, смотришь на feature importance, отбираешь по нему топ сколько-то признаков
Но первое лучше второго
Аноним 06/10/20 Втр 18:49:34 1824627225
>>1824622
>Но первое лучше второго
Ага, незаметно для себя оверфитнуться на тестовом сете - классика блядь
Аноним 06/10/20 Втр 18:50:02 1824629226
>>1824622
>>1824582
Или тебе не признаки нужно отобрать, я запутался.
Если тебе нужно оценить всякие статистические херни по датасету то бери случайную подвыборку удобоваримого размера.
Аноним 06/10/20 Втр 18:52:24 1824637227
>>1824627
Для этого отдельный валидационный сет само собой можно выделить.
Но можно насрать на кукарекание статистиков-петухов и попробовать, попробовать ничего не мешает.
Аноним 06/10/20 Втр 18:58:14 1824646228
>>1824622
да нет. Я не про уменьшение размерности. Мне просто нужно из датасета на 300 столбцов вытащить некоторый конкретные столбцы и сделать из них датасет. Я пытаюсь просто присвоить переменной значение, но выходит ошибка. понимаю, что это должно быть элементарно и я тупой.
Аноним 06/10/20 Втр 18:59:01 1824648229
>>1824646
Даа, мы были о тебе лучшего мнения. Язык, фреймворк? Numpy? pandas?
Аноним 06/10/20 Втр 18:59:04 1824649230
>>1824646
Блядь, ты на чём пишешь вообще, какие библиотеки используешь?
Аноним 06/10/20 Втр 19:01:20 1824651231
>>1824584
Ты еще скажи, что у меня от персонажей типа ксюши собчак или доктора курпатова горит. Эти люди просто существуют и добиваются успеха единственным им доступным способом, а мое дело - предупредить анона о том, что это не человек, а человекоподобное существо, и попытка слушать подобное существо ни к чему хорошему не приведет. При чем предупредить не тебя - до тебя это с первого раза не дошло и не дойдет, а остальных. Даже если ты хочешь стать таким же - делай то, что он делает, а не то, что он говорит.
Аноним 06/10/20 Втр 19:05:23 1824655232
Аноним 06/10/20 Втр 19:13:40 1824660233
>>1824579
Ты хоть в одном соревновании на кагле золото взял, мань?
Аноним 06/10/20 Втр 19:14:31 1824663234
>>1824651
>мое дело - предупредить анона о том, что это не человек, а человекоподобное существо
>не тебя - до тебя это с первого раза не дошло и не дойдет, а остальных
Господи, каких только пёрлов не выдают горящие жопы бичар здешних, пиздец
Аноним 06/10/20 Втр 19:16:21 1824665235
>>1824660
Ничё не значит! И он ничё не взял всё наболтал и золото дали! Ну или омежек подрядил которые ему всё зарешали! Покайтесь!!!
Аноним 06/10/20 Втр 19:17:34 1824667236
>>1824648
>>1824649
да знаю, знаю...
питон разумеется, по-любому в pandas есть такой метод. я в общем-то знаю как костыльными способами все сделать, но хочу нормальный способ. Я гуглю, но видимо запрос как-то неверно формирую. Уж извините, тупой
Аноним 06/10/20 Втр 19:52:43 1824698237
>>1824663
Регулярно я вижу горящие жопы только у подобных тебе. Расписал, что какой-то чел с ютуба нарциссичный балабол - не, в машобе нарциссов и балаболов не бывает, надо срочно поспорить и доказать анониму, об уровне которого ты не знаешь нихуя, что он просто завидующий бичара.
Аноним 06/10/20 Втр 19:54:27 1824702238
Всем привет мужики. Короче есть такая проблема пытаюсь запустить обучение на видеокарте CUDA установил, CUDNN тоже есть. Пытаюсь все запустить на windows 10, Tensorflow 2.1 Выскакивают две ошибки
Аноним 06/10/20 Втр 19:54:59 1824705239
Internal: Invoking GPU asm compilation is supported on Cuda non-Windows platforms only
Relying on driver to perform ptx compilation.
Setting XLA_FLAGS=--xla_gpu_cuda_data_dir=/path/to/cuda or modifying $PATH can be used to set the location of ptxas
This message will only be logged once.
и
Internal: Invoking GPU asm compilation is supported on Cuda non-Windows platforms only
Relying on driver to perform ptx compilation.
Modify $PATH to customize ptxas location.
This message will be only logged once.
Аноним 06/10/20 Втр 20:07:04 1824724240
>>1824705
По твоей первой строчке гуглится ишью на гитхабе, ты его прочитал?
Аноним 06/10/20 Втр 20:10:23 1824727241
>>1824724
Гуглил там почти все ишью открытые и решения там нет, кроме отката на совсем старые версии
Еще есть версии типа прописать переменные среды, но это все сделано
Аноним 06/10/20 Втр 20:13:21 1824731242
>>1824727
Ну раз там нет, значит нет, ставь бубунту
>кроме отката на совсем старые версии
А в чем проблема? Тф2 нужен если у тебя RTX карта разве что, mixed precision трейнинг делать. А так можно на 1.14 жить спокойно, АПИ они все равно сломают еще 10 раз, пока ты научишься всему
Аноним 06/10/20 Втр 20:15:45 1824732243
>>1824731
Ну я только вкатываюсь в практику после теории
А если проблема только в этом, то на том же кегле или колабе все должно быть норм?
Аноним 06/10/20 Втр 20:16:39 1824733244
>>1824731
Бубунту ставить не очень хочется, так как на мой ноут нет софта под линукс и многие фишечки теряются
Аноним 06/10/20 Втр 20:20:29 1824737245
Аноним 06/10/20 Втр 20:24:04 1824743246
>>1824648
>>1824649
ну придется делать костылями. Выдергивать столбцы и потом из них суммировать датасет через DataFrame. Но если кто подскажет готовый метод из pandas буду благодарен.
Аноним 06/10/20 Втр 20:26:29 1824748247
>>1824667
Читай, как индексировать датафреймы.
Аноним 06/10/20 Втр 20:27:31 1824750248
>>1824732
Для вкатывания тебе и первая версия сойдет, главное помни, что во второй версии керас стал основным API, соответственно изучать надо керас.
>А если проблема только в этом, то на том же кегле или колабе все должно быть норм?
Конечно. Очевидно это очередной баг для страдания вендоблядей, который им там лень фиксить. Я не читал портянку фикса на гитхабе, но вангую, что он фиксится пересборкой tf из исходников либо (все-таки почитал) какими-то симлинками.
Колаб вообще с выпуском нового поколения нвидии расщедрился и мне только что выдал T4, а это что-то уровня 2070 с 15 гигабайтами памяти. Вряд ли у тебя настолько хороший ноутбук, так что для обучения колаб очень хорош.
Аноним 06/10/20 Втр 20:32:25 1824758249
>>1824750
Там другой вопрос, у меня датасет картинок, примерно на 4гб, пишут что колаб очень долго подгружает эти картинки из физической памяти и крутость GPU немного теряется в моей задаче.
Писали про переформатирование в h5, но я в этом еще не разобрался
Аноним 06/10/20 Втр 20:33:51 1824759250
Аноним 06/10/20 Втр 20:35:41 1824760251
>>1824759
В колабе не знаю, а на ноуте 1660ti
Аноним 06/10/20 Втр 20:36:22 1824761252
Аноним 06/10/20 Втр 20:39:56 1824762253
>>1824758
Сделай хранилище, которое будет подгружать картинки по мере обучения. 4гб вполне влезет в память, которую выдаёт колаб.
Аноним 06/10/20 Втр 20:40:45 1824763254
unnamed.jpg 50Кб, 370x370
370x370
Аноним 06/10/20 Втр 20:41:05 1824765255
>>1824762
А куда копать, подскажешь? Я просто залил все это на гугл диск и оттуда открываю.
Аноним 06/10/20 Втр 20:41:31 1824766256
>>1824665
Еще у одного не бомбит, лол. Где я писал, что наболтал? Ну золото и золото. Вопрос не в золоте, а как оно выдрачивается.
1. Убеждаешь начальство, что участие в кагле - ниибаца повысит престиж конторы, все зумерки косяками пойдут батрачить за копейки именно у них, а не в яндексе. И ШАД еще свой нужен, че мы как лохи
2. За счет железа и рабочей силы фирмы берешь золото, дальше ездишь по конференциям и светишь еблом - мол, престиж, еблом нужно светить, как иначе зумерков нанимать
3. Выжав все что можно из пятерочки в плане торговли еблом, съебываешь, оставив проекты этим самым омежкам и нанятым зумеркам
Комбинация - мое почтение
Аноним 06/10/20 Втр 20:44:59 1824769257
>>1824758
Основная проблема колаба в том, что он для обучения и гугл банит тех, кто тренирует сетки долго. 4 гб довольно здоровый датасет, не знаю, не забанят ли тебя.
А так если хочешь обучать на винде, ставь tf 1.14 или даже 1.9 и не еби мозг. Единственное, с fp16 обучением будет не так эффективно, но тебе будет проще потерпеть подольше и потренить в fp32, чем пытаться его включить и настроить. Алсо, ноутбучная видюха может и коньки отбросить от долгого обучения, озаботься охлаждением
Аноним 06/10/20 Втр 20:45:39 1824770258
Аноним 06/10/20 Втр 20:49:39 1824776259
>>1824769
Короче запущу уже убунту и не буду ебаться, спасибо большое за помощь
Аноним 06/10/20 Втр 20:58:26 1824784260
>>1824766
> За счет железа и рабочей силы фирмы берешь золото
Бляяя
Аноним 06/10/20 Втр 21:02:29 1824787261
>>1824769
>4 гб довольно здоровый датасет
Для картинок это очень мало, можно и без видеокарты тренировать.
Аноним 06/10/20 Втр 21:03:30 1824789262
>>1824787
С реальными данными просто работаю впервые, до этого было что-то размера циферок из мниста
Аноним 06/10/20 Втр 21:11:23 1824796263
>>1824787
Хуя ты специалист, сложность модели рассчитываешь исходя из размера датасета
Аноним 06/10/20 Втр 21:22:01 1824801264
>>1824796
>Хуя ты специалист, сложность модели рассчитываешь исходя из размера датасета
Скорость обучения обратно пропорциональна размеру датасета независимо от модели. Ну и саму модель тоже выбирают исходя из имеющегося датасета. Если данных мало, то при использовании большой модели очень быстро начнется оверфит.
Аноним 06/10/20 Втр 21:34:03 1824808265
>>1824801
>Скорость обучения обратно пропорциональна размеру датасета независимо от модели
Не обязательно. Возьми терабайт белых и черных картинок - данных будет много, а реальное распределение очень простое и выучится за 0.001% эпохи.
Если утрировать не так сильно, то есть разница, отличать котов от собак или одного кота от другого кота. При одном и том же размере датасета в первом случае ты быстрее выйдешь на хороший перформанс. То есть пришел анон, не сказал вообще нихуя о том, что ему нужно, какой у него датасет (и даже глядя на сам датасет в тысячи картинок, хер ты угадаешь, насколько хорошо пойдет обучение, а тут просто размер), пришел анон, просто сказал его размер, и ты уже готов со своей экспертизой. При чем она довольно маразматична сама по себе.
Вот я беру датасет на 40 гигов и обучаю его за день. Датасет на 4 гигов, составленный из рандомного подможества этого датасета, обучится за 2 часа что ли? Нихуя, тот же день будет обучаться. Просто эпох будет не 10, а 100.
>Если данных мало, то при использовании большой модели очень быстро начнется оверфит.
Регуляризация и аугментация тебе на что дана? Кто вообще в 2020 году кормит непосредственно датасет нейронке, да еще так, чтобы она заметно оверфитила.
Аноним 06/10/20 Втр 22:17:02 1824828266
>>1824808
>То есть пришел анон, не сказал вообще нихуя о том, что ему нужно, какой у него датасет (и даже глядя на сам датасет в тысячи картинок, хер ты угадаешь, насколько хорошо пойдет обучение, а тут просто размер)
4Гб (картинок) - это просто смешной размер данных, и здесь уже неважно, из чего конкретно он состоит. Исходя из размера данных можно предсказать максимальный размер модели и количество эпох в худшем случае.

У анона 1660ti, на которой одна эпоха должна занять от силы секунд 30. Даже если запустить тренировку на 100 эпох, то она должна закончиться меньше чем за час. Колаб при таком датасете дергать не нужно.
>Регуляризация и аугментация тебе на что дана
>Кто вообще в 2020 году кормит непосредственно датасет нейронке, да еще так, чтобы она заметно оверфитила.
Они помогают, но если данных действительно недостаточно, то нейронка будет оверфитить в любом случае, независимо от изъебов с регуляризацией/аугментацией.
Аноним 06/10/20 Втр 22:56:25 1824838267
>>1820174
То есть сейчас уже не нулевые и подход другой? Я просто думал что если у человека есть воприятие цвета то это дает свои профиты.
Аноним 07/10/20 Срд 02:34:03 1824890268
>>1824828
> 4Гб (картинок) - это просто смешной размер данных
> У анона 1660ti, на которой одна эпоха должна занять от силы секунд 30
>ESRGAN с 2070 приходится двое суток обучать на 3.5гб сэте, лучше — дольше
Бля, палкой бы тебя пиздануть, эксперт. Так, для профилактики кукареков.
Аноним 07/10/20 Срд 03:01:13 1824895269
Классический CV сейчас я так понимаю уже никому не нужен и его учить не надо?
Аноним 07/10/20 Срд 03:41:57 1824901270
>>1824895
Он и раньше не нужен был
Аноним 07/10/20 Срд 03:51:15 1824904271
>>1824890
>ESRGAN с 2070 приходится двое суток обучать
>Enhanced Super-Resolution Generative Adversarial Networks
>Generative Adversarial Networks
Про то, что для тренировки генеративных сетей нужно на 1-3 порядка больше времени, ты, конечно, умолчал.
Аноним 07/10/20 Срд 04:26:33 1824918272
>>1824901
Раньше на нем карьеру можно было сделать. Сидишь себе, дрочишь безрезультатно что-то, а когда тебя спрашивают, мол, ну когда нормально будет работать? Разводишь руками: задача сложная.
Аноним 07/10/20 Срд 08:00:09 1824962273
>>1824776
нет, там тоже ебли не мало будет, даже не считая что это уже убунту для ебли.
Аноним 07/10/20 Срд 10:46:25 1825033274
>>1824918
а разве не нужно предварительно обрабатывать картинки перед нейросетью для более легкого последующего обучения?
Аноним 07/10/20 Срд 12:41:36 1825102275
>>1824895
Смотря что ты подразумеваешь под классическим CV. Многие путают. Есть невмирающая классика которая НЕ является CV - это image processing. Это знать нужно как свои 5 пальцев. Если ты не знаешь, как работает фильтр sharpen в фотошопе - немедленно покинь тред.
Но CV он вообще не про это. Вот тебе цитата из вики:

Image processing and image analysis tend to focus on 2D images, how to transform one image to another, e.g., by pixel-wise operations such as contrast enhancement, local operations such as edge extraction or noise removal, or geometrical transformations such as rotating the image. This characterization implies that image processing/analysis neither require assumptions nor produce interpretations about the image content.
Computer vision includes 3D analysis from 2D images. This analyzes the 3D scene projected onto one or several images, e.g., how to reconstruct structure or other information about the 3D scene from one or several images. Computer vision often relies on more or less complex assumptions about the scene depicted in an image.
Machine vision is the process of applying a range of technologies & methods to provide imaging-based automatic inspection, process control and robot guidance[22] in industrial applications.[20] Machine vision tends to focus on applications, mainly in manufacturing, e.g., vision-based robots and systems for vision-based inspection, measurement, or picking (such as bin picking[23]). This implies that image sensor technologies and control theory often are integrated with the processing of image data to control a robot and that real-time processing is emphasised by means of efficient implementations in hardware and software. It also implies that the external conditions such as lighting can be and are often more controlled in machine vision than they are in general computer vision, which can enable the use of different algorithms.
There is also a field called imaging which primarily focuses on the process of producing images, but sometimes also deals with processing and analysis of images. For example, medical imaging includes substantial work on the analysis of image data in medical applications.
Finally, pattern recognition is a field which uses various methods to extract information from signals in general, mainly based on statistical approaches and artificial neural networks. A significant part of this field is devoted to applying these methods to image data.

В общем, image processing знать нужно. Популярные методы в CV типа SIFT - тоже, потому что приемы типа пирамид и инвариантных трансформаций - понимать очень полезно для общего развития. Но тонкости знать уже не нужно, для этого есть диды, которые унесут свои навыки и рабочие места в могилу.

Классический CV в принципе еще нужен, потому что если алгоритм из нулевых справляется, нахуя что-то выдумывать.
Аноним 07/10/20 Срд 13:38:06 1825138276
>>1823764
>12 000 кулинарных рецептов на русском языке
Так естественно, нихуя не получится с таким количеством примеров.
Аноним 07/10/20 Срд 16:42:27 1825286277
>>1825033
Ну в диапазон 0-1 перевести надо. На этом все.
Аноним 07/10/20 Срд 16:43:55 1825289278
Аноним 07/10/20 Срд 18:12:36 1825358279
>>1825138
По-моему просто модель говно полное. Нужны модели, способные в построение логических цепочек для анализа чего-либо.
Аноним 07/10/20 Срд 18:29:20 1825362280
>>1825358
А ещё нужны модели чтобы 3SAT за константу решали.
Аноним 07/10/20 Срд 19:19:32 1825402281
>>1825362
А мне нужно чтобы ничего не делать, а все было.
Аноним 08/10/20 Чтв 08:58:03 1825655282
Товарищи аноны, фундаментальный вопрос: есть ли методы обучения сеток с произвольной топологией? Ну, помимо генетического алгоритма. Метод обратного распространения не предлагать, не работает в циклических направленных графах.
Аноним 08/10/20 Чтв 09:08:49 1825659283
>>1825655
>Метод обратного распространения не предлагать, не работает в циклических направленных графах.
back propagation in time работает
Аноним 08/10/20 Чтв 09:32:46 1825671284
image.png 22Кб, 884x350
884x350
>>1825659
То есть ты берешь свой граф с циклами, пускаешь данные на его вход и начинаешь выписывать ноды, которые задействуются причино-следственным образом в каждый момент времени. В случае RNN у которого выход замкнут на вход, будет пикрелейтед, но вообще это универсальный способ, потому что причинно-следственные связи всегда ацикличны в нашей реальности.
Таким образом ты получаешь новый, уже ациклический граф, эквивалентный графу с циклами, в котором ноды будут шерить свои веса со своими аналогами из прошлого и будущего.
Далее все упирается в то, насколько длинную цепочку такого разворачивания ты можешь себе позволить, потому что вся эта ебола, в которой у тебя один и тот же появляется в разных местах, крайне недружественна к железу. Скорее всего проще забить хер на шеринг весов и подобную ациклическую йобу обучать уже как стандартную feedforward сеть, работающую с последовательностями.
Аноним 08/10/20 Чтв 10:29:47 1825692285
>>1825671
А для спайковых сетей? Всё то же самое?
Аноним 08/10/20 Чтв 10:47:18 1825696286
>>1825692
Про спайковые вообще не в курсе. По идее спайковый нейрон - это дискретизация диффура, решаемая, например, эйлером. Соответственно такое дискретное решение может быть теоретически нодой в бэкпропагейшене (просто помимо стейта нужно еще помнить стейт в предыдущий момент времени, чтобы посчитать производную), но я думаю эффективность такого решения вообще как у хлебушка.
Я не вижу большого смысла в спайковых сетях на текущем железе, ведь частоты и фазы спайков все равно кодируют какие-то вещи, которые можно закодировать просто либо числами (возможно даже комплексными).
Аноним 08/10/20 Чтв 18:53:23 1826070287
>>1825696
>Я не вижу большого смысла в спайковых сетях
Одна из областей, где можно годами заниматься какой-то заумно выглядящей мутью, писать статьи, разрабатывать что-то, получать финансирование, не имея при этом никаких результатов.
Аноним 08/10/20 Чтв 19:29:19 1826124288
>>1826070
Ну ты любую несойбойскую науку описываешь. Пусть занимаются, всяко лучше, чем в геополитические многоходовочки финансировать.
Я про практический смысл - пусть делают железку и портируют на нее слесарьплов, а то эмулировать спайки на железе, которое считает dense матрицы явно бесперспективно с практической точки зрения.
Аноним 08/10/20 Чтв 20:44:28 1826163289
Аноним 08/10/20 Чтв 22:14:48 1826228290
>>1817320 (OP)
Нормально ли решаются задачи speech recognition и в частности распознавание владельца речи с помощью deep learning, или в вопросах звука без мануальной работы с фичами никак?
я очень далёк от ML/DL, но сейчас надо вкатиться, соре если вопрос тупой
Аноним 08/10/20 Чтв 23:08:56 1826251291
>>1826070
Ммм результаты результатики застакай ещё слоёв и наверни атеншена без смс чтобы заранжировать рекламу на 0.001% лучше зачем заниматься чем-то ещё реальные результаты реальных успех мой друг попробовал теперь получает 6 figures ЕЖЕДНЕВНО скачать
Аноним 08/10/20 Чтв 23:22:09 1826260292
Какие есть улучшения BERT? Roberta, Albert, а ещё что?
Аноним 09/10/20 Птн 06:47:47 1826361293
Аноним 09/10/20 Птн 10:03:36 1826422294
Аноним 09/10/20 Птн 11:05:37 1826476295
>>1826422
Очевидный pussypass очевиден
Аноним 09/10/20 Птн 13:10:53 1826591296
>>1826228
ебанутый вопрос. причем тут deep learning?
deep learning - по определению, это любая нейросеть с ГЛУБОКИМ слоем. То есть, любая нейросеть.

Ты имел ввиду следует ли использовать готовые сети-эмбединги вместо того чтобы конструировать всякие спектрограммы?

Ну хуй знает.
Я что-то и не знаю таких ембедингов.
Аноним 09/10/20 Птн 19:03:35 1826834297
Сделайте нейросеть, чтобы удаляла косметику с фотографий и показывала без неё. Будет очень популярный сервис среди двачеров всяких, заработаете много денег.
Аноним 09/10/20 Птн 19:05:17 1826839298
>>1826834
Какой-нибудь снэпчат сопрет за три месяца и соснешь. В картинках ща жизни уже нет
Аноним 09/10/20 Птн 20:17:54 1826935299
>>1826422
Ожидаемо, ничего полезного она не сказала - все видео сплошная вода. Скорее всего она чистит вилкой данные, а в маняфантазиях считает себя senior data scientist.
Аноним 09/10/20 Птн 20:19:40 1826939300
>>1826935
>Скорее всего она чистит вилкой данные, а в маняфантазиях считает себя senior data scientist.
Я тебе кое-что скажу, ты только со стула не падай. Senior data scientist точно так же вилкой чистит данные 95% своего времени.
Аноним 09/10/20 Птн 20:24:40 1826946301
>>1826939
>Senior data scientist точно так же вилкой чистит данные 95% своего времени
Senior data scientist с кодом/данными уже практически не работает.
Аноним 09/10/20 Птн 20:46:58 1826965302
Аноним 09/10/20 Птн 20:49:59 1826966303
Аноним 09/10/20 Птн 21:48:41 1827010304
если на входные 6 нейронов подать это:
001011
ответ должны получить любой из этих:
001000
000010
000001

не получается такому научить.
что делать?
Аноним 09/10/20 Птн 22:18:46 1827038305
>>1827010
Зачем нейрон там, где достаточно пары строчек?
Аноним 09/10/20 Птн 22:31:11 1827046306
>>1827038
зачем нейроны там где достаточно одной процессорной инструкции xor ?
Аноним 09/10/20 Птн 23:57:19 1827090307
>>1826946
data scientist не работает с данными. Охуенно
Аноним 10/10/20 Суб 00:00:32 1827091308
>>1827010
Больше слоев наверни
Аноним 10/10/20 Суб 09:17:14 1827198309
>>1827091
4 шт сделал
при любых 00011111 ответ сремится к 10000000
еще слоев?
Аноним 10/10/20 Суб 09:53:56 1827209310
Безымянный.jpg 20Кб, 799x536
799x536
>>1827091
немного разобрался.
шум из нулей и едениц стремится к этой хуйне, т.к. из возможных правильных ответов я выбираю первый попавшийся.
если учить на рандомном ответе - на выходе прямая.

такое ощущение что слои не помогут.





Аноним 10/10/20 Суб 11:07:33 1827219311
>>1827209
Обучи RL на этом всём.
Аноним 10/10/20 Суб 11:08:02 1827220312
Аноны, а как вкатиться в архитектуру приложений с МО? Т.е. не вилкой чистить данные и пейперы читать, а делать так, чтобы написанное датасаентистами распараллеливалось на видеокарты и не вылетало с ошибкой от перерасхода памяти.
Аноним 10/10/20 Суб 14:28:44 1827314313
Аноним 10/10/20 Суб 18:46:53 1827461314
>>1827209
>такое ощущение что слои не помогут.
почему бы не попробовать?

Однослойная сеть не сможет обучиться XOR.
Это вроде математически доказано.
Аноним 10/10/20 Суб 18:48:31 1827462315
>>1827220
типа ты такой крутой плюсовик или фронтедщик решил повыебываться своей полезностью и быть ПМ над датасаентистами?

Ну уж нет.
Если ты не понимаешь что они делают - они тебя наебут.
Или разберись или не лезь.
Аноним 10/10/20 Суб 20:03:35 1827509316
Аноним 10/10/20 Суб 20:56:14 1827546317
15982164124121.png 115Кб, 482x400
482x400
>>1827220
>чтобы написанное датасаентистами распараллеливалось на видеокарты и не вылетало с ошибкой от перерасхода памяти
Нормальные датасаентисты это умеют. А если не умеют, то это петухи, а не датасаентисты.
Аноним 10/10/20 Суб 20:59:37 1827548318
>>1827546
Макакен, плиз.
Учиться просто надо было в своё время, а не сайтики за мелкий прайс "кококо я уже зарабатываю!!" клепать.
Аноним 10/10/20 Суб 21:15:13 1827561319
>>1827548
>Учиться просто надо было в своё время
Аналогично можно сказать про ко-ко-ко-саентистов, которые как минимум имеют профильную вышку. При таком раскладе можно было хоть как-то научиться программировать, и это не говоря про стажировки/фриланс. При этом датасаентисты зачастую не знают даже своей предметной области. Принцип работы SOTA моделей не понимают, математику не знают, алгоритмы вне стандартного набора вкатывальщика - тоже. Ничего принципиально нового такой датасаентист не сделает, нормальный код не напишет. Остается только трясти черный ящик и извиняться перед барином, когда натрясти нормальный результат не получилось.
Аноним 10/10/20 Суб 21:54:18 1827585320
>>1827462
Я и есть джун-датасциентист, который понял, что не знает, как работать с 4 видеокартами.
Аноним 10/10/20 Суб 22:10:30 1827605321
>>1827561
>При этом датасаентисты зачастую не знают даже своей предметной области.
Левый нижний угол это ML researcher, а не "датасаентист"/ML engineer. Хватит утешать себя, мань.
Аноним 10/10/20 Суб 23:38:45 1827658322
>>1827461
потомучто мои данные это шум из нулей едениц без какой либо логики, аппроксимация это прямая линия со значениями:
0.1 - если 10% едениц
0.5 - если 50% едениц и т.д.
кол-во скрытых слоев 1 или 6 приводят к одинаковому результату ( 6 слоев через раз учится не хочет)


>>1827314
Softmax(x) ну вроде это другое
Аноним 11/10/20 Вск 01:10:45 1827695323
>>1827220
>архитектуру приложений с МО
>делать так, чтобы написанное датасаентистами распараллеливалось на видеокарты
Это не архитектура.
По архитектуре - у тебя всё должно описываться декларативным конфигом, а код должен поддерживать обратную совместимость этих конфигов. Тогда не будет проблем с воспроизводимостью, даже если сам код будет жуткой лапшой из if'ов - потому что редко какой скрипт для тренировки будет превышать 10к строк. Конфиги эти можно складывать в монгу, пайплайны сохранять в dvc, из монги же воркеры (по одному на инстанс гпу) могут доставать архитектуры для гридсерча. Впрочем, сейчас везде 80-е и каждый пилит кто во что горазд.
А то, что говоришь, это никакая не архитектура, а банальное знание инструментов. Читай мануалы по tf2, kubeflow, тренируйся на самых дешевых инстансах на AWS/google cloud. Судя по сайту, гугл ща выдает бомже-T4 за 11 центов в час.
>>1827585
>как работать с 4 видеокартами.
На нулевом уровне - используешь какой-нибудь tf.distribute.MirroredStrategy , а фрейморк сам все тебе сделает. Более продвинутый уровень - это подбор железа для сервера (все pci express x666, nvlink'и и прочая еботень - не очень в курсе), затем - писать кастомный код для быстрого обмена данными по 10 гб сети.
Аноним 11/10/20 Вск 14:37:20 1827918324
Есть тут знатоки теорвера?
Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?
Ну в том смысле, что при k раз подбрасывании может и какая-нибудь решка k раз выпасть.
Аноним 11/10/20 Вск 14:46:50 1827926325
>>1827918
> Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?
Можно. При большом количестве подбрасываний распределение вероятностей будет отличаться от нормального. Это не доказывает, что дело в монете, возможно виноват подбрасывающий.
Аноним 11/10/20 Вск 14:58:22 1827937326
>>1827926
>При большом количестве подбрасываний распределение вероятностей будет отличаться от нормального.
Ну, как бы понятно, что большая часть возможных комбинацией даст как раз результат 50% +- 10-15%. Но опять-таки это ничего про саму монету не говорит.
И даже если мы 100 раз кидаем монету, только решка всё равно может выпасть с вероятностью 1/2^100, что, хоть и мало, но отлично от 0.
Т.е. на основании только результатов выпадения нельзя однозначно сказать про качество монеты нужно взвешивание и хим. анализ.
Поправь, пожалуйста.
Аноним 11/10/20 Вск 15:26:37 1827949327
>>1827937
> нельзя однозначно сказать про качество монеты нужно взвешивание и хим. анализ.
Можно протестировать на выборке разных людей. Если на большой выборке распределение так же будет отличаться от нормального, то дело в монете.
Аноним 11/10/20 Вск 16:00:34 1827963328
>>1827949
>Можно протестировать на выборке разных людей.
Но в рамках "одного человека" или одной серии подбрасываний это очень сложно?
Аноним 11/10/20 Вск 16:02:29 1827964329
>>1827918
>Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?
Со 100% вероятностью - нет, но чем больше у тебя k, тем более уверенным ты будешь (типа, ответ звучит так: монета - честная с вероятностью 99,9999999%). Точно так же работают доказательства в какой-нибудь физике элементарных частиц. То есть, возможно, что этот пук на графике - не бозон хиггса, но вероятность этого крайне мала.
Например, если выпало 1 - случайность такого события 1/2, [1,1] - 1/4. 10 единиц подряд выпадают в одном случае из двух тысяч, а 16 - в одном из 32 миллионов. Соответственно при k=1000 получится, что вероятность того, что последовательность - не случайная сравнима с числами типа 1/число_атомов_во_вселенной, и практически ты сможешь считать честность доказанной. Для реальных последовательностей тесты посложнее, но принципиально такие же - дают ответ с некоторой вероятностью.
Аноним 11/10/20 Вск 16:04:36 1827968330
>>1827964
>но чем больше у тебя k,
Каково то k, после которого со значительной долей уверенности можно сказать, что тут что-то не то?
Аноним 11/10/20 Вск 16:08:32 1827973331
>>1827968
На это тебе ответит только тот, кто с этим дрочится каждый день.
Берешь тест https://duckduckgo.com/?q=тестирование+последовательностей+на+случайность
Скармливаешь ему последовательность. Он выдаст тебе вероятность. Поиграйся с длинами последовательностей - поймешь, какое k тебя устраивает.
Навскидку, я думаю 1000 бросков нормальная последовательность. Алсо, монетки никогда идеальными не бывают, если тебе нужно что-то идеальное, используй квантовую механику.
Аноним 11/10/20 Вск 16:13:55 1827976332
>>1827963
> Но в рамках "одного человека" или одной серии подбрасываний это очень сложно?
В рамках одного человека это ничего не доказывает о монете. Так как дело может быть в конкретном человеке.
Аноним 11/10/20 Вск 16:33:12 1827977333
>>1827973>>1827976
Так, ещё раз, пожалуйста.
N раз подбросили монету. Одна сторона выпала на M процентов больше.
Можно ли сказать, что монета плохая? Если да, то каково должно быть N?
Аноним 11/10/20 Вск 16:46:00 1827979334
>>1827918
Это зависит от того, что ты подразумеваешь под "сделать заключение". Абсолютно точно доказать невозможно, а дальше гугли статистическую проверку гипотез.
Аноним 11/10/20 Вск 17:13:32 1827986335
>>1827977
Можно сказать всё что угодно.
Но обычно делают так: если это твоё M выходит за пределы доверительного интервала, то говорят что наиболее вероятно что с монетой что-то не так, если не выходит - то нельзя сказать, бросают дальше. Бросили миллион раз и не получили расхождений достаточных для выхода за этот интервал - принимают что монета честная.
Аноним 11/10/20 Вск 18:14:12 1828002336
Аноны, которые занимаются CV, скажите, есть ли какие-либо рекомендации тому, какой подход использовать: классическое cv или с нейронками? У меня вот задача распознавания коробок на заводе.
Ну вроде как тут классика потянет, но вот мб есть какие-то подводные? В общем, буду благодарен за ответ
Аноним 11/10/20 Вск 18:37:44 1828009337
>>1827918
>Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?
Можно, с какой-то вероятностью. Или доверительный интервал найти. Вообще, чем-то напомнило sunrise problem, которая у лапласа возникла. Так что зависит от того, какое у тебя априорное знание о монетках.

>>1828002
>Ну вроде как тут классика потянет, но вот мб есть какие-то подводные?
Если потянет - то используй. Из подводных - может не потянет, тогда не используй.
Аноним 11/10/20 Вск 18:40:55 1828011338
>>1828009
> Из подводных - может не потянет, тогда не используй.
По факту, хули
спс
Аноним 11/10/20 Вск 18:43:19 1828012339
>>1828002
>классическое cv
Ага, оставь черные ящики трясунам
Аноним 11/10/20 Вск 18:54:55 1828018340
>>1828011
Ну так ты ничего не сказал о задаче.
Как быстро надо детектить коробки, надо ли их различать между собой, насколько стандартизирован вид на коробки.
Аноним 11/10/20 Вск 19:28:04 1828028341
Аноним 11/10/20 Вск 19:39:58 1828031342
>>1828002
Рекомендации есть - используй нейронки. Если классика потянет, значит и работающий на кофемолках mobilenet в разрешении 150х150 потянет.
Подводных куча, но ты и инфы о задаче не дал нихуя.
Аноним 11/10/20 Вск 19:41:19 1828032343
>>1828009
>Если потянет - то используй.
Нахуй надо. Рано или поздно требования изменится и весь алгоритм превратится в тыкву.
Единственное оправдание - это жесткий лимит на вычислительные ресурсы. Но на заводе вряд ли таковой имеется
Аноним 11/10/20 Вск 19:43:30 1828034344
>>1828031
А почему это всегда альтернатива, типа нельзя скомбинировать и то и другое и бустинг сверху накинуть
Аноним 11/10/20 Вск 20:18:48 1828056345
>>1828034
Нахуя, это же завод, а не кагл
Аноним 11/10/20 Вск 21:16:40 1828078346
>>1828031
>>1828018
а ну сорян
Ну короче коробок несколько штук более-менее стандатизированных
Детектить нужно следюущим образом: видим коробку, говоритм роботу где она находится (там короче нехитрый портальный робот, который в плоскости перемещается и хватает коробки).
Ну и собсна все, к кадрам нет каких то требований тк работа: увидел, подъехал, схватил, уехал. Почему задаю вопрос - не уверен, что могу обеспечить в этом всем вот пресете постоянное и не меняющееся освещение, да и в целом что сделать, если фичи ебану уевые и он будет фосл позитив мне хуярить
Аноним 11/10/20 Вск 21:17:52 1828079347
>>1828032
крутое замечание. Но в целом у нас там более менее норм пк
Аноним 11/10/20 Вск 21:18:38 1828080348
>>1828032
и кст да, про алгоритм, который может изменится тоже верно
но опять же, это завод, ебана рот, мы там хватам коробки уже год десятый (точнеез заставляем людей это делать)
Аноним 11/10/20 Вск 21:20:53 1828082349
и тогда сразу вопрос: у меня, вообще говоря, дома есть кинект
это ведь 3д и облака точек и все дела. Тоже вопрос о границах применения , как бы допольнительные фичи, в случае если мы допом имеем карту глубит, будут иметься. В такой задаче это оверинжениринг или оправдано?
Аноним 11/10/20 Вск 21:32:36 1828088350
>>1828078
>да и в целом что сделать, если фичи ебану уевые и он будет фосл позитив мне хуярить
Будут по улицам ходить роботы и хватать людей. Придется отправлять в прошлое жидкого терминатора, чтобы он тебя убил.
Аноним 11/10/20 Вск 21:39:01 1828094351
>>1828078
>не уверен, что могу обеспечить в этом всем вот пресете постоянное и не меняющееся освещение
Ты можешь использовать инфракрасную подсветку от ебла самой камеры, если она будет достаточно яркой, то освещение вокруг вообще будет давать мизерный вклад.

Мы знаешь какие йобы проектировали, узкополосный лазер на 1 Вт херачит в полную силу в течение 1 мс и отключается, на матрице стоит фильтр настроенный только на полосу этого лазера, то есть выбирающий примерно 1% всего видимого света, в итоге в этот краткий момент лазер по освещению он перебивает все возможные источники, кроме прямого солнца, но и прямое солнце тоже просто видно, оно не слепит.
А на объекте стоит зеркало, которое выглядит как белая точка. В таком формате не то, что нейронки, 10 МГц микроконтроллер справляется с обработкой в риалтайме - тупо точки определенной площади нашел, контуры выделил, и вперед.

Но с нейронками вся эта ебля уходит в прошлое, потому что они и так работают.
Аноним 11/10/20 Вск 21:48:30 1828105352
>>1828094
бля вот это тру инжениринг
ну короче общий такой совет - забить на классику по-максимуму (судя по последней фразе)
Аноним 11/10/20 Вск 22:57:35 1828140353
Так, аноны, помощь младшекласснику >>1827918 всё ещё требуется .
Кто готов помочь и ответить на N вопросов?
Аноним 11/10/20 Вск 23:48:02 1828162354
Аноним 12/10/20 Пнд 00:11:01 1828170355
>>1828162
Зумер, научись русскому языку, чтобы формулировать свои мысли, ссылочка на говновидео - это не твои мысли
Аноним 12/10/20 Пнд 00:22:19 1828175356
>>1828170
Бумерок, не гори, Антошка наш всё как надо пояснил, зачем коверкать мысли если можно просто сослаться на источник?
Аноним 12/10/20 Пнд 00:33:29 1828180357
Анонче, а где взять документацию по jpg? На оффициальном сайте там линки по которым её продают.
Аноним 12/10/20 Пнд 00:34:23 1828181358
Аноним 12/10/20 Пнд 00:35:16 1828183359
>>1828175
Чтобы это был разговор с тобой, а не с копипастой
Аноним 12/10/20 Пнд 00:54:08 1828190360
>>1828180
Алсо, обычно если где-то нет самого стандарта, обычно рядом лежит его бесплатный черновик с минимальными различиями от финальной версии
Аноним 12/10/20 Пнд 00:57:36 1828192361
>>1828190
Не нашёл.
>>1828181
Спасибо, конечно, но всё же хотелось бы, чтоб было описание именно файла биты/байты, чтоб было можно самому либу написать для работы с ним.
Аноним 12/10/20 Пнд 00:59:19 1828193362
>>1828192
Это тебе референс имплементейшен нужен
Аноним 12/10/20 Пнд 08:05:09 1828288363
>>1828162
>все ссылки в описании ведут на хабр
проиграл
Аноним 12/10/20 Пнд 10:34:27 1828342364
>>1828193
Он только на за деньги?
Аноним 12/10/20 Пнд 14:12:04 1828506365
Кто-нибудь успешно зарабатывает деньги с соревнований на какие-то дополнительные расходы?
Аноним 12/10/20 Пнд 14:48:11 1828560366
Аноны, дайте советов мудрых.
Есть сигнал, в котором иногда проскакивают события, которые надо детектить. Сигнала МНОГО, нужных событий в нем десятые (если не сотые) доли процента. Есть хуёвая модель, которая должна детектить события. Как мне правильно намайнить событий из сигнала, чтобы дообучить модельку?

Единственное, что приходит в голову - прогнать сигнал через модель с пониженным порогом срабатывания и разметить руками то что намайнится. Но это плохая идея, так как мы таким макаром не сможем собрать сложные случаи.
Аноним 12/10/20 Пнд 16:39:20 1828623367
>>1828288
Дурак ты боцман, Антоха так себе клиентуру набивает.
Аноним 12/10/20 Пнд 16:43:13 1828625368
Аноним 12/10/20 Пнд 17:20:57 1828648369
>>1828625
Скинь ссыль, плз. Че-т не нашёл.
Аноним 12/10/20 Пнд 17:38:48 1828661370
Аноним 12/10/20 Пнд 17:50:03 1828667371
Аноним 12/10/20 Пнд 19:06:22 1828726372
>>1828560
Ты сам-то как эти события детектируешь? Глазами на графике?
Аноним 13/10/20 Втр 03:51:16 1828953373
Блять, аноны, как вы запоминаете все возможности пандуса, numpy и т.д?
Я просто постоянно сука гуглю и ворую из своих старых тетрадок, никак не могу запомнить синтаксис, потому что есть миллиарды вариантов сделать ту или иную операцию и постоянно вылетает из головы.
Это норма или я такой тупой?
Построение графиков в матплоте - отдельный ужас .
Аноним 13/10/20 Втр 04:13:49 1828968374
>>1828953
>Блять, аноны, как вы запоминаете все возможности пандуса, numpy и т.д?
Никак. Просто пользуешься чем надо, и оно само со временем запоминается. А что не запоминается - то гуглишь, пока не запомнишь.
>Это норма или я такой тупой?
Если пользуешься лишь изредка, то неудивительно.

Я с табличными данными практически не работаю и графики тоже строю редко, поэтому в пандусе и матплотлибе знаю только самые базовые вещи. В нампае запоминать особо нечего.
Аноним 13/10/20 Втр 08:04:05 1829035375
Screenshot262.jpg 152Кб, 820x632
820x632
Screenshot263.jpg 124Кб, 818x607
818x607
>>1828953
Распечатай себе что-нибудь.
Заебали вчерашние успешные студенты.
Не знают азов как программисты усваивают такой объем информации. А НИКАК
Аноним 13/10/20 Втр 08:33:19 1829048376
пенсионеры.jpg 83Кб, 766x767
766x767
Аноним 13/10/20 Втр 10:16:12 1829084377
>>1829048
И как, 500-600 баксов хоть выходит в месяц?
Аноним 13/10/20 Втр 11:37:55 1829142378
>>1829035
От души за пикчи, бро.
Аноним 13/10/20 Втр 14:27:28 1829258379
pooldog.jpg 31Кб, 399x676
399x676
Подскажите пару идей для декодирования значений из неизвестных потоков данных.

Ну типа у меня есть нешифрованные поточным шифром сообщения соответствующие им данные и я хочу сделать универсальных расшифровщик двоичных протоколов в своей области.
Размер сообщений не известен, но от 2 до 15 байт.

LSTM ? Как именно? Есть ли аналогичные исследования ?
Аноним 13/10/20 Втр 17:36:15 1829417380
>>1829142
Набери в гугле "проганейм cheatsheet"
Аноним 13/10/20 Втр 17:42:07 1829422381
IMG202010131736[...].jpg 185Кб, 1080x1377
1080x1377
Аноним 13/10/20 Втр 18:25:18 1829458382
>>1829422
Ебать они там на острие науки. Уровень Днепра машобчиком ещё в 70е предсказывали.
Аноним 13/10/20 Втр 18:34:55 1829469383
Поясните мне по хардкору по поводу работы в МЛ. Она сводится к простому import pandas или там надо знать и применять математику и придумывать что то своё? Мне нравится машобчик, вышмат необходимый более менее знаюмага по биофизике за плечами. Есть такая работа чтоб там все не сводилось к тупому import и обычному кодерству, которое может любой школьник? Или надо в аспирантуру пиздовать за таким?
Аноним 13/10/20 Втр 19:52:12 1829519384
>>1829422
>Ключевое значение отводится именно инновационности и нестандартности используемых фичей и подходов, с помощью которых можно будет получить наиболее качественный прогноз.
Боюсь, там основная фича будет "насколько ты близкий родственник организаторов и судей". Просто наблендить нейроночек не прокатит.
Аноним 13/10/20 Втр 19:53:06 1829522385
smug2.jpg 4Кб, 144x200
144x200
Аноним 13/10/20 Втр 20:05:57 1829533386
>>1829469
На практике надо больше разбираться в области, к которой ты применяешь машоб, чем в кодинге. Классические модели в пару строк кода умещаются.
Аноним 13/10/20 Втр 20:11:05 1829535387
>>1829533
>На практике надо больше разбираться в области, к которой ты применяешь машоб, чем в кодинге. Классические модели в пару строк кода умещаются.
Ты путаешь аналитиков и машобщиков. Машобщику нужно уметь кодить, знать SOTA модели и математику хотя бы на среднем уровне, но в предметной области можно особо не разбираться.
>Классические модели в пару строк кода умещаются.
Скорее в пару сотен. А для обработки данных придется написать еще пару тысяч.
Аноним 13/10/20 Втр 21:34:33 1829578388
>>1829469
В общем обычные машобки, которые я смог найти здесь и сейчас, в паре десятков из которых есть хоть какой-то инфа о том, что я могу нихуя из них сделать - никакого профита за эту работу я не вижу. А вот в качестве альтернативы мне от чего отказывать надо - так это в том что при этом у меня все равно нет возможности.
Аноним 13/10/20 Втр 21:57:08 1829591389
>>1829578
что ты сейчас сказал? моя нейросеть не справляется с пониманием смысла этих слов
Аноним 13/10/20 Втр 21:58:52 1829592390
>>1829535
>Ты путаешь аналитиков и машобщиков
А в чем разница? и почему ты решил что у тебя вообще будет аналитик на работе?
Аноним 13/10/20 Втр 21:59:21 1829593391
>>1829522
Расскажи какие из последних выиграл. В соло или в команде?
Аноним 13/10/20 Втр 22:13:01 1829601392
Screenshot2020-[...].png 128Кб, 762x951
762x951
Аноним 13/10/20 Втр 22:14:02 1829602393
>>1829519
Разумеется, шиз, все всех обманут и обведут вокруг пальца, а ты будешь продолжать сидя на жопе негореть в треде от победителей, и ничего не делать.
Аноним 13/10/20 Втр 22:16:13 1829608394
>>1829533
Ну мне главное даже не кодинг, а чтоб что то творческое/исследовательское было, а не по шаблону
Аноним 13/10/20 Втр 22:36:18 1829615395
Аноним 13/10/20 Втр 22:38:28 1829618396
>>1829608
ну так бери и делай творческое исследование у своих знакомых, в мелком бизнесе, епта.
А в условной Пятерочке наверняка будешь клики считать.
Аноним 13/10/20 Втр 22:41:50 1829619397
>>1829592
>А в чем разница?
Аналитик все делает вручную, машобщик трясет черные ящики.

Знающих и машоб и предметную область не существует - для этого тебе придется потратить сначала 10 лет на машоб, а потом еще 10 лет на предметную область не отставая при этом от трендов в машобе, которые меняются ежегодно.
>и почему ты решил что у тебя вообще будет аналитик на работе?
Если нет аналитика, то по крайней мере есть человек из предметной области. От него ты получишь базовые навыки и понимание этой области, но экспертом и близко не станешь.
Аноним 13/10/20 Втр 22:45:01 1829621398
>>1829619
>Знающих и машоб и предметную область не существует
почему? ведь если до того никакого машоба не было, достаточно логистическую регрессию изучить - и готов машоб.
Аноним 13/10/20 Втр 22:47:41 1829624399
>>1829621
Ну да, а посмотрев пару видео на ютубе ты тут же становишься экспертом в некоторой области.
Аноним 13/10/20 Втр 22:52:46 1829629400
>>1829624 ДА.
одно видео про логистическую регрессию, а второй как ее замутить в кликере.
Аноним 13/10/20 Втр 22:54:58 1829630401
15930006957370.gif 391Кб, 652x562
652x562
Аноним 13/10/20 Втр 23:00:49 1829638402
>>1829630
ну смотри: логистическая регрессия скажет Нужно больше золота!

На питоне ковырять вилкой данные не надо.
Решения бизнес принял.

вот и машоб.
Аноним 13/10/20 Втр 23:07:55 1829645403
>>1829619
У тебя в твоем посте сквозит презумпция равенства людей. А люди не равны. В аналитики идут как правило люди без фантазии, готовые выполнять инструкции, которые в них загрузили в универе, со слабыми скиллами программирования и изучения нового. А в машоб идут люди сильно поумнее, при чем на момент 2020 года у 0.01% есть хоть какое-то формальное образование именно в машобе, а не просто прикладная математика или вообще инженерная специальность. Поэтому знающих и машоб и предметную область дохуя.
Точно так же, как дохуя электронщиков умеет паять, а дохуя программистов могут быстро разобраться с девопс-задачами, но вот хуй из ларька по ремонту телефонов не сможет спроектировать электронный девайс, а девопс - разобраться в том, как работает квиксорт. Разный человеческий капитал.
Аноним 13/10/20 Втр 23:15:00 1829653404
>>1829645
> при чем на момент 2020 года у 0.01% есть хоть какое-то формальное образование именно в машобе, а не просто прикладная математика или вообще инженерная специальность. Поэтому знающих и машоб и предметную область дохуя.
Предметная область это как правило вообще не инженерная специальность. Экономика, маркетинг, медицина, предотвращение мошенничества и прочее. Машобщики по образованию либо кодеры, либо математики, и знания этих областей у них на нуле.
Аноним 13/10/20 Втр 23:26:53 1829660405
>>1829630
Только про кликер тут рассказывает 40летний бумер, так что зумерошизик опять обосрался.
Аноним 13/10/20 Втр 23:37:13 1829670406
>>1829645
умные люди спорят только если не договорились об терминологии.
кто для тебя Аналитик и почему он тупой?
у меня на одной из работ в должности аналитика были девочки из Зажопинсков. Анализировали видео. Путем прямого просмотра в реальном времени видеостены 16x16 камер.
А на другой чувак в должности аналитика закончил матфак и отличные документы строчил.

Аноним 14/10/20 Срд 04:16:23 1829748407
image 855Кб, 3756x1401
3756x1401
>>1829593
В этом году 2 конкурса от телеги выиграл, например. Соло. Даже на работу к ним собеседоваться предлагали потом.
Аноним 14/10/20 Срд 04:57:25 1829753408
>>1829748
Как вообще искать все эти конкурсы?
Аноним 14/10/20 Срд 05:29:55 1829756409
-------SAMPLE 0 END------- От этого просто тошнит. > 1 ) Это просто пиздец.> 2 ) Ты долбоеб.> 3 ) Ты несешь хуйню. > 4 ) Ты просто пидор.> 5 ) Ты мне мозги промыл.> 6 ) Тебе это вообще не нужно > 1 ) Ну и дурак.> 2 ) Ты просто пидор.> 3 ) Тебе поебать. > 4 ) Мне поебать.> 5 ) Тебе поебать. > 6 ) Тебе поебать. > 1 ) Ты долбаеб тупой.> 2 ) Тебе поебать.> 3 ) Тебе поебать. > 4 ) Тебе поебать.> 5 ) Тебе поебать.> 6 ) Тебе поебать.> 7 ) Тебе поебать.> 8 ) Тебе поебать.> 9 ) Тебе поебать.> 10 ) Тебе поебать.> 11 ) Тебе поебать. -------SAMPLE 1 END------- Сними рубашку с этой пары. Снял штаны с этой пары, скинул футболку и майку, накачал их в бачок и пошёл на речку с мужиком. Мужик мой на пляж вышел, а там вся контора дрочит. А я блять снял штаны и рубашку с этой пары. Ты а где штаны купишь? Снял штаны с этой пары, скинул футболку и штаны с этой пары. А я блять снял штаны и рубашку с этой пары. -------SAMPLE 2 END------- если я тебя позову, ты не сможешь его заставить > мы все знаем, что не так уж он и плох. а если ты не помнишь, что он им на хуе вертел? да ебана ты ебаная, а не то что я щас начнёт мочить Лол, а это кто? он с кем-то говорил, но ты не слышал? > я просто говорю это ты же не троллишь? ты не троллишь > я просто говорю это > ты же не троллишь ну так с кем я не говорил, просто говорю это > а если ты не помнишь про ту кучу, в которой он участвовал? Я думал, ты совсем поебался > он же не троллит Да это ты ебана ты ебаная > если ты не помнишь, что он им на хуе вертел?
Как перестать проигрывать Аноним 14/10/20 Срд 05:33:48 1829757410
-------SAMPLE 5 END------- > фотошоп, плиз.> сам школьник и уже почти 3 года не хожу по двачамНе есть что сказать > Просто и естественно это все > ты бы хоть щас не ходил по двачамНе есть что сказать Ты что не понимаешь? Не просто так ты спиздил себе 16 лет и стал аноном и учишься в каких-то ПТУх? > если не пиздеть А потом что ты пиздишь, что тебя пиздят? Я просто говорю что я не ебу тян, а тебе я пишу пост в эпичном разделе, а ты - 2 кт > у тебя действительно какая-то шлюха, у меня не было и не будет других шлюх, которые не были бы моими.> Если ты ее любишь, то почему бы тебе не не быть с ней до конца жизни? > Потому что ты не можешь ее трахнуть? Ну она шлюха, а ты шлюха. > Ты ее трахнешь, а я - говно. Это же не одно и то же Не могу не согласиться, что ты не прав. > Я не ебу тянНу я не ебу тянА я ебу говно. Я говорю что я не хочу никого трахатьНе ты понял. Я не хочу. Я просто говорю что ты ебанутый и не имеешь права меня оскорблять, я тебе в этом не верю. > Я не ебу тянНу я не хочу никого трахатьНу я не хочу никого трахать. -------SAMPLE 6 END------- Во-первых, ты же не играл в подобные игры, это не так. Во-вторых, если тебя интересует именно то, что ты хочешь услышать от меня, то не надо мне рассказывать о других играх, в которых ты играешь. Это не значит, что это не так. А то, что ты имеешь ввиду - это не так, это просто твои домыслы. Можешь даже не рассказывать о других играх, которые ты знаешь или которые мне не интересы. Я никогда не играл в какие-то игры, но это абсолютно верно. И в твоей работе это просто не может быть правдой, потому что ты не умеешь в этом играть. То, что ты не умеешь в этом играть - это факт, который я тебе только что доказал, и ты просто не умеешь в этом. И все твои попытки заставить меня что-то объяснить - это ложь и иди нахуй, если я тебе говорю, что ты не умеешь в этом, ты это прекрасно знаешь и даже не пытаешься в чем-то помочь. С таким подходом к определению игры я бы сказал, что это не игра, это просто набор ошибок, которые тебе не нужны. Мне очень жаль, что я не могу тебе помочь. Я очень надеюсь, что ты поймешь меня правильно. И надеюсь, что ты поймешь и не будешь пытаться меня переубедить, если только я тебе не расскажу. Ты не мог бы мне написать, что у тебя в жизни были какие-то необычные игры или ты не играл в подобные игры?
Аноним 14/10/20 Срд 08:04:52 1829792411
>>1829670
>Анализировали видео. Путем прямого просмотра в реальном времени видеостены 16x16 камер.
Охранники?
Аноним 14/10/20 Срд 08:12:25 1829796412
image 230Кб, 1263x440
1263x440
>>1829753
1.Напряженно работаешь в Пятерочке с чужими данными
2.Случайно замечаешь, что Паша Дуров втихую объявил конкурс
3. Понимаешь, что никто про этот конкурс не слышал и заюзываешь ресурсы Пятерочки для обработки данных.
4. Решаешь там ту самую задачу разделенную на два этапа. Всем говоришь что решил аж две.
5. Увольняешься из Пятерочки
6. Проматываешь за год бабло
7. Спиваешься , скатываешься, становишься лутоманом от машоба пытаясь безрезультатно выиграть другие конкурсы.
Аноним 14/10/20 Срд 08:14:34 1829797413
>>1829792
Отдел Контроля.
А что смущает? Так дешевле. AUC охуенный.
Аноним 14/10/20 Срд 14:05:50 1830079414
>>1829796
>работаешь в Пятерочке
Бабушкин, плез
Аноним 14/10/20 Срд 14:35:14 1830112415
>>1830079
Чет слегка проиграл. Вся предложка в его охуительных историях.
Аноним 14/10/20 Срд 15:44:32 1830212416
всем привет, первый раз сюда зашла. кто нибудь может меня проконсультировать... учусь на биологической специальности. возникла идея написать небольшую нейроночку которая будет находить по фотографиям аномалии в клетках. код питона вроде как понимаю, знаю что такое нейронные сети... вчера нашла какой то курс вроде адекватный на степике, вот потихоньку собираюсь учить, но не представляю с чего вообще можно начать то что я хочу.
Буду рада если вы мне напишите!
мой телеграм @BQ666692000187
Аноним 14/10/20 Срд 15:46:40 1830216417
>>1830212
курс почитай сначала, но там скорее всего будет много треша совершенно тебе не нужного.
Аноним 14/10/20 Срд 15:52:36 1830228418
>>1830216
ну вот читаю, но там действительно пока что много вещей, на которых сейчас нет времени. хотелось бы конкретно по тому что я хочу.

вот я пока поняла, что мне нужно проделать 3 этапа :
1. почистить фотки от шумов, сделать их четкими
2. удалить с фотографии не интересующие меня части
3. найти и посчитать (аномалии)

может знаете какие нибудь курсы посвященные конкретно этому?
Аноним 14/10/20 Срд 15:57:35 1830243419
>>1830228
Мне тоже интересно. Раньше я делал такие вещи с помощью opencv и каскадного обучения.
Аноним 14/10/20 Срд 16:19:41 1830291420
>>1830243
почитаю спасибо.

просто тут речь идет о микроструктурах, хотелось бы что нибудь оч точное придумать, с точностью до пикселя...если такое возможно 0.0
Аноним 14/10/20 Срд 17:04:18 1830344421
>>1830212
Надеюсь ты со временем обучишься и поймешь, что pussypass не так работает.
Аноним 14/10/20 Срд 17:09:50 1830345422
Вот DeepLoc
https://github.com/okraus/DeepLoc
Он поддерживается в кликере Orange.
И это твой единственный шанс с разгону хоть что-то сделать кроме рекламирования пизды.
Аноним 14/10/20 Срд 18:19:36 1830409423
Аноним 14/10/20 Срд 18:30:02 1830419424
>>1830291
До пикселя нужно разметить датасет с точностью до пикселя, и использовать, например, unet, но для студенческого проекта это слишком сложно
Аноним 14/10/20 Срд 18:36:59 1830422425
msb177551-fig-0[...].jpg 842Кб, 2128x2900
2128x2900
>>1830228
вообще лучше данные свои показывай.

А то про deeploc написано что его на довольно мелких одиночных клетках учили.

deeploc :
>'data1' elements are cropped images of single cells (64x64) x number_of_channels flattened into vectors.
'>Index1' elements are the protein localization labels for each single cell using one hot encoding.


Сейчас расскажу главный секрет датасаентиста:
нужно взять не те фото, которые нужны, а те фото с которым результат лучше.
Аноним 14/10/20 Срд 19:32:03 1830499426
redgirl.jpg 97Кб, 640x640
640x640
Аноним 14/10/20 Срд 19:40:13 1830511427
image.png 20591Кб, 4032x3024
4032x3024
>>1830422

вот, можно увидеть различные структуры ядер
Аноним 14/10/20 Срд 19:45:29 1830520428
image.png 266Кб, 352x324
352x324
>>1830422
вот один пример аномалии - микроядро.

и вот хочется программу, в которую заливаешь несколько таких фотографий и она автоматически ищет и считает подобное.

ну и может классифицирует, если первые этапы у меня получится сделать...

Аноним 14/10/20 Срд 20:17:09 1830546429
>>1830520
но ведь уже защитились люди по этой теме.
как ты собираешься научную новизну имитировать?
Аноним 14/10/20 Срд 20:22:26 1830554430
>>1830546
Когда не знаешь, что делать, делай хороший, чистый, большой и удобный датасет. Все трясуны тебе спасибо скажут и процитируют
Аноним 14/10/20 Срд 20:25:14 1830561431
>>1830546

не знаю...мне научник утвердил идею, да и в целом пофиг на новизну, я для себя хочу научиться...
Аноним 14/10/20 Срд 20:27:20 1830565432
зинануебтвоюмать.jpg 231Кб, 1063x1583
1063x1583
Аноним 14/10/20 Срд 20:33:15 1830576433
Почему еще никто не сделал нейронку, которая вотермарки убирает с пикч? Антивотермарка + апскейл NN идеальный прикладной инструмент для наеба капиталюг.
Аноним 14/10/20 Срд 20:37:51 1830580434
>>1830565
но это, как ты понимаешь, совершенный читинг и в computer science нельзя публиковать.

А чо, кстати, зря вы на мой кликер наезжали. Вот так и должен выглядеть настоящий датасаенс - просто как рядовой инструмент исследователя в любых областях. Он полностью готов классифицировать изображения.
Девочка реально заебись защитится. Результат явно будет отличаться от нулевого.

Тот самый 40летний бумер.
Аноним 14/10/20 Срд 20:38:13 1830582435
>>1830576
Почему просто не поддержать художника, который старался и рисовал?
Аноним 14/10/20 Срд 20:39:38 1830583436
>>1830580
Девочка пусть осваивает питон, тогда от ее образования хоть какой-то толк будет, устроится в пятерочку ящики трясти
Аноним 14/10/20 Срд 20:40:42 1830586437
Аноним 14/10/20 Срд 20:40:58 1830587438
>>1830583
это у тебя цель зарабатывать, а ей просто удачно замуж выйти за научрука
Аноним 14/10/20 Срд 20:42:31 1830590439
>>1830576
>Почему еще никто не сделал нейронку, которая вотермарки убирает с пикч?
Ты для начала хотя бы забил вопрос в гугл.
https://arxiv.org/pdf/1911.07205.pdf
Аноним 14/10/20 Срд 21:34:29 1830643440
>>1830580
Вангую, что скоро будут учить школьников на информатике запускать регрессию из склерна.
Аноним 14/10/20 Срд 21:38:45 1830652441
Аноним 14/10/20 Срд 21:39:46 1830655442
>>1830652
>страшно за бесполезно проведенные годы?
Полный пиздец.
Аноним 14/10/20 Срд 21:39:55 1830657443
>>1830643
Будет что-то вроде "элементы статистики, комбинаторики и машинного обучения", вряд ли полезно.
Аноним 14/10/20 Срд 21:47:54 1830663444
>>1830576
И накладывает ватермарку нейронки))
Аноним 14/10/20 Срд 21:49:18 1830665445
>>1830587
>удачно замуж выйти
>за научрука
Который зарабатывает как начинающий фронтенд-макакен. Заебись удачно.
Аноним 14/10/20 Срд 21:50:02 1830667446
>>1830665
Статистики 301кк в секунду зарабатывают
Аноним 14/10/20 Срд 21:50:53 1830669447
>>1830665
По лайту диплом и научка, а там можно бизнесмена найти. Ну или что там недавно один историк в питере устроил.
Аноним 14/10/20 Срд 21:55:52 1830672448
>>1830667
>Статистики 301кк в секунду зарабатывают
Только те, которые находят работу в индустрии.