Я ничего не понимаю, что делать?
Без петросянства: смотри программу стэнфорда CS229, CS231n https://see.stanford.edu/Course/CS229 (классика) и http://cs231n.stanford.edu/ (введение в нейроночки) и изучай, если не понятно - смотри курсы prerequisites и изучай их. Как именно ты изучишь конкретные пункты, типа линейной алгебры - дело твое, есть книги, курсы, видосики, ссылки смотри ниже.
Почему такой фокус на нейронки?
Потому что остальные чистят вилкой данные в банках с помощью LGBTboost и им некогда предлагать обновления в шапку
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus
Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/
Почему python?
Исторически сложилось
Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет
Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python
https://d2l.ai/index.html
В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся
Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Версии для зумеров (Килхер): https://www.youtube.com/channel/UCZHmQk67mSJgfCCTn7xBfew
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где посмотреть must read статьи?
https://github.com/ChristosChristofidis/awesome-deep-learning#papers
https://huggingface.co/transformers/index.html
То, что обозревает Килхер тоже зачастую must read
Где ещё можно поговорить про анализ данных?
http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Google Colab дает бесплатно аналог GPU среднего ценового уровня на несколько часов с возможностью продления, при чем этот "средний уровень" постоянно растет. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом
Кто нибудь использовал машоб для трейдинга?
Никто не использовал, ты первый такое придумал. Готовь камаз для бабла.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущие:
https://2ch.hk/pr/res/1920026.html
https://2ch.hk/pr/res/1902462.html
https://2ch.hk/pr/res/1881607.html
https://2ch.hk/pr/res/1868191.html
https://2ch.hk/pr/res/1847673.html
https://2ch.hk/pr/res/1832580.html
https://2ch.hk/pr/res/1817320.html
https://2ch.hk/pr/res/1785952.html
https://2ch.hk/pr/res/1758961.html
https://2ch.hk/pr/res/1734710.html
https://2ch.hk/pr/res/1704037.html
https://2ch.hk/pr/res/1665515.html
>в общем-то алгоритм не требует нейронок,
и почему ты вообще за это зацепился?
Ведь на картинках что-то изображено и это что-то очень важно.
если тебе не хочется обучать нейронку, набери свой датасет из картинок и воображаемых юзеров. Потом поставь Orange и посмотри как он сделает циферки из картинок (всеми обоссываемой) нейросетью ImageNet, но по сути он же распознает картинки.
Далее придумаешь что-то получше и можно будет писать в коде.
Тут есть исследователи, или только дотасаентисты?
Я примерно понял как эта поебень работает, но как он хочет самообучающийся ИИ сделать на основе этой хуйни? можно словить смертельную дозу кринжа с комментов
Ну так классическая хуйня из 60-х, мол, достаточно просто загрузить в систему аксиом и компуктер сам всё выведет. Навыдумали всяких хорновских дизъюнктов, доказали в них полноту метода резолюций, а потом откуда-то полезли функции аккермана и экспоненты экспонент. На этом всё загнулось без какого-либо практического результата. Естественно, там под ИИ подразумевался автоматический логический вывод и прувер разных теорем.
https://en.wikipedia.org/wiki/Logic_Theorist
Есть и более совершенные программы для подобных целей, где более полный силлогистический базис https://www.youtube.com/watch?v=PtqBE4BTqwQ и без ошибочного того же логического квадрата или представления о дихотомии. Оказывается, что как типов суждений, так и типов силлогизмов будет много больше (помимо классического конъюнктивного), чем ранее считалось, вместо одного вывода силлогизма может быть, как минимум, два, всё это согласуется с алгеброй логики и другие преимущества тоже есть.
> эти картинки
Напомнило. Смысла примерно столько же
У тебя, если ты считаешь эту хуйню чем-то умным. Родина дала MLTT, HoTT, CubicalTT, нет, хотим какую-то шизу без задач от адептов ШУЕ ППШ...
Это же основа логики. И не древние русы, а древние греки.
Как пример, писал с применением подобной вещи - аппроксиматором для решетчатых уравнения Больцмана (обтекание жидкостью препятствия и возникновение не стационарности течения)(не особо успешно, пример прикрепил).
А если «повыдумывать» - то можно в stack собрать какие-либо темпоральные данные (курсы валют) и покатать данными слоями в составе например энкодеров или ещё чего, с учётом разномасштабных окон и возможно будет практическая значимость (если конечно потом получится RL агента научить этими прогнозами пользоваться).
>Охренеть. Чем занимаешься?
Аспирант в американской шараге. Занимаюсь по сути тем же, чем занимаются машобщики в индустрии - трясу нейронку пока не вытрясу нормальный результат. Затем публикую пейперы, которые цитируют 1.5 инвалида и забывают. Область не скажу, но если в общих чертах, то классификация изображений.
>Пили стори, как перекатился?
Есть два варианта. Первый - продаешь бабкину квартиру в ДС и поступаешь на платный бакалавриат, во время которого заводишь знакомства с преподами и изучаешь разные аспекты жизни. После этого абсолютно без проблем перекатываешься на ПхД.
Второй вариант - заканчиваешь где угодно бакалавриат и поступаешь сразу на ПхД. Это сложнее, но вполне возможно. Забудь про колледжи, которые от 50 места в рейтинге и выше. Все требования найдешь на сайте вуза. Обычно это всякие бумаги об образовании, TOEFL, GRE и эссе, почему ты хочешь у них учиться. Самое главное - это найти препода, которого ты хочешь себе в качестве научрука, лично с ним связаться и обкашлять вопросики. При его поддержке шансы возрастут на порядок.
Но вообще, идти на ПхД я не рекомендую. Будешь получать на уровне кассира волмарта, а после защиты диссертации в лучшем случае перекатишься в индустрию зачастую кодомакакой, а реалистично - пойдешь постдоком за нищенские 50-60к.
Давно нашего чегото не смотрел, а он так здорово по хайпожорам дипшизным прошёлся
https://m.youtube.com/watch?v=oyBNkj3Xg9s
Надо, чтобы я взял условно 2 книги — на первом и втором языке, обучил ими модель (без синтаксического разбора, пусть модель хандлит опечатки и прочее) и получил переводчик.
Надоело гугл-транслейтер использовать.
Не работают
https://www.youtube.com/watch?v=tk-vPly7vf4
работаю прогрером, хочу перекатиться в cv
но не хочу весь день сидеть в жупитере
расскажите плез, цвшники все время тусуют в построении моделей или тоже прогают?
Мой план:
1. Снизить размерность автокодировщиком до 2\3 переменных
2. Использовать какие-нибудь простые алгоритмы кластеризации и заодно обратить внимание на точки вне кластеров хотелось бы заодно решить вопрос anomaly detection в данных
Чего я не могу понять, так это на что ориентироваться при выборе продолжительности обучения автодировщика для данной цели - в интернетах на всяких towardsdatascience слишком абстрактные статьи, и такие же абстрактные примеры с произвольной архитектурой и количеством эпох (часто, насколько вижу, берется достаточно большое количество эпох).
Имеет ли смысл подходить к этому как обычно делается при обучении с учителем и ориентироваться на потери на тестовых данных или тут это не то?
>Кекус, нейроговно в банальный морфоонализ не может
Как и классические методы.
>В OpenCV куча реализованных алгоритмов
Ты с кем споришь? Кто-то говорил, что дедовских алгоритмов не существует? Найди теперь скор на imagenet с использованием HoG'ов, кнн-ов и svm-ов.
Ебало шизика, рассказывающего про рисунки индусов, представили?
Интересно, какие сейчас манёвры будут.
Так это ж не вся модель. Алсо, индусы как всегда, индусский код как стиль жизни:
Before running the example notebook, you will need to install the package using
pip install git+https://github.com/openai/DALL-E.git
Прописать в самом блокноте никак нельзя, разумеется.
This can be changed to a GPU, e.g. 'cuda:0'.
dev = torch.device('cpu')
Самим написать cuda:0 вместо cpu никак нельзя, зато целый комментарий - запросто.
>>1951072
> Это порезанная версия что ли? Чего так мало весит?
Оно же загружает сами декодер и энкодер по ссылке с опенаи, код не смотрел штоле:
enc = load_model("https://cdn.openai.com/dall-e/encoder.pkl", dev)
dec = load_model("https://cdn.openai.com/dall-e/decoder.pkl", dev)
Если с вышкой понятно что учить, то как быть с теорвером и матстатом? Область обширная, а что нужно на практике (читай, собеседовании) непонятно. Что читать?
Отсюда второй вопрос. Где получать реальный опыт на реальных задачах? Каггл, фриланс, пэт проекты? Что ещё?
Третий вопрос. Чего хотят от trainee/джуна? Набирают ли конторы мясо вроде меня с целью обучения (Украина), и есть ли в этом смысл вообще?
Тупо пиздячить теорию не вариант, да и непонятно куда двигаться.
Всем мир, атдуши.
И что оно делает? Запустил в куколабе, как выяснилось, индусский код не работает, но рабочий вариант в первом issue. Грузит откуда-то пенгвина, пик 1, как-то его обрабатывает(?), пик 2. И это все?
что советуете поддтянуть по линейной алгебре? svq, qr?
работал 3 года в конторе питонистом бэкенда + для них же делал небольшой mvp по распознаванию облаков точек
матан на том или ином уровне паршивости знаю
сейчас наша контора к хуям развалилась из-за ебанутого СЕО и ищу работу - есть на пару месяцев запал и деньги, чтобы сменить профессию
хочу вкатиться в комп зрение
Вопрос:
1) есть ли смысл тратить время на fast.ai и подобные курсы или же лучше взять один пет проект и на его базе учить что-то?
2) на собесах насколько сильно дрочат по матану? Я в работе юзал только линейную алгебру - теорвр и прочее забыл довольно давно
Двач не раз выручал меня, надеюсь, что вы, ребята, еще разок подскажите) а то я немного в прострации - думаю стоит ли или нет, ато жалко будет время потраченного
не слушай ебаклака >>1951805- это типикал токсик
имхо - лучше проект. Конечно надо разобраться в общем как работают нейросетки в задачах и сегментации и классификации
но все это можно покрыть чтением + работой на парой проектов
и да, очередной раз убеждаюсь, что двач и близко сравниться с одс не может
такое ощущение, что тут одни обиженки сидят
>работающие вещи генерируют прибыль
Ну смотри, помнишь был в пендосии чел который написал штуку, которая составляла типовые судебные обращения? Так вот, у гильдии юристов бомбанули пердаки, поскольку они могли оказаться без денег и они начали таскать чела по судам. Все. Так же было и с докторами и с любым кого ты попытаешься оторвать от корыта с хрючивом.
Ты статью читал, шизло? Автор гребёт бабло лопатой. Праклятый срапетаглизм, ух, как угнетают честного программиста!
> In 2019, Browder obtained $4.6 million in funding from Silicon Valley investors such as Andreessen Horowitz and Founders Fund, who were early funders of Facebook.[33]
Алсо, проект его живёт и процветает
> It is currently available in the United Kingdom and United States (all 50 states).[2]
Сам околовкатун уже почти год, могу в фитпредикт большей части моделек с пониманием принципа их работы, панды, нампи, немного R и прочую вот эту всю хуйню уровня джуна. Но не могу в нейросети – CV и NLP мне не интересны, остальное выебоны
Ну пиздец. И чем ты там все это время занимался?
Целевую функцию придется выдумать.
Далее нейросеть найдет неочевидные ароматы, которые почемуто еще никто не смешал.
У вас отзывы есть?
Хотя бы в текстовом виде.
Обьем продаж? Популярность смесей на других сайтах? Общемировой каталог смесей?
Решил загрузить модель fasterrcnn_resnet50_fpn, ошибок уже нет, но она выдает предикты очень странными (показывает, что вейп - кружка, я - кресло, иногда я - это я) и соответственно боксы вокруг объектов для отображения вообще показывают случайные вещи.
Вопросы: 1. Могу ли я все таки свою модель для классификации использовать уже для распознавания (что почитать, желательно с примерами)?
2. В моем классификаторе 4 слоя, в fasterrcnn_resnet50_fpn их очень много (сбился со счета когда считал). Полагаю, что из-за того, что много параметров в модели, у меня один кадр обрабатывается секунд пять (пока использовал только cpu, cuda не хочет видеть почему-то, но разберусь с этим потом). Можно ли обучить свою модель для детекции объектов, но чтобы она не была такая "тяжелая", какое минимальное количество параметров надо для детекции около 5 классов?
3. Лучше использовать готовую обученную модель или все таки пытаться сделать свою для детекции? Для начала мне нужно определять людей на изображении и еще 4-5 объектов (типа машина и т.д.).
В дальнейшем найденные объекты будут уже классифицироваться.
>В моем классификаторе 4 слоя, в fasterrcnn_resnet50_fpn их очень много (сбился со счета когда считал)
>задает вопросы почему хреновое качество.
А тут есть ДЛЯ КОГО их выражать?
Читай пикрелейтедб. Аттракцион невиданной щедрости только сегодня
есть 2 шкафа, с вероятностью 1/2 в первом шкафу есть пальто и с вероятность 1/2 во втором шкафу тоже есть пальто. (это не одно и тоже пальто, просто факт наличия какого-то пальто)
Вот подхожу я к шкафам и гардеробщик говорит, что в первом шкафу пальто нет, какова вероятность, что во втором шкафу его тоже нет?
с одной стороны логика подсказывает, что события независимы и вероятность для второго шкафа по-прежнему равна 1/2, но я наверняка знаю, что этот ответ неверный. Очевидного способа прикрутить сюда Байеса я не вижу, но как-то скорректировать ожидание вероятности после эксперимента надо.
Единственный значимый критерий оценки матчасти - качество работы. В остальном чем проще тем лучше. А по качеству трансформеры уделывают всё остальное из того что сейчас существует, это медицинский факт. Аттеншен точнее пулинга в свертках. И нет, твои петушиные ЭС не лучше трансформеров.
предположим, у меня сегодня запор, поэтому вот тебе ссылка
https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LinearRegression.html
А в другой раз обосру.
А тебе вот эта ссылка
https://scikit-learn.org/stable/modules/generated/sklearn.neighbors.KNeighborsRegressor.html
если конечно я правильно уловил твою интерпретацию
Тогда тоже knn regressor.
Но если это тестовое задание, тебе бы следовало бы проявить себя аналитиком и запросить у них что же это за данные. Понять их природу. Понять допустимо ли использовать knn regressor.
Ты не на мотематике.
Упрощения тут не работают и правильного ответа может не быть.
Можешь, конечно, дипзумеров с матрицами подождать . Может они меня удивят.
Вот есть батч из n строк длиной l. Получаем мы из него матрицу коэффициентов внимания размерами n x l x l.
Если l большое, то это дохуя по памяти, на карточку не влезет. Хочу ограничить внимание окном размером w. Как это сделать, чтобы сэкономить память? В конкретных фреймворках желательно. В керасе уже есть слой attention, но он именно что делает матрицу n x l x l.
Аноны, подскажите пожалуйста, без лишней желчи.
Сейчас стоит выбор во что вкатываться: .Net(C#) или же ML.
Нравится имеено писать код, но и матешу не хотелось бы забрасывать.
Следовательно вопрос: пишет ли код ML engineer или занимается тупым перебором табличек и подгадыванием коэфициентов?
Во что перспективнее вкатываться?
По сути результат у них один - они возвращают вероятности для двух классов, но что творится с кросс-энтроп. лоссом?
1) В первом случае у нас к примеру выход 0.6, лэйбл 1, лосс -log(0.6)
2) В втором случае у нас выход [0.6, 0.4], лэйбл [1, 0], лосс -(log(0.6) + log(0.6))
У них разные значения лосса, а значит в плане обучения и расп. градиента они разные?
Говорю же я даже определений не знаю, меня прототип просто любой интересует скорее, https://m.habr.com/ru/post/149693/ если реально нужно, а смысл этого алгоритма такой: на входе последовательность 0 и 1, на выходе 3 цифры - вектор(для примера с любимым цветом будет 3 байта), задача отнести к определенному классу человека по его ответам да/нет(1/0), хз стало ли понятней, хотя бы я могу теперь сформулировать задачу
Есть тут специалисты по GAN'ам?
Нужно ли в Conditional GAN'е смешивать реальные и генерированные метки класса по аналогии с метками реальное изображение/сгенерированное?
Сначала хотел Гудфелоу почитать, но чот на амазоне в отзывах его книгу хуесосят.
Что есть рили нормальное?
На амазоне в топе Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems
Рили годно или тож не оч?
да ты заманал. опять циферки .
в чем бизнес-то?
в чем польза?
>подаём на вход свой пример, которого не было в датасете
Обычно имеется ввиду что и похожих не было.
Например ты обучаешь мультиклассовый классификатор животных, но почему-то в трейне у тебя только кошки и собаки. Потом ты подаёшь на вход ящерку и с удивлением обнаруживаешь что тоже работает хотя на ящерок ты не учил. Это zero shot. Если прям совсем без ящерок не работает но достаточно добавить пару и заработает то это few-shot.
Если для nlp, то судя по примеру с transformers, zero-shot классификация это правильный выбор тега для поданной на вход фразы. Типа фраза "за кого вы голосовали?" относится к политике. Что больше напоминает именно predict, чем какой-то прямо суперхайтек. Просто у таких нейроночек датасеты, на которых обучен претрейн на многие порядки больше и разнообразнее, чем в дедовском машобе, поэтому и предикт работает поинтереснее. Одно дело ирисы Фишера, а другое какой-нибудь 40-гиговый корпус commoncrawl.
Ну что пупсики, на дворе март 2021 года, где мой сильный ии, где чатботы могущие в осмысленный диалог?
Оно в принципе работать не может, если в обучающей выборке вообще ничего похожего не было. Zero-shot - это когда обучил классификатор на кошках и собаках, а потом подсунул собаку другой породы, которой в выборке не было, и её правильно классифицирует, а не когда классификатору кошек и собак подсунули ящерицу.
Как я понимаю, суть явления в том, что при таких объемах обучающего датасета и параметров самой нейроночки, она "знает" настолько дохуя, что достаточно показать несколько примеров того, что конкретно от нее требуется, а дальше она сможет в подобное же по аналогии. Уже сейчас есть модель с 1.6 триллионов параметров, следующие будут с десятками и сотнями триллионов и обученные на терабайтных и петабайтных корпусах. Понятно, что у них с этим делом все будет ещё лучше.
Ух бля сколько пиздолизов в комментах.
>Тебе нужно отрекламится у топ блогеров IT и добавить рубрику IT новости. Канал к концу года на соточку можно будет вытащить. У тебя все задатки есть хорошая съемка видео внешность грамотная речь и интеллект самое главное
>внешность
>Я, кажется, только теперь понял, зачем все преподаватели обязательно должны быть страшными, немытыми, небритыми обезьянами в грязных свитерах с недельным перегаром, и, желательно, мужского пола)
>В противном случае, материал будет усваиваться крайне плохо, внимание концентрации будет идти не туда)
>@miracl6 Тоже в голову, но..как бы в другую. Которая не совсем умеет думать) Хотя.. в моей , судя по всему, начал даже мозг появляться после твоих видео- она даже комменты научилась писать, но до датасаенса ей долековато еще).
>Я уже четвертый раз пытаюсь пересматривать и не вкуриваю о чем идет речь. У меня в голове лишь "ай, какая хорошая девочка, ай какая умница, буси-буси-буси" )
>Красивая девочка ❤️
>Когда я вижу Настю, то у меня отключается мозг и я начинаю неудержимо писать всякую фигню. Мозга и так нет, так он еще и отключается) . А если в реале увижу -то вообще и спинной мозг отлючится. Как лечить этот недуг? Кто знает?
> @miracl6 А что еще? Ну скажи, я не обижаюсь. Анонимный ютубный комментатор не склонен обижаться априори. Может...сптоксикозник? Ну нет, этот недуг характерен для подростков, а я взрослый дядя).. Что еще?
>Глядя на заставку, мне кажется , что более светлый цвет волос придает Анастасии немного мягкости и она ощущается уже не такой злостной, агрессивной и строгой тетей. Посмотрим , как будет в эфире.
>Я всегда восхищался Настиной милотой. Она мне нравится любая - даже ненакрашенная.) А делать комплименты - это залог мужчин без заниженной самооценки. Кстати, ты тоже красива и умница. Я уже писал. Единственно у меня занижена самооценка в вопросе уровня моего датасаенса.
>Но это все мелочи. Я уверен, что если бы ты совсем не красилась - мое бы впечатление не поменялось.
>Мне нравится сама твоя монера говорить, голос, твои горящие глаки. Даже твоя серьезность.Ты такая серьезница. Этот огонек, что от тебя исходит зажигает меня - и мне это нравится. Это пробуждает во мне маньячинку, а свою маниакальность я умею сублимировать в нужное русло.
> В прошлом треде говорили, что она хохлушка, теперь говорят, что она цыганка, охуеть.
В дотасаенсе вообще есть работа где-нибудь кроме Москвы и Питера?
>20-летняя шлюха
>Senior Data Scientist
А ты думал откуда на некоторых европейских гербах парни с такими характерными причесонами? Это они с турками боролись.
>где мой сильный ии
В Китае:
>В Китае все чаще меняют менеджеров на алгоритмы: те следят за работниками, дают им задачи и могут списать часть зарплаты
https://vc.ru/hr/209527-v-kitae-vse-chashche-menyayut-menedzherov-na-algoritmy-te-sledyat-za-rabotnikami-dayut-im-zadachi-i-mogut-spisat-chast-zarplaty
>Китайская система распознавания лиц определяет нужного человека с точностью до 99,8%
https://www.securitylab.ru/news/457581.php
>«В Китае распознавание эмоций способствовало оценке риска заключенных в нескольких региональных тюрьмах», - отмечает Global Times со ссылкой на эксперименты в тюрьме в Гуанчжоу в 2019 году. «Технология помогает тюремным служащим оценить, представляет ли заключенный потенциальный риск , включая возможные психические проблемы и склонность к насилию или суициду, и оценить вероятность повторения правонарушения после освобождения ».
За пределами тюрем государственная газета хвалила «технологию распознавания эмоций» за ее использование на дорогах, где полиция может отслеживать эмоции каждого водителя и останавливать любого с «ненормальными» чувствами. Это, как утверждалось, поможет предотвратить инциденты, связанные с агрессивным поведением на дорогах, или другое потенциально преступное поведение.
https://www.breitbart.com/asia/2021/03/04/china-using-emotion-recognition-technology-to-arrest-people/
Ну что, датасатанисты?
Построили светлое будущее?
время остановиться, но его все легко. Это не архивы спецслужб. Сюда лучше не Чикатило и даже не станет)) пиздеть не найдут.
слышали. Вам кажется странным, что украл плавленный сырок в третьем классе, на рейд, чтобы их интересам. Почему я вам все стали
твой одноклассник. Я твой одноклассник. Я твой одноклассник. Я узнал тебя по частям, тобою написанное это простое пиздабольство , обиженный жизнью
разрешения компетентных людей. Их интересы настолько высоки, что столько внимания этих людей уделено вам, ничтожным интернет-червям? Все очень просто, вы ненароком
людей, о которых вы даже не впечатляет, давай разберем по частям, тобою написанное это простое пиздабольство , рембо ты обосрался под
президентов, взрывали целые города, когда появлялась угроза их интересам. Почему я вам рассказываю об этом? Эти люди поручили мне предупредить вас.
мешки ворочить, много вас в 9м классе, на понятном тебе языке, языке боли. Ребята, не понял с кем общаешься. Вот эта
планирую заёбывать этой шизой двачеров, какие подводные?
В каких моментах он предпочтительное?
А то чет все массово перекатываются в TF2 и pytorch
И scikit используется макс для проверки полезности признаков
С помощью python cv2 можно изи эту задачу решить. Подбираешь нужную threshold по которому отсекаешь по яркости, изображение делиться на куски, есть функция которая эти куски перебирает и есть функция которая обводит
Литерали это https://www.pyimagesearch.com/2016/10/31/detecting-multiple-bright-spots-in-an-image-with-python-and-opencv/
> Есть ли смысл в классическом машинном обучении?
Есть.
> В каких моментах он предпочтительное?
Тут в один пост не уложиться
> А то чет все массово перекатываются в TF2 и pytorch
Хуйню пишешь. Вопрос в задаче
> И scikit используется макс для проверки полезности признаков
Неправда. Опять же всё зависит от задачи
> планирую заёбывать этой шизой двачеров, какие подводные?
Да был уже чел, который с паскодом напускал на двач бота на нейронке, обученного на постах двача. Есть это где-то на гитхабе
Был ещё когда-то проект плагин для браузера, который отмечал скримеры в вебмке. Это не про машинку правда, а просто так вспомнил. Щас уже умерло это все, да и скримеры никто не постит почти
работаю разрабом на с++, иногда просят микросервисы на питоне наклепать
в целом все ок, но иногда хочется несколько более наукоемких вещей (типа cv, рекомендации и пр говно)
есть ли у вас свои или чужие кулстори о перекате из классического прогания в мл?
Ты уже умеешь больше 99% обитателей треда. Гугли курсы по статистике и непосредственно мл. Для того, чтобы говнокодить на питоне в аналитике, достаточно навыков джуна. Еще можешь глянуть R, но я бы это полноценным языком программирования не назвал. Это скорее калькулятор, софт ты на нем не напишешь.
Задачи классификации и регрессии на табличных данных это бустингы. Кластеризация и системы рекомендаций тоже в основном без нейронок. Иногда нужна супер интерпретируемость, как например в кредитном скориге, тогда вообще самые простые модели вылезают типо линейной регрессии и решающего дерева
Иногда у тебя нет данных, чтобы обучить нейронку. Вот например была задача на "я проф." по машинке, где нужно было по точкам предсказать значения остальных. Трейн в несколько раз меньше тест. Тебе нужно восстановление плотности, что например с помощью knn можно сделать
Почему используют Питон для ИИ, если его нельзя нормально скомпилировать?
> Например, как использовать tensorflow с C++ софтом? Разворачивать embedded питон?
Есть инструменты для этого.
Но в любом случае питон в основном для того, чтобы исследовать что-то быстро смотреть, выводить графики и тд. Сделал модель. Можешь её хоть на чем угодном переписать
- одни прямо заявляют, что few-shot learning и "метаобучение" синонимы, и предполагают только работу через обращение к готовой модели (в т.ч. файнтюненной), без какого-бы то ни было абдейта параметров. Собственно, https://arxiv.org/abs/2005.14165
- другие называют few-shot learning'ом файнтюнинг, но с небольшим количеством обучающих примеров, т.е. с абдейтом параметров модели. Например, https://arxiv.org/abs/2012.09543
Так кто прав-то?
>неважно сколько там примеров
Если ты вапникошиз, которого интересуют только маняматически точные утверждения - то конечно неважно. Если ты норм чел то понятно что ситуации в десять примеров и в миллион отличаются качественно. Хотя бы тем, что во втором случае придётся сильно задрачиваться с тем чтобы столько данных накопать и их разметить.
Потому что СЕО в бизнесах не в курсе ка к все это работает. Поэтому 50% этих дата сайентистов - тянки, там нужны пипл скиллз чтобы наебывать. Но этот пузырь через пару лет лопнет. Будут только дата инженеры нужны (но это не настолько хайпово-весело). Ну и еще теоретики-математики которые будут теории новые выдумывать (но тут нужна серьезная мат./кс база и ПхД).
>А нахуя вам работодатели деньги платят лол?
За то же, что и программистам, за макакинг.
>Какие у вас уникальные скилзы?
Тряска чёрного ящика с умным видом.
>Знание фреймворков и все?
По сути.
>Как вы конкуренцию выдерживаете если статистика с бэкпропом вам не нужны?
Тут подсидел, там подлизал.
А если более серьёзно, то вот, например: >>1950226 →.
https://www.youtube.com/watch?v=UxGebZpYVfM
Хотя на фоне этих двух додиков кодерков не так в глаза бросается
https://www.youtube.com/watch?v=1uUwwWrhedc
>>1962663
Что не так? Ноунейм и есть. Я знаю, кто такой Суцкевер, да даже кто такой Килхер. А про бабушкина только здесь и вижу упоминания.
>Ще з цікавого: вперше за декілька років зниження частки Python: можливо, використання Data Science дійшло до точки насичення.
https://dou.ua/lenta/articles/language-rating-jan-2021/
>У хохлов пузырь дата-саенса уже лопается.
>>1947549 (OP)
Заглянул в ODS, и что я вижу:
>Всем привет!Снова OZONна связи. )
>Кого ищем:
>Ищем к себе в направление клиентской аналитики крутых продуктовых data-аналитиков.
>ЗП: Вилка - 150-200 для синьоров (их и ищем).
150 тысяч российских рублей (2K$) - это уже синьор!
Вечер в Хату, посоны. Сам я инженегр в основном бекэнда, но за 10 лет заебало. Попробовал посочинять нейронки, понравилось. Не MuseGAN пока получился, но для хеллоу ворлда сойдет.
Есть желание перекатиться полностью, не потеряв при этом текущей зарплаты сеньора-помидора. Не сильно ли я губу раскатил?
Как вы выкладываете свои пет-проекты для портфолио в сеть? Заливаете куда-нибудь на хероку? Или просто бросаете валяться в гитхабе?
Хуёво читал значит
> Куда копать в сторону программ самих изменяющих и дополняющих свой сорс код с минимальным участием человека?
Да тут ничего сложного. Можно просто подготовить свою модифицированную копию и запустить. Либо через динамические библиотеки делать и их заменять. Если язык скриптовый, то вообще как угодно можно вертеть
Только нахуя это?
> А также фишки когда прогу запускают в интернет и она по определённым запросам поисковиков "обучается" в чём-либо?
Что за прога? Обучается чему? Типо scraper поисковый?
>Что за прога? Обучается чему? Типо scraper поисковый?
Ну вот ты книжки читаешь, умнее становишься. А я такую прогу хочу сделать. Тонны байт информации в интернете, а юзать некому.
>Только нахуя это?
Ну вот ты книжки читаешь, развиваешься: нейрончики, миелинчик, дофаминчик, вся хуйня. Вот и прога будет обучаться и новые фичи сама для себя писать и их же потом применять. Круто же.
Понятно. Вкатывайся потихоньку. Узнаешь насколько инвалидная и узкозаточенная хуйня этот дип ленинг. Ты не просто не можешь нейронке любой набор данных скормить. Ты должен очень сильно постараться, чтобы нейронка обучилась на подобранном тобой наборе данных под конкретную однобокую задачу.
Если хочется сказки почитать про сильный интеллект, то Фристон и Шмидхубер пожалуйста. Но там близко ничего нет к тому, что ты написал
По-моему у тебя случай когда нужно либо английский либо линейную алгебру подтянуть сперва прежде чем за трансформеры хвататься.
Действуешь матрицей n x m на вектор размерности m получаешь вектор размерности n. m = 512 это эмбеддинг, n = 64 это вектора атеншена.
>я правильно понимаю, что он не знает правило перемножения матриц? в машоб треде?
В общем есть дата сет. В нём одно поле - текстовое, которое я хочу пустить в tf-idf, т.е. хочу следующий конвейер:
текстовое поле -> tf-idf -> слияния результата с остальным дата сетом -> грид сёрч
Как это сделать?
А что, выполнение линейной последовательности команд уже отменили?
Даже гпт2 давно тесты Тьюринга и Войта-Кампфа проходит, где-то видел код для куколаба. Претрейны Гпт3 пока жопят вылаживать да и толку с них, в куколабе даже gpt2-xl с 1.3млрд параметров еле дышит, а версия от huggingface вообще отваливается, памяти мало, гпт3 там вообще хуй запустишь, но ясно же, что у нее со всем этим намного лучше.
>вопрос
Там, наверное, код-ревью понадобится.
В общем, из GAN'а был сделан Conditional GAN.
Обучение имеет такой вид (pic1, pic2).
А вот при попытке визуализировать на каждой эпохе выход генератора через
torchvision.utils.save_image(gen_batch, '{}.png'.format(epoch+1))
получается такое (pic3). И это на 10 эпохе, т.е. хоть что-то уже должно быть.
В чём может быть ошибка? В визуализации? В модели? В чём-то ещё? Как это можно поправить?
>В чём может быть ошибка? В визуализации?
Ну это ты должен был сразу посмотреть, глянув на выходы генератора. Судя по тому, что генерирует цвет из границы ргб (ff00ff) save_image не скейлит ничего или неправильно скейлит.
Тестировал код на mnist/cifar?
Ещё лучше следить за confusion_matrix, а не лоссом, потому что последний мало что значит в ганах.
Очередной прорыв111
Очень скоро
https://youtu.be/Z7ZqymEfgZE
> Короче прочитал о чем вы.
> 1 слово в эмбендинге это (1, 512). Матрица весов (512, 64)
>>1964145
> По-моему у тебя случай когда нужно либо английский либо линейную алгебру подтянуть сперва прежде чем за трансформеры хвататься.
> Действуешь матрицей n x m на вектор размерности m получаешь вектор размерности n. m = 512 это эмбеддинг, n = 64 это вектора атеншена.
Да нет, там совсем не так. Смотрите, там прямо написано, что входной эмбеддинг Х имеет размерность 512 х длина фразы. Матрица весов Wk, Wq и Wv имеют размерности 64 х длина фразы. Мне и интересно, как из матрицы 512х3 получили три матрицы 64х3. Автор индус хуйню написал, или как это понимать?
- Так делайте сами
- Кто? Я?
> тикток уже не нужен, просто берёшь человека и он кривляется.
Ожидания: ии заменит водителей, строителей, дворников
Реальность: ии заменил зумеров в тиктоке
> душнила старая, которая не шарит в том, что нравится зумерам,
Вас чем промывают, то вам и нравится, своего мнения-то нет. Что нравится зумерам, можно легко нагуглить.
>Ну это ты должен был сразу посмотреть, глянув на выходы генератора.
Проблема оказалась в модифицированном генераторе, он на выходе выдаёт:
tensor([[[[ 1., 1., 1., ..., 1., 1., 1.],
[ 1., 1., 1., ..., 1., 1., 1.],
[ 1., 1., 1., ..., 1., 1., 1.],
...,
Из-за чего это может быть? Из-за конкатенации тензоров?
Судя по всему, это действительно из-за конкатенации тензоров разного типа
https://github.com/pytorch/pytorch/issues/35014
Теперь вопрос, что с этим делать? Тензор картинки имеет тип torch.FloatTensor, тензор метки torch.LongTensor.
Если их сравнять, вылезает:
RuntimeError: Expected tensor for argument #1 'indices' to have scalar type Long; but got torch.cuda.FloatTensor instead (while checking arguments for embedding)
Как накидать офлайн распознавалку рукописного текста?
без регистрации и смс
я в стартапе занимался облаками точек
сейчас хочу влететь в cv с изображениями
посоветуйте плиз какой-нибудь проект, чтобы было не стыдно выложить на гит (да и попрактиковаться, на самом то деле)
спрашиваю, потому не что не хочу объебаться с тем, что сделаю что-нибудь, а мне техлид на собесе скажет, что это любой дворник умеет
мб изъебистую сегментацию, детекцию? короче помоги двач, скажу всем спасибо за это
АЛСО
важно
какой матан спрашивают на собесах и какая часть от спрашиваемого на собесах нужна в работе? мне помимо ангема, линала и чуточку дифф геометрии нихуя не пригодилось. Но часто вижу, то то теоревер требуют, то еще что-то
буду про кубики спрашивать?)
Нет, sweatey, посмотри статистику. Азиаты, например, всегда и везде лучше белых в вычислительных науках. Женщины лучше в колледжах и больше подходят для научных и околонаучных работ по многим причинам. ИТ как и наука начиналось как убежище для белых задротов и сейчас они паникуют когда это превращается из закрытого клуба для нердов в что-то для всех. И выясняется что они не такие то крутые/умные как им мамка говорила. Рыночек порешал.