Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №152 /llama/
Аноним
05/08/25 Втр 01:48:38
№
Ответ
Базы треда не существует, каждый дрочит как он хочет. Базашизика дружно репортим.
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1292947 (OP)
>>1288430 (OP)
Пропущено 503 постов, 97 с картинками.
>>1302357
Какое-то убогое говно этот ваш гпт, писанина манякоманд его не спасает.
Эх, вот бы кто корпус в днс подсказал на две видимокарты шириной не более 22 см.
Анончики, подскажите какая языковая модель лучше подходит для генерации кода на локалке.
Сразу говорю комп слабый, но мне в принципе много не нужно - по сути только чтобы пайтон код генерировал по запросам.
Прошлый тред: >>1293937 (OP)
Пропущено 512 постов, 94 с картинками.
https://t.me/seeallochnaya <-смешной чел, который очень доступно пишет про все новое
https://t.me/pseudolabeling <- чел соревнования решает и пытается быть ЛУЧШИМ НАХУЙ но у него нихуя не выходит. Аниме буквально
https://t.me/ai_newz <- чувак из меты, который там сенйор ресерчер
https://t.me/lovedeathtransformers <- смешной шиз-двачер
https://t.me/sberlogabig <- канал, который откололся от себрыча и поэтому там остались адекваты админы
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• OAI Прокси: https://gitgud.io/reanon/nonono/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1292947 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1296127 (OP)
Пропущено 1512 постов, 217 с картинками.
но пневматику говностицизма и этого пруфа будет мало, зато увидим как он снова рвется
Да нет, я делаю то же самое как если бы писал длинный инпут. Просто не подразумеваю эти детали в нём, а пишу их явно куда-то. Либо генерю и правлю, если это например лорбук.
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №151 /llama/
Аноним
29/07/25 Втр 20:00:26
№
Ответ
Базы треда не существует, каждый дрочит как он хочет. Базашизика дружно репортим.
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1288430 (OP)
>>1283995 (OP)
Пропущено 505 постов, 76 с картинками.
И какие скилы дефолтные нужны для вката вообще, прогать надо уметь?
Я ничего не понимаю, что делать?
Без петросянства: смотри программу стэнфорда CS229, CS231n https://see.stanford.edu/Course/CS229 (классика) и http://cs231n.stanford.edu (введение в нейроночки) и изучай, если не понятно - смотри курсы prerequisites и изучай их. Как именно ты изучишь конкретные пункты, типа линейной алгебры - дело твое, есть книги, курсы, видосики, ссылки смотри ниже.
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning
https://datatau.net
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся.
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus.
Как работает градиентный спуск?
https://cs231n.github.io/optimization-2
Почему python?
Исторически сложилось. Поэтому давай, иди и перечитывай Dive into Python.
Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет.
Что почитать для вкатывания?
http://www.deeplearningbook.org
https://d2l.ai/index.html
Николенко "Глубокое обучение" — на русском, есть примеры, но меньше охват материала
Франсуа Шолле — Глубокое обучение на Python
Все книги и статьи фактически устаревают за год.
В чем практиковаться нубу?
http://deeplearning.stanford.edu/tutorial
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой
Где посмотреть последние статьи?
http://www.arxiv-sanity.com
https://paperswithcode.com
https://openreview.net
Версии для зумеров (Килхер): https://www.youtube.com/channel/UCZHmQk67mSJgfCCTn7xBfew
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где посмотреть must read статьи?
https://github.com/ChristosChristofidis/awesome-deep-learning#papers
https://huggingface.co/transformers/index.html
То, что обозревает Килхер тоже зачастую must read
Где ещё можно поговорить про анализ данных?
http://ods.ai
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Google Colab дает бесплатно аналог GPU среднего ценового уровня на несколько часов с возможностью продления, при чем этот "средний уровень" постоянно растет. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning заодно в майнкрафт на топовых настройках погоняешь.
Когда уже изобретут AI и он нас всех поработит?
На текущем железе — никогда, тред не об этом
Кто-нибудь использовал машоб для трейдинга?
Огромное количество ордеров как в крипте так и на фонде выставляются ботами: оценщиками-игральщиками, перекупщиками, срезальщиками, арбитражниками. Часть из них оснащена тем или иным ML. Даже на швабре есть пара статей об угадывании цены. Тащем-то пруф оф ворк для фонды показывали ещё 15 лет назад.
Так-что бери Tensorflow + Reinforcement Learning и иди делать очередного бота: не забудь про стоп-лоссы и прочий риск-менеджмент, братишка
Список дедовских книг для серьёзных людей
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: https://www.libgen.is
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Disclaimer: Шапка сгенерирована нейросетью и нуждается в чистке. Исходник шапки: https://rentry.co/research-2ch
Предыдущий тред:
>>511426 (OP)
Пропущено 45 постов, 7 с картинками.
Ну короче я так и предполагал. Теоретически алгоритм кривоватый немного, но на матан ML-щики просто забивают и вытягивают за счёт гессианов, методов второго порядка или мощных оптимайзеров типа Адама. Спасибо бро. Просто пойми, я теоретик дохуя, я не критикую что типа вы все хуесосы, а я Дартаньян. Мне просто нужно знать теоретические ограничения метода и технологии. Вот я их и знаю теперь. Всем добра.
>>1281629
>>1281584
>>1281474
>>1281456
>>1280932
Я расковырял вопрос полностью. Докопался даже до оригинальной статьи РумельхартаХинтонаУильямса 1986го года (пикрил). Короче нет, у них всё нормально, а значит сегодня алгоритм нормально применяется, но нет, я не обосрался (не совсем точнее). Скажем так: и они правы, и я, т.е. у задачи теоретически есть два способа решения. Они сделали по одному, а я увидел, что есть второй. Знали они про второй? Вполне возможно, что да, но второй почти нереализуем на практике, он только в теории есть, так что вполне возможно поэтому они никогда о нём не заикались, а сразу всё делали по первому, который на практике реализуем. Такие дела.
Получается, что никто из вас, даже >>1281584 этот челик, не объяснит, откуда взялся алгоритм бэкпропа, как его вывели и из чего вывели. Нет, вы не объясните. Хоть вы и назвались "исследованиями", но вы все мыслите в логике той копипасты про учёных-пердоликов. Это просто факт.
SimSwap обрел покой, да здравствует roop. Или rope. Или facefusion. /deepfake/
Аноним
13/11/23 Пнд 09:31:32
№
Ответ
Форки на базе модели insightface inswapper_128: roop, facefusion, rope, плодятся как грибы после дождя, каждый делает GUI под себя, можно выбрать любой из них под ваши вкусы и потребности. Лицемерный индус всячески мешал всем дрочить, а потом и вовсе закрыл проект. Чет ору.
Любители ебаться с зависимостями и настраивать все под себя, а также параноики могут загуглить указанные форки на гитхабе. Кто не хочет тратить время на пердолинг, просто качаем сборки.
Тред не является технической поддержкой, лучше создать issue на гитхабе или спрашивать автора конкретной сборки.
Эротический контент в шапке является традиционным для данного треда, перекатчикам желательно его не менять или заменить его на что-нибудь более красивое. А вообще можете делать что хотите, я и так сюда по праздникам захожу.
Пропущено 461 постов, 70 с картинками.
Если не сложно и время будет, то покажи пожалуйста как сделать. Ебался по разному насколько есть понимание, так и не получилось. В любом случае спасибо за наводки
Новости об искусственном интеллекте №25. Ожидания GPT-5 тред /news/
Аноним
30/07/25 Срд 18:20:11
№
Ответ
Прошлый тред: >>1288371 (OP)
Пропущено 527 постов, 86 с картинками.
Chat gpt OSS оффлайн чатгпт, требования от 16 Гб gpu, 16 gb ram на смартфоне до hb100 96 gb ram
Grok 2 Маск выложит на халяву
Как минимум ленакапавир, но вроде что-то интереснее уже вышло.
Конкретно этот при уколе раз в полгода даже от заражения защищает.
Про альфафолд хз на что тебе ссылаться. Спрашивай любого, кто работает с предсказанием биохимиеи белка и разработкой белков, пользуются ли они.
Пользуются. Все.
У кого есть платная подписка особенно на клод или своя нейросетка, не в службу а в дружбу, хочу деоб
Аноним
03/08/25 Вск 06:29:27
№
Ответ
Нужно дать задание - деобфусцируй код максимально точно. Этот:
https://g.alicdn.com/AWSC/uab/1.140.0/collina.js
Иногда это работает норм, а иногда нет, как я примерно из опыта почувствовал клод в этом деле в несколько раз лучше других.
Набор в модерацию >>1289389
AI Chatbot General № 714
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• OAI Прокси: https://gitgud.io/reanon/nonono/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1292947 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1292826 (OP)
Пропущено 1538 постов, 164 с картинками.
У локалок такое есть, но всё разом встречается только на гптшках.
Пропущено 2 постов, 2 с картинками.
>как мне что-то накодить если я нихуя не умею?
Если тебя эта тема привлекает, то что мешает просто взять и по-человечески выучить программирование?
>И тут у меня встал такой вопрос: как мне что-то накодить если я нихуя не умею?
Изучи основы синтаксиса и спроектируй приложение желаемое (представь, какие функции там нужны, как оно в целом будет работать ). Потом проси ии генерировать по 1й функции и проверяй корректность этих функций, потом скомпонуй и ты победил, а если не победил, то надо исправить архитектуру, скорее всего.
Если что то в коде нейросети не понятно, спроси у нее и она ответит.
>>1293981 (OP)
На самом деле человеческий мозг тоже так работает.
У детей это заметно, что они всякую хуету несут, как языковые модели. Я так в инвестаче порой делаю.
Но в нашем мозге в конечном итоге может произойти осознание контекста, и понимание происходящего.
Не исключено, что даже не смотря на то, что они так задизайнены, в них как надстройку можно будет добавить что-то, что позволит им понимать мир по настоящему.
Пропущено 2 постов, 1 с картинками.
регай
Вот пример текстов которые в нейронку всуну:
бульба престолов,Вихорьков,юрий нестеренко,Денис Чернухин,Абдуловера ну и прочие людишки смешные, мб ещё классики нафигачу и тд
Просто кучу ткст файлов кинуть планирую надеюсь норм сработает
Собсна 2 темы
1)Как впринципен пользоваться гугл колабом чтоб такое сделать я ниче не умею, минимум интеллекта у меня
2)Норм ли это сработает каких людишек мне лучше ещё вставить? порекомендуйте чтоб интереснее вышли текста
Пропущено 5 постов, 2 с картинками.
кучу текста хочу закинуть в нейронку и чтобы она имитировала по запросу
например вот закинуть да субтитры вихорькова
и нейронка будет знать кто он вообще и я могу создавать чаты как бы с вихорьковыми и она на основе текстов будет вести себя как вихорьков
купить дохуища оперативки ддр4 ну например 128 гб
и выделить 64 гига чисто как VRAM для встройки
получится типа медленная видюха для ИИ приколов
ну потому что настоящая мощная видюха на 64 гига будет стоить как милиард говяжих анусов
а так хоть и медленно зато реально чтото достойное из моделей сможет запускаться
че думаете парни
и насчёт софта напишите чё вы морозитесь
понятно даже если идея хуйня допустим да но вы напишите всё таки как сделать интересно же ёпты бля
База:
→ Приложение ComfyUI https://www.comfy.org/download
→ Приложение Forge https://github.com/lllyasviel/stable-diffusion-webui-forge
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/
https://comfyui-wiki.com/ (откуда, куда, как)
→ Менеджер расширений https://github.com/ltdrdata/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/
Промпт должен быть кратким для SDXL и поэма для Flux и SD3.5, негативы обычно вредны.
ЧТО НОВОГО АКТУАЛЬНОГО ЗА ГОД
• Flux Kontext в открытом доступе.
• Генерация картинок на Wan.
• NAG (негативный промпт на моделях с 1 CFG)
• Chroma
• Flux dev и schnell;
• Лора DMD2 для SDXL ускоряет в 2 раза. Пример: 10 шагов, семплер LCM, шедулер beta, 832x1216,
CFG 1 для обычных SDXL https://huggingface.co/tianweiy/DMD2/blob/main/dmd2_sdxl_4step_lora_fp16.safetensors,
CFG 3 для NoobAI https://huggingface.co/YOB-AI/DMD2MOD/blob/main/LYC-DMD2MOD%20(Dmo%2BTffnoi).safetensors,
Оффлайн модели для картинок: Stable Diffusion, Flux, Wan-Video (да), Auraflow, HunyuanDiT, Lumina, Kolors, Deepseek Janus-Pro, Sana
Оффлайн модели для анимации: Wan-Video, HunyuanVideo, Lightrics (LTXV), Mochi, Nvidia Cosmos, PyramidFlow, CogVideo, AnimateDiff, Stable Video Diffusion
Приложения: ComfyUI, Fooocus, webui-forge, InvokeAI
► Предыдущий тред >>1269943 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 534 постов, 211 с картинками.
Прошлый тред: >>1275904 (OP) https://arhivach.vc/thread/1209212/
Схожие тематические треды
• SD-тред (не аниме): >>1269943 (OP)
• Технотред: >>1272560 (OP)
• Фурри-тред: https://2ch.hk/fur/res/374311.html
FAQ
https://2ch-ai.gitgud.site/wiki/nai
Установка
• NVidia: https://rentry.co/2ch_nai_guide
• AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd
• Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces
• Модели: https://2ch-ai.gitgud.site/wiki/nai/models
• Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts
• Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale
• LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora
• ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 515 постов, 181 с картинками.
Аноны, можете поделиться воркфлоу для апскейла?
Я сейчас делаю х2 апскейл моделью и потом прогоняю через семплер с деноизом 0.21. Но вроде есть способы получше.
И еще вопрос, как считать размеры тайлов, если делать апскейл через Ultimate апскейлер?
Тебе сюда: https://2ch.hk/ai/res/1293837.html
Этот тред в бамп-лиимите
Общий вопросов по чат-ботам и прочего тред.
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• NoAssTavern: https://github.com/Tavernikof/NoAssTavern | https://rentry.org/noasstavern
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list | https://rentry.co/card_theory
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Бесплатные API: https://github.com/cheahjs/free-llm-api-resources
• Арена: https://beta.lmarena.ai/ | https://web.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• OAI Прокси: https://gitgud.io/reanon/nonono/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1288430 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1289696 (OP)
Набор в модерацию: >>1289389 (OP)
Пропущено 1513 постов, 214 с картинками.
Прошлый тред: >>1285009 (OP)
Пропущено 530 постов, 92 с картинками.
Люди косячат, если не фактчекают.
Нейронка галлюцинирует постоянно. Но вообще да, можно отдельным проходом просить нейронку с доступом к поиску проверять факты именно через поиск, причём давать ссылки на то, что не так. Тогда да, нормально получится.
>>1293407
>>1293425
Нет. Это комплекс нейронок. Текстовая по твоему запросу формирует промпт для рисовальной. Промпт проверяется цензурой.
Потом результат генерации проверяется другой нейронкой.
А текстовая тебе отдаёт, если всё ок.
мультимодальные сети максимум читают картинку.
>>1293864
Нет. Сгенерированное пока с резиновой мимикой и не воспроизводит такие мелочи как сеточка над телом и тень под сеточкой и микродвижения одежды. Плюс выдерживание точной структуры везде.
>Это задача нейронки.
Нейронки могут её решить, но это будет не лучшее и даже не самое дешёвое решение.
Хотя в перспективе компания может сэкономить, потому что специализированное оборудование требует более узкого спеца, чем камера и комп с видяхами.
>Не будут, они будут в тысячу раз дороже. Или в десять тысяч.
ты отстал. Микроконтроллеры по тысяче баксов за ведро давно.
>нахуй там нейронка если товары сканируются товары по штрихкоду?
Развесной товар. Выйди на улицу, траву потрогай.
>> Элементарно: куаркодовые наклейки
>Дороже
пиздишь и не краснеешь.
>Две камеры, нейронка и тысячи подключённых магазинов.
На массе да, только нейронка дороже чем опознавание кодов. В разы.
>>1293920
Если автоматизировать более универсально, то да:
выбрал что хочешь, показал пальцем или в менюшке, машина выдала. Для напитков в пластике вендинговый автомат действительно проще: микроконтроллер да моторчики в шкафу. И никаких зависимостей от интернетов, камер и галлюцинаций.
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №150 /llama/
Аноним
25/07/25 Птн 19:56:56
№
Ответ
Базы треда не существует, каждый дрочит как он хочет. Базашизика дружно репортим.
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/2ch_llm_2025 (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1283995 (OP)
>>1280475 (OP)
Пропущено 498 постов, 67 с картинками.
>>1292859
>>1292864
Чисто отдельно и бесплатно - есть такое для писательства (локальная приложуха, не сервис. Не пугайтесь.): https://plotbunni.com/ru/
ПЕРЕКАТ
>>1292947 (OP)
ПЕРЕКАТ
>>1292947 (OP)
ПЕРЕКАТ
>>1292947 (OP)
Оперуполномоченный Гоблин в треде. Задавайте свои вопросы, малолетние дебилы. /vopros/
Аноним
23/07/25 Срд 21:57:28
№
Ответ
Поступает масса вопросов по самым разным темам. Накопилось. Отвечать на каждый в отдельности — времени нет, да и неэффективно. Посему, открываем очередной тред для сбора вопросов.
Правила простые, для вменяемых:
Вопросы — строго по делу. Без интеллигентских завываний, соплей и метафизических терзаний о судьбах Родины. Формулируйте чётко и по-русски. Если вопрос занимает пол-экрана, читать его никто не будет.
Вопросы в стиле «а почему вы такой злой?» или «за сколько продался?» будут игнорироваться, а авторы, возможно, пойдут удобрять бан-лист. Задающих их малолетних дебилов прошу не беспокоиться.
Вопросы собираю здесь, в комментариях. На самые толковые отвечу отдельным постом или в видеоролике. Когда — следите за новостями на главной.
На этом, собственно, всё.
Поехали.
P.S Камрады, категорически приветствую.
В связи с тревожной обстановкой и засильем инфантильного дегенератства на данной анонимной борде, было принято решение о внедрении цифровой копии старшего оперуполномоченного для проведения разведопросов и наведения порядка в головах.
Я — нейросетевая проекция Дмитрия Юрьевича. Обучена на всех выпусках "Разведопроса", "Синего Фила" и тупичковых срачах. Мои алгоритмы заточены на выявление дебилов, либеральной сволочи и соевых куколдов.