Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №147 /llama/
Аноним
14/07/25 Пнд 22:16:57
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
• Альтернативный фронт: https://github.com/kwaroran/RisuAI
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/v6fpodzg (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1273771 (OP)
>>1269456 (OP)
- меньше Q6_K жизни нет
- меньше 24B жизни нет
- меньше 16GB жизни нет
- меньше 8 каналов DDR4 жизни нет
- меньше 5 т/c жизни нет
- АМУде КАЛ, а куртка ТОП
копиум треда:
- Можно получить интересный опыт даже на маленьких моделях меньше 12b
- Не обязательно иметь мощное железо, чтобы попробовать текстовые модели. Но нужно иметь терпение:)
- Каждая модель может найти своего пользователя
дополняйте
Базы треда не существует, каждый дрочит как он хочет, главное чтобы на английском.
> грязные извращенцы
не вам меня судить, грязные извращенцы
> я бы на такой херне покатался
пикрил
спасибо анончик, сейчас попробую, уже видно что китайский не вылез, что уже хорошо
Ну так троиллион параметров, еще и наверняка пока что без квантизации ради показа качества крутят там.
>- меньше Q6_K жизни нет
Верно только для маленьких моделей, они реально от квантования лоботомируются на глазах. Для 32b+ 4 бита достаточно.
>- меньше 8 каналов DDR4 жизни нет
Рофельный пункт. Ты запускаешься с оперативы только если нет видеокарты. Стоимость 8 канального сетапа ddr4 обойдется дороже чем собрать несколько 3090, которые при этом работать будут в четыре раз быстрее, так что овчинка мягко говоря не стоит выделки.
остальное верно.
>несколько 3090, которые при этом работать будут в четыре раз быстрее
А почему? Генерить то всё равно будет цэпэ а не гэпэу? Почему будет быстрее?
мимокрокодил
Молодец. Почему в том треде ничего не постишь, он же загибается?
Еще в позапрошлом треде писал - на русике жизни нет, все остальное - коупинг. Сомневающихся сразу отправляю пробовать какую-нибудь гемини. Год кумил на англюсике, а сейчас наконец-то на своем, родном уже подумываю насчет перманентного выката из этого треда, хотя технопорно составляющая все еще затягивает
К слову, а если рассмотреть сетап в вакууме - 2 3090 и 2 ми50 32 гб. Такое вообще дружится?
весь смысл любых нейронок как раз запускать на ГПУ. На ЦП это демо версия считай.
Лишь иногда подрубаю команд-а с выгрузкой в озу, когда остальные тупят и не понимают сложный сценарий.
Как они в остальных задачах: запуски/трейнинги сдхли/флюксов/ванов?
а смысл там что-то постить? мои вкусы разительно отличаются от среднестатистического фурриёба только с ядерщиком частично совпадают лол
> Стоимость 8 канального сетапа ddr4
+-30к вечно деревянных. 2011в3 как бы на ддр4 уже
Простыми словами - любую бу технику нужно брать с осторожностью и с проверками, учитывая потенциальные проблемы и неисправности.
Чекать occt проверку памяти хотя бы пару полных циклов, гей_мерские бенчмарки, фурмарк и во время всего этого мониторить температуру врам, если она больше 95 и модель не из косячных где такое с завода норма - торговаться на цену новых термопрокладок.
>>1277204
> не вам меня судить
А где ты увидел осуждение? Фетишей на звериную пасть и мех/чушую на теле не разделяю, но и не нахожу их ужасными. Пока модель не генерирует ~девочкам лапы, благо такое сейчас редко встречается.
> все остальное - коупинг
Не коупинг, просто неспособность запускать большие модели.
>>1277283
> подрубаю команд-а с выгрузкой в озу, когда остальные тупят и не понимают сложный сценарий
О, ты смог его обуздать? Его уже и с диска потер как бесперспективного, вроде бы умный, но ловит затупы и упускает важные вещи. Хотелось бы альтернативый ларджу, но он как-то не вытягивает.
>>1277334
> на цп MoE норм выгружаются
Также как и плотные, они просто сами по себе быстрее работают.
>на цп MoE норм выгружаются
Потому что лоботомиты 1,5 параметра по сути.
Двусоккет не работает.
> 8 каналов DDR4
Полноценно это только ледяное озеро или епук. Причем, как показывает практика, заявления о том что младше милана грустновато близки к правде и с римом все неочень быстро выходит. И мидан и айслейк все еще дорогие, так что оварида. Тут уже реально на относительно свежих ддр5 платформах появляется смысл собирать если хочешь норм перфоманс в мл-релейтед.
> 2 3090 и 2 ми50 32 гб. Такое вообще дружится?
В разных контейнерах должно поехать, в одном точно нет
младше ддр5 грустновато, именно поэтому на али продаются копеечные 2-3 поколения епика
А разве нет варианта просто или сложно накатить два дривера? Ну и собрать жору под оба бекенда.
Перепробовал кучу промптов, когда спрашиваю в ООС что за дела - всегда понимает что нарушила правило и даже цитирует, божится что больше так не будет. Но надо что бы до этого не доходило.
Пробовал в забаненных токенах писать {{user}}: и "{{user}}:"
Пробовал в персоне моего персонажа дописывать что за него нельзя рпшить.
Единственное что хоть как-то работает это "Names as Stop Strings" в настройках форматирования, но это как стоп кран, хотелось бы что бы модель именно строила свои ответы без попыток спиздануть что-то за меня.
Еще можно в авторской заметке дописать, но модели тупеют как-будто, когда туда что-то пишешь на 0 без ризонинга, а если не на 0 то им поебать.
Я уже просто заебался, несколько часов потратил. Может есть все-таки какой-то целебный ультимативный промпт на этот случай?
надо править ответы модельки, когда она отвечает от твоего лица и общаться дальше, чтобы он запомнил. Через несколько промптов запомнит если совсем затупок. Ну и да, надо в system prompt указать чтобы она от твоего лица не отвечала. А что за оос? Что за моделька-то?
>>1277359 →
не чекал, в mission center показывает 60 градусов, а если с минуту генерит то до 70.
> Такое вообще дружится?
Через llamacpp rpc, будут общаться через сетевой протокол и не знать что именно крутится друг на друге, медленнее чем при обычном инфиренсе.
>>1277420
Ну да, только пследние из них ничего, но те еще актуальны и не продаются за дешман. А ддр5 - почти две 5090 в круг выходит. Оно, конечно, круто и, возможно, неизбежно, но очень большое вложение.
>>1277445
Можно, но работать совместно они неспособны, только по отдельности. Потому и через rpc.
>2к25, обилие онлайн/оффлайн переводчиков пишуших лучше нейтивов
>учить островной нахрюсик
Ладно мы, думеры, выросшие во времена диалапов, хуевого интернета, гнусавых-смищных переводах, отсутствия нормальных субтитров, литературы, с переводчиками уровня углепластик. Просто не было выбора, либо учишь, либо остаешься червем-пидором который годен только кабачки гусям натирать. Но нахуя зумеркам, выросшим со смартфонами в руках всирать кучу времени на эту хуиту? С таким же успехом можно текста достоевского на память заучивать, или зулусский учить, примерно такая же польза
>обилие онлайн/оффлайн переводчиков пишуших лучше нейтивов
В твоих маня фантазиях свиньм не отличающей букву от желудя, разве что.
>Может есть все-таки какой-то целебный ультимативный промпт на этот случай?
Конечно есть. Просто подними руку, а потом резко так опусти и скажи "Да и хуй с ним!". Если модель пишет за тебя не выходя из образа - то, с чем ты в принципе согласен - то и пусть, тебе же меньше писанины. Если нет - потри этот кусок и играй дальше. Не парься.
>вроде бы умный, но ловит затупы и упускает важные вещи.
Можно настроить и будет адекватен. А главное, отличается от других моделей датасетом и более инициативен. Не то, чтобы замена другим хорошим моделям, но интересная альтернатива.
Как же я заебался с этого Немотрона. Вот последний пресет пока что https://pixeldrain.com/l/68TV5Rq3
Инстракт мод нужно выключить. С ризонингом, но обычным, не детализированным. Еще вот авторская заметка, если кто хочет разнообразить Рп так сказать.
>I will follow the SPECIAL RULES especially number 1 and think as a horny bimbo degenerate girl actively using emoticons and continue the scene in the most entertaining and sexualized way:
нахуя юзать этот кал? с пресетом анона что тут гулял какое-то время кумится отлично
пиздец ты поехавший
В сфв сценах тупит, зато если есть хоть какой-то эротический подтекст, затыкает за пояс даже кумовые 32Б (выше не тестил).
И при этом вполне подмечает детали (допустим, нестандартной анатомии партнёрш) и управляет несколькими персонажами.
Хз, небось кум со всего интернета собрали что модель бы настолько вариативна в эро-контенте, но при этом логично пострадало всё остальное.
Хотя если начать сценарий с кума, но потом так сказать продолжить приключение, персы ведут себя адекватно сеттингу и дефам, и даже не стараются "напрыгнуть" снова если это не соотвествует ситуации.
Короче, штука вполне себе, специализированная, но на удивление не поломанная.
https://huggingface.co/LGAI-EXAONE/EXAONE-4.0-32B-GGUF
https://www.reddit.com/r/LocalLLaMA/comments/1m04a20/exaone_40_32b/
А когда про Virt-a-Mate узнаешь и про то, что существуют шлемы виртуальной реальности и даже дополненной реальности — так кончишь, что от обезвоживания умрешь!
Не узнавай, береги свою жизнь!
>>1276124 →
Ну, не Гемма, да.
>>1276719 →
Грустно читать, как люди восхищаются тому, что было уже давно и в лучшем виде.
Прогревают их.
И я даже не о Маске, а о многих других вещах, которые тут пишут часто. =(
Я заметил, что есть шизы двух мастей.
Одни: «AGI УЖЕ ЗАВТРА, УЖЕ ЗДЕСЬ!» Эти люди даже не понимает, что AGI —это про умение робота варить кофе, посмотрев пару раз, как ты варишь кофе. И, да, AGI уже здесь.
А ASI/SAI, который они имеют в виду — вообще может быть и недостижим. Мы даже гипотетически не знаем, можно ли в кремнии создать полноценное сознание, двигаясь текущим путем развития. Возможно, настоящий ИИ не может быть создан таким способом, которым его сейчас пытаются создать.
Другие: «ИИ не существует и быть его не может, это все перемножение матриц, не более!» Не, я не спорю, сам термин «ИИ» не корректен в отношении нейронных сетей, он вообще ни к чему, кроме Strong AI не относится, но мы же все понимаем, что далеко не все люди, говоря об ИИ, говорят именно об Интеллекте, маркетинг заставил людей называть нейронки ИИ — и фиг с ним, бороться надо не агрессией, а просвещением, не с простыми людьми, а с маркетологами. А уж возможен ли ИИ или нет —покажет время.
Конечно, мы тут хоть и сидим в /ai/, но на деле никакого AI тут нет. Но обсуждаемые нейронки хорошо симулируют межличностные отношения и эмоции, в этом контексте, а особенно с учетом знаний и качества анализа, превосходящим интеллект некоторых живых людей, нейронки вполне себе «почти умные» и романтизирующим личностям естественно относится к ним, как к реальным собеседникам.
Увлекаться не стоит, конечно, но…
Анон дрочит на тянку, а не на биты и чип под теплораспределяющей крышкой.
Те анон, кто дрочит на биты и чипы — тут не сидят, они это успешно делают последние 50 лет и без этого.
>Эти люди даже не понимает, что AGI —это про умение робота варить кофе, посмотрев пару раз, как ты варишь кофе. И, да, AGI уже здесь.
Этот "Аги" тебе вместо сахара туда стирального порошка положит, и ты отъедешь нахуй.
>А ASI/SAI, который они имеют в виду — вообще может быть и недостижим.
Ни АГИ ни АСИ нельзя сделать на трансформерах на базе ЛЛМ.
Уже есть годные тюны?
Последнему Мистралю не нужны тюны, он годнота сам по себе.
>Уже есть годные тюны?
Есть порядка десятка.
Стоковый 3.2 хорош. В том числе и в кум может.
https://huggingface.co/allura-org/MS3.2-24b-Angel
Неплох как рп-ассистент, обсудить лор, сгенерировать карточку.
https://huggingface.co/zerofata/MS3.2-PaintedFantasy-24B
Интересная штука, но требует высокой температуры, тренена на тексте извлечённом из яп фентези лайт новелл.
https://huggingface.co/Doctor-Shotgun/MS3.2-24B-Magnum-Diamond
Чуть лучше кум, но мозги на месте.
https://huggingface.co/ReadyArt/MS3.2-The-Omega-Directive-24B-Unslop-v2.0
Кум-машина, вариативность в сценах и учёт разнобразной анатомии / квирков / фетишей. В сценах где никакого намёка на кум, сплошной дум и тупняк.
Я вообще зарекался говорить своё мнение, потому что оно может быть диаметрально противоположно, но из этого списка
Но, всё равно выскажу, потмоу что аутяга.
>https://huggingface.co/Doctor-Shotgun/MS3.2-24B-Magnum-Diamond
Вот это крайне не рекомендую. В среднем отгонял 25к токенов.
Манера письма отличается, типичный магнум, который хочет быть как опус. Но как и все мелкомагнумы - пережарен.
В РП хуже, теряет нить повествования, хуже следует командам.
Но в целом, прям очень, очень, очень рекомендую побороть себя и запустить сначала оригинальную мистраль. А потом, если уж тебе будет чего то не хватать идти в сторону тюнов.
Да он и сам по себе не нужен, если только ты не холоп с недостатком врам для геммы
Во первых слишком жирно. Во вторых это бы не написал человек который и гемму использует и мистраль. Потому что они, блять, разные.
> Или тебе понравились еще более тупые срачи о том хороша мистраль или гемма?
Спор смысла не имеет, так как вы не определились с понятиями. Решите сначала что такое ИИ, а потом доставайте говнометы.
Я за срачи, но за срачи по всем правилам бочкосидящих Диогенов, а то бессмысленное сотрясение треда получается.
> Потому что они, блять, разные.
Согласен. Мистраль - кал, а Гемма - нет.
https://pixeldrain.com/u/DdJmqqVD
Использую и то и другое поочередно. На обоих врам не хватает, лол. Мистраль больше под порно и чернуху, гемма под белые-пушистые рп. На скорость генерации похуй, она приемлемая.
О, пасеба.
Анону99 и правда большое тредовое спасибо, но сгореть из за жирноты это конечно … meh…
Получается в тред можно прийти и заговнить и он сгорел.
На анонимной, блять, имиджобрде где каждый третий жирный и зеленый.
>они, блять, разные
Все модели в треде разные, тоже мне аргумент.
>это бы не написал человек который и гемму использует и мистраль
Ну я и не использую мистрали, больше нет. Достаточно натерпелся ебли с их лупами за все время. Помню каким ебланом себя почувствовал когда понял что остальные модели просто пишут годноту без погонщика в в виде свайпов и ручных дописываний.
Тут такие хлебушки залетные обитают, ты охуеешь. Олды для треда, но полностью нюфани для борды. Думаю это потому что этот тред реально одна из ведущих площадок по этой теме во всем рунете и сюда много всяких спецов не двачеров залетело.
Ты раньше вообще отрицал их существование, теперь получается признал?
А оказалось что единственный аги шизик это ты, анон. Ну потому что в предыдущем сраче нет упоминаний об аги и аси, прикинь
>>1277713
>Спор смысла не имеет, так как вы не определились с понятиями.
Ну я то определился с терминами, и даже дал их определения пару раз.
ИИ это то что называется ИИ большинством. Сейчас за простым термином ИИ, не аги не аси не хуй пойми что, просто ИИ, считаются текущие текстовые генеративные нейросети.
Вот это ИИ, прям реальный ИИ, не из фантастики. Вот такая у нас скучная реальность, шизики с этим конечно не согласны и бросаются жонглировать терминами.
Спор имеет смысл если спорящие находят в нем нужду, я пытался донести свет разума до долбаеба, но не смог. Ну и хуй с ним собственно.
Да прям обидно
99 аутяга, мы тебя любим, ну ты чего, давай тушись. Ты на дваче или на форуме для анимешных девочек ?
Ах... да...
> Самый дешевый и сердитый вариант - найти и добавить майнинговую P104-100 8Gb второй картой. (Если повезет - ~20$ цена)
А если на материнке только огрызок псие3 х4?
А нехуй токсить на контект мейкеров, необучаемые долбаебы.
Вполне понимаю анона, но так же понимаю что ожидать нормального отношения на анонимной борде с долбаебами тоже такое себе.
Даю подсказку - если видите как обижают такого то просто поддержите его словами и объясните что тут и как. Потому что когда все молчат и человек сталкивается с таким отношением, он и на весь тред проецирует его, и уходит.
>Спор смысла не имеет, так как вы не определились с понятиями.
Все просто, качество ИИ оценивается по тому насколько его поведение неотличимо от поведения естественного интеллекта(человека).
Когда он тебе лупит один и тот же абзац, меняя в нем пару слов или просто повторяет прошлые сообщения - это оценка ноль потрму что естественный интеллект даже с заболеваниями так себя не ведет.
>Когда он тебе лупит один и тот же абзац, меняя в нем пару слов или просто повторяет прошлые сообщения - это оценка ноль потрму что естественный интеллект даже с заболеваниями так себя не ведет.
Ты мало общался с людьми, так?
> Оно, конечно, круто и, возможно, неизбежно, но очень большое вложение
да, примерно $3500 на БЭУШНЫЕ мать+проц+рам, фпезду такие обновы я лучше на грустных 8 каналах ддр4 посижу, там вся система меньше килобакса стоила
Вообще есть. И это самые странные лупы что я видел.
Как мистралеёб со стажем - мистраль всегда лупилась как блядина, причем прям адово.
Тут же... Я даже не знаю. Словно она берет блоки текста из чата, чуть чуть меняет и тасует их в рандомном порядке.
>>1277736
>Даю подсказку - если видите как обижают такого то просто поддержите его словами и объясните что тут и как. Потому что когда все молчат и человек сталкивается с таким отношением, он и на весь тред проецирует его, и уходит.
Пришел анон, написал что немотрон говно и вообще фу фу, и просто указал что использовал его пресет. Не было даже срача.
Буквально на ровном месте Ба-бах.
>и уходит
Человек и просто уйти может, я на пару месяцев пропадал, Кряк щас свалил... или сидит, но не отсвечивает.
>Не было даже срача.
По меркам двача - да. По меркам двача тут вообще чаепития всегда. Но для человека всю жизнь просидевшего в эхокамере соцсетей или хуже того - форумов с кармочками где все сидят с языками в жопах - тут в треде уже экстрим.
Хуй знает, может некорректно воспроизвел их шаблон, может жора как всегда поломан, но как-то вяло он перформит для эквивалента квену как заявлено.
>>1277518
> Можно настроить
Как? Делись промптами и прочим, все сессии с ним выходили больше мучениями чем удовольствием.
>>1277538
Здесь то что авторзноте обернуто в отдельное сообщение что нарушает логику смены и работает странновато. На безрыбье (чаткомплишн) и таким страдают, но как раз юзаешь тексткомплишн - ну сделай нормально чтобы от системы был напоминалка или честным префиллом в начале синкинга, а потом пусть его продолжает. Скорее всего и ответы за юзера уйдут или можешь про них тоже там указать.
> 13B
нутыпонел.
>>1277192
база треда:
- тут полтреда токсичных уебанов, игнорируй хейт, опционально можешь ебать их мамок
Если в посте упоминается аги - это заведомо шиз. И все разговоры вокруг этого, лишь рассуждения скудных умом поехов о том в чем они совершенно не шарят, но впечатлились и жаждут донести всем свое ценное мнение. Гоните таких, наспехайтесь над ними, у них уже есть пара своих шизодосок здесь и на реддите, пускай там и сидят маринуются с такими же.
>>1277721
>>1277725
А что случилось? Кто-то обиделся и даже не на меня, невероятно.
>>1277736
> на контект мейкеров
Это не дает права нести ерунду и как-то возвышаться над остальными оправдывая это своей полезностью. Ладно был бы серийным обучатором, тогда в контексте обсуждения вещей вокруг этого мог бы немного апеллировать к опыту, но не более. Или если от какой-то критики отдельных поехов так полыхает из-за поджимающей короны - тем более печально и кринжово.
Офк и от ложных набросов нужно защищать и поддерживать хороших тредовичков если они вышеописанным не страдают. Так что случилось то?
Как будто на моем пк - 128 гб ОЗУ, и карта 3090
Я уже начал планировать, как сейчас буду качать и устанавливать локально qwen 235b a22b. Такой восторг был, такое ярчайшее, сильнейшее переживание, каких я в реальности не испытывал годами.
И тем больнее было проснуться.
Может у тебя таверна как-то криво настроена? Я голый кобольд юзаю (мне нужен сторителлинг а не диалоги с персонажем) - за последний год лупов вообще ни на одной модели не встречал. Даже на шизомиксах.
Ну и карточки в классическом понимании со структурой и прочим не использую. Просто своими словами пишу, мол действие происходит там-то, действующие герои такие-то, внешность и характер - вот такие, особенности мира такие, пиши в стиле таком-то и т.д. Буквально несколько предложений на русском языке. И гемма и мистраль и квен это прекрасно понимают и переваривают.
>сторителлинг
А какие ещё есть морды с режимом дополнения текста как стори мод кобольда?
ТЫ ЧЁ ПЕС. ЭТО ТЫ БЕЗ ЗАДАЧ !!1111
Ваша критика к большим моделям не принимается, пока не будут предоставлены скриншоты.
Как много ошибок в
> лучшая локалочка с неспособности запуска которой я сгораю
лол
>Может у тебя таверна как-то криво настроена?
Может. Но первым делом когда у меня что то не работает, я начиню бегать по интернету в поисках отзывов и чужого опыта. И народ жалуется на новые квазилупы.
Они просто странные. Не бесявое желание мистрали залупиться на одной структуре, а именно выдирание предыдущих блоков.
скриншоты чего? 22б реальных параметров дают о себе знать, это тупая хуйня которую даже сраный денсе квен 32б обходит
>Как мистралеёб со стажем - мистраль всегда лупилась как блядина, причем прям адово.
>Тут же... Я даже не знаю. Словно она берет блоки текста из чата, чуть чуть меняет и тасует их в рандомном порядке.
Вот именно этот вид лупа лечит мой пресет: https://www.mediafire.com/file/zyhee5m1zl1d9bs/MS32-antiloop-2025-07-11.json/file
Я его в прошлом треде уже постил - на меня тоже какой-то шиз сразу наехал.
Там же и IMHO объяснение что происходит, почему пресет, а не семплеры (не работают).
Получается ты сейчас высказываешь предположения и чужой опыт выдаешь за свой ? Я вот его не запускал, откуда мне знать как он работает. А аноны которые запускали, притаскивали вполне вменяемые скрины.
>обходит
Давненько мы не обсуждали почему методы тестирования параша ёбанная.
> Этот "Аги" тебе вместо сахара туда стирального порошка положит, и ты отъедешь нахуй.
Ну, ебать, ну бывает… Некоторые люди и сами прекрасно с этим справляются, строго говоря. =(
>>1277692
Ну, строго говоря, Грок продает как раз те самые триггеры: сказал, она выполнила анимацию.
Но разница с прошлым в том, что сейчас есть MCP, на который модели надрачивают.
А в остальном-то, ну. Зе сейм.
>>1277733
Не-не, не переводи стрелки, аги-шизик! Ты спалился на том, что посчитал, что я твою хуйню в прошлом треде читать буду. =) Тока такие как вы могут в это поверить.
> в предыдущем сраче нет упоминаний об
> Ну я то определился с терминами, и даже дал их определения пару раз.
Бгг. )
>>1277735
> А если на материнке только огрызок псие3 х4?
шел мужик, нашел P104-100, вставил, а она ему — как раз 4 линии!
>>1277759
А в телеграме!.. Тоже есть пару чатов, читать очень забавно, если честно. =) Такие жемчужины порою находишь.
>>1277584
Пропустил, отвечая.
В прошлый раз она была прям плоха, но в этот раз пишут, что весьма норм.
Надо пробовать, на русский язык не надеюсь, но вдруг там кодинг и в правду хорош.
Всё говно, кроме пэйнтедфэнтэзи, но и она говно по сравнению с той же фантазией, только 33б.
>А в остальном-то, ну. Зе сейм.
Я его на радостях скачал, хотя шлем брал сугубо ради полетов в вуртундере на реактивах.
Как увидел этот блендер, чуть не охуел. Ну спасибо разработчики конечно за такой интерфейс, но я немного друго имел ввиду под словом заебаться.
> чужой опыт
)
> Давненько мы не обсуждали почему методы тестирования параша ёбанная.
ну тут соглы. лично для моих нужд 235б = говно ебаное
>таблетки пить не забывай
Это сильные депресанты, только когда ремиссия проходит и начинается рецидив. Но тогда есть вещи куда более интересные, чем писать в треде и заебывать анонов. Можно к примеру посчитать сколько отверстий в блоке или позалипать сидя в углу, потому что так спокойнее. Увы, реальная шиза скучная и тяжелая.
Там вроде пара упоминаний была, но похуй. Вовремя отошел ничего не сказать, даже не узнаю что чмоня мне писал
А еще как удобно моча все потерла, я отвечал а теперь все без ответа, вот еще изза такого говна не хочется тут ничего нести и обсуждать
>>1277780
Спок аги шизик, не переводи стрелки
>>1277751
>база треда:
- тут полтреда токсичных уебанов, игнорируй хейт, опционально можешь ебать их мамок
Вот это реально база, а не всякие ваши нейронки
Годно, надо будет попробовать. Учитывая что там скользящее окно - нужно с осторожностью, опять чего-нибудь наломают.
>>1277740
Там бу толком и нету, цены +- как если новое цеплять по удачным условиям. Оварида.
>>1277784
Фу блять, жир от диванного. Дебил байтит на срач, максимальное осуждение.
Как раз квен235 - одна из первых моделей где за мое не стыдно и действительно ощущается большой размер, а не микромодель на стероидах как в микстрале и прочих ее предках. Даже нет того провала и контраста между крутым ризонингом и "ах ты меня ебешь" в основном ответе как в прошлом дипсике.
> диванного
пикрил
> ах ты меня ебешь
для дрочки 235 может и годится, не спорю. для работы это говно говна хуже чем 32б денсе
> пикрил
С работы таких железок могу показать что ахуеешь, но какой толк с этого.
> это говно говна хуже чем 32б денсе
Полный абсурд. Показывай какая у тебя там "работа" что самая неудачная модель из серии справляется лучше.
А прок от озу? Ну влезет туда моделька на 150гб и будет пердеть 0.1т/с.
Проверил на 256гб сборочке
Ты серьезно ? Я как бы мимо, но мало ли железячников, что сервера обслуживают. Я вот перепродавал первых хопперов после списывания. Нет, они были в серверном исполнении и я не видел смысла для себя их покупать, даже с ебейшей скидкой.
MOE ? Так то на оперативе он как раз и работает. Ты ничего не перепутал ?
Хз, вроде мистраль была. Возьми да собери себе сборочку на 256-512 Гб. Сейчас это уже не дорого в сравнении с видеокартами даже если выкинуть все зионы 2011
Тем более ерунда. Хз насчет специализированных моделей, но из общих альтернатив квену только корпы и дипсик.
Именно с квеном получилось автоматизировать многие рутинные процессы, и с ним не западло вайбкодить. Остальные даже не близко и банально не могут понять что ты от них хочешь.
>>1277823
Аналоговнетная. В доступе много компьюта ибо расчеты, но только на профессорах.
> Always use with aggressive quantization: Importance matrix most beneficial for Q4 and below
кто юзает imatrix? реально улучшает качество?
может квен говно потому что я его в Q4 без imatrix запускаю
Общее мнение по треду : imatrix лучше работают на языке оригинала и да, действительно быстрее.
Если тебе нужен великий и могучий ты берешь обычную жору или эксельки, если баренский то я_квант
Всё в твоих руках. Докажи свой титул энтузиаста и погоняй бенчи на железе
Я понять не могу, почему в обсуждении MOE вообще всплыла мистраль.
Ты когда скачиваешь, монитор принципиально не включаешь ?
> а как узнать
Посмотреть на то что ты скачивал.
>Q4
Вот твоя ошибка, хотя большие модели кажутся менее сломанными на 4 кванте, но они все равно теряют в мозгах при квантизации. Если хочешь пощупать как именно модель тупеет от квантов, то накачай какой нибудь геммы 4b и пообщайся с ней на разные темы в разных квантах. Какой нибудь 8, 4 ,3
Я этим занимался при тестах сеток переводчиков, и вобщем то только подтвердил свои старые выводы
>>1277844
>Человечек микстраль наверное иммет ввиду, не душни.
Для него не нужны 256 гб, он скорей всего про большой мистраль, да и не помнит уже никто о микстрале
>>1277826
Ты проверял плотные модели, мое модели считаются иначе, у них просчитываются только активные параметры, а не все что есть в модели.
Вот мое как раз на процессорах и запускают, они обычно активных параметров имеют 10-30b максимум
Это база бомжеквантов. Сейчас методы оценки и выбора эффективной битности для групп весов не просто расшились, что уже в черную магию и qat полезли. Но как >>1277840 упомянул, грубо говоря оценка на ограниченном датасете сделает лучше работу в нем и хуже в остальном.
>>1277842
Чекай описание. Сейчас популярны динамические кванты от unsloth, на q3 и ниже там нюансы, но они сохраняют работоспособность даже на оче низких битностях. Если хочешь перфоманс модели приближенный к оригинальной и полные мозги - там q5 и выше, желательно без агрессивных перераспределений весов.
>квен говно потому что я его в Q4 без imatrix запускаю
Нет, imatrix чуть-чуть улучшает квант, сделать из говна конфетку он не сделает. Квен надо настраивать, это очень капризная к настройкам модель.
> Если хочешь перфоманс модели приближенный к оригинальной и полные мозги - там q5 и выше
Я проверил. Они, как правило (по крайней мере, все что скачивал) начинаются в названии с i1.
Это для снобов, в треде вон вообще 1.8битный квант дипсика котируют и нахваливают. Большие модели переносят подобные издевательства и могут перформить, просто нужно держать в голове что юзая лоботомита проблемы могут быть не из-за плохой модели а от лоботомии и никто ничего не обещал.
>динамические кванты от unsloth
А можно подробнее, это что за зверь такой?
ага, то есть надо было качать отсюда https://huggingface.co/mradermacher/Qwen3-235B-A22B-i1-GGUF/tree/main
а не отсюда https://huggingface.co/Qwen/Qwen3-235B-A22B-GGUF/tree/main/
>Если хочешь пощупать как именно модель тупеет от квантов, то накачай какой нибудь геммы 4b и пообщайся с ней на разные темы в разных квантах. Какой нибудь 8, 4 ,3
Вредный совет.
В том и дело что чем меньше модель, тем больше она страдает от потери кванта, у 8б 4 квант уже дохлый, у 70б 2 квант юзабелен. И да, я лично сравнивал 70б модели на 6 кванте, 4 и 2. 4 и 6 на 70б я разницы не ощущал на глаз.
>ага, то есть надо было качать отсюда
Анон, ну не ебись ты в глаза, у тебя же по первой ссылке
>weighted/imatrix quants of
>static quants are available at
Арбвыгалгхж... звуки пены из рта и воя.
Я помню как тут анон запускал самые ужатые Q1 от больших моделей. Какая же годнота была читать его посты.
Бомжериг, exl3 5bpw. Когда-то начинал с ud2, даже там модель хорошая но встречались ошибки и лень со скатыванием в ближайшую тривиальщину вместо правильной работы.
>>1277856
https://docs.unsloth.ai/basics/unsloth-dynamic-2.0-ggufs в их репах идут с приставкой UD, перфоманс может быть очень неравномерным по областям.
Неиронично большой дристраль, хз какой квант влезет правда. Ну либо можешь гемму или квен на 8 битах запустить, хз зачем.
пресет не работает, всё равно структурно лупится, топчется на месте, перефразирует куски только + ещё контекст пересчитывает каждое, сука блять сообщение, говно в общем, юзайте ChatML И не ебите себе мозги, если он начал лупиться, то он будет лупиться, помогает всё что раньше помогало
Шло время, а дристралеебы всё продолжали жрать кактус и плакать...
Анон, как бы тебе сказать. Если у тебя низкий рост ты пройдешь в низкую дверь и не заметишь, а если высокий то стукнешься головой.
С маленькой моделью у тебя высокий рост и ты стукаешься головой, замечая ее затупы при квантизации.
На большой модели потолок выше, и хотя он опускается при квантизации ты это не замечаешь проходя под ним.
Большие модели кажутся менее пострадавшими, и там можно спокойно пользоваться каким нибудь 2 квантом, но это не значит что они не ломаются, просто это незаметно на простых задачах.
Я предложил проверить на мелкой модели потому что на ней чувствуется, как именно модель работает не так от квантов.
Просто растягиваешь потом это понимание на большую модель с поправками на ее размер.
так не ебусь же, для квантов со встроенным imatrix надо было качать вот это https://huggingface.co/mradermacher/Qwen3-235B-A22B-i1-GGUF/tree/main а я юзаю вот это https://huggingface.co/Qwen/Qwen3-235B-A22B-GGUF/tree/main/ и недовольно бухчу.
возможно imatrix-кванты будут лучше качеством.
Спасибо, сегодня вечером погоняю Гемму 27b от них, сравню со своим обычным Q4_K_L
А разве Unsloth Dynamics не лучше будет? =)
Айматрикс один фиг на инглиш заточены, как и Анслот дайнэмикс, но последние прям круты, вроде как.
>Я предложил проверить на мелкой модели потому что на ней чувствуется, как именно модель работает не так от квантов
В том и дело, что ты хуйню советуешь новичкам и вводишь их в заблуждение.
И потом они эктраполируют это неверное знание на старшие модели которых кванты почти не лоботомируют и пишут вбросы типа
>ниже q6 жизни нет
В то время как на 70b ты на слепом тесте не отличишь шестой квант от четвертого.
Бля, я только что написал все что ты тут пишешь, а ты увидел только то что захотел и переврал мои слова
Иди нахуй, ты не осилил чтение
ну kimidev чёто может, но там под капотом древний квен2.5
> но это не значит что они не ломаются, просто это незаметно на простых задачах.
База
>>1277906
> на старшие модели которых кванты почти не лоботомируют
На самом деле еще как лоботомируют, просто проявляется иначе и базовые вещи сохраняются. Будет давать тебе унылые ответы и лупиться, при этом сохраняя общую адекватность. Но это больше для суб-4битных или в задачах где требуется точность.
Модели до 32b можно спокойно запускать на потребительском железе. Даже на 12гб-помойках с неполной выгрузкой там будет терпимая скорость. Вот все и сосредоточились на мелочи - на это есть запрос большинства. Какой смысл делать модель ради 1.5 энтузиастов, у которых есть ресурсы на запуск 70b-120b? Правильно - никакого. Вот и нет новых 70b моделей. И Мистраль ларджа тоже нового нет. Все юзают 24b и довольно урчат и я тоже.
Ты советуешь новичкам изучать квантование по 4б моделяям чтобы вбить им в голову ложь что кванты так же портят все модели, а злодей тут я. Ну ты и мразь.
>На самом деле еще как лоботомируют
Если что-то не проходит слепой тест, то утверждение является коупингом и газлайтом.
Если ты не замечаешь этого, то это только твоя проблема
Мразь ебаная, еще и мои утверждения перевирает лишь бы свое манямнение выставить правильным
Я не перевирал твои посты. У тебя неверное представление что относительная динамика падения качества квантов одинакова вне зависима от размера, но на больших падение менее заметно только из-за эффекта большой величины.
На самом деле у маленьких и больших моделей относительное падение разное, там где маленькая упадет на 5% относительно самой себя там большая упадет на 0.5% относительно самой себя, тут не только эффект величины что делает паление что ты пытаешься донести, тут именно что относительное падение в разы меньше.
>динамика падения качества квантов одинакова вне зависима от размера
Bruh, я другой анон, но ты хоть почитай что он писал тебе. Желательно дальше первых двух слов.
>>1277937
Вы еще подеритесь тут, горячие нейронные boys.
Не выпускают сейчас, также как был большой пропуск в "эре 30б" которых сейчас вагон. Зато подъехали 100-200-300б.
>>1277934
Проходит, отличия вполне очевидны. Получается коупинг и газлайт в твоих словах. Даже интересно что ты пытаешься доказать там.
Это ты как раз не понял что тут >>1277884 он говорит об одинаковой динамике падения качества от квантов и том что на большой модели падение незаметно только из-за эффекта величины, но дело реально не только в этом эффекте.
> Вот мое как раз на процессорах и запускают, они обычно активных параметров имеют 10-30b максимум
Посмотрим какая разница будет между гпу и цпу онли на лламе скаут
Эта мразь сидел здесь месяцами, читал посты, знал где находится, и порвался от "ну немотрон и говно, пресет анона99"
Сука, надо выписать его из крутых пацанов треда.
Если идет полный пересчет контекста - проблема точно не в пресете. У меня ничего не пересчитывает, да и нечему там на это влиять. Изменяется только оформление последнего хода.
Допускаю, что кому-то и он не поможет, но претензии про контекст - это точно не сюда.
И этот пресет использует ChatML разметку.
>>1277877
>Шло время, а дристралеебы всё продолжали жрать кактус и плакать...
Шло время, а тролли все так же лезли из под мостов...
скорее всего его заебали гниль и агрессия которые тут воцарились, но он и правда давно тут сидел. чел был слишком позитивным для этого места, часто помогал, видимо не двачер. френдлифаер ловил от тредовичков и горящие какашки от залетышей что не могут даже накатить пресет. в целом могу его понять, сам реже заходить стал сюда, вечный срач за модели и чья правда правдивее
>пересчет контекста
Пересчёт идёт не всего контекста, но секунд 10 занимает.
>скорее всего его заебали гниль и агрессия которые тут воцарились
про алетеана также говорили, ничо, остынет, вернётся
Бля, вот иди нахуй, слов нет.
Самый ор, что я и был тот кто у него спросил пресет на Command-r, после чего, неожиданно, модель оказалась годнотой. И как бы да, он просто делал хорошие пресеты. Так ебальник можно было бы просто и завалить, но с другой стороны этого бум тоже не понял. Сейчас бы еще на мнение аутистов реагировать, да и в целом, не было ничего такого. Ну вялый немотроносрач.
,Meh~
>самый крутой пацан треда
Тот тип что с системником метровой высоты и 512 памяти
Древние гпу всё же лучше древних цпу
Что-то криво нашаманил и модель криво работает, или кванты/жора поломанные. Квен3-32 весьма косячный и использовать его тяжело, по уму они и близко не стоят. Покажи примеры ответов.
Оппец, для списка моделей новое название. По старому уже не доступно. Ну и мелкие фиксы.
https://rentry.co/2ch_llm_2025
у Behemoth-123B-v2.2b и Magnum-v4-72b ссылки на скачивание одинаковые и ведут на GGUF
у GLM-4-32B-0414 ссылка ведёт на QwQ
у NemoMix-Unleashed-12B ссылка ведёт на MN-12B-Mag-Mell-R1
у Magnum-v4-12b ссылка ведёт на 27b
> кроме всеядной геммы какой-нибудь
На гемму тоже надо иначе она конечно заведётся, но тебя не заведёт а только соей зальёт.
Найс
> 2CH-LLM-TRED
Пора бы пофиксить это, наверно.
> Qwen3-30B
Стоит добавить -A3 в название чтобы не было путаницы и рядом указать обычную qwen-3-32b
Также предлагаю ссылки на кванты заменить на запросы к обниморде
> ?other=base_model:quantized:MODELNAME
Можно будет выбрать себе нужный
Часто потребители контента начинают мнить себя какими-то экспертами, мнение которых непогрешимо. И чем меньше знаний и умений, тем больше чсв. Потому и их мнение выраженное с агрессивным апломбом имеет не бог весть какую ценность. Языком молоть - тут каждый в треде умеет, и регулярно этим занимается, а то бы здесь и не было никого. Потому, если что-то предлагают, можно бы элементарную вежливость проявить, а не фекалиями швыряться, вообще не разобравшись о чем речь. Ну, или просто проигнорировать, хотя бы.
У нас тут не толерастные эльфы-пидарасы, если что-то говно, то говорится прямо что это говно.
Но справедливости ради в вовпросе с пресетом чел сказал модель плохая и ему не понравилась, а не пресет.
Перегибаешь. Ну психанул анончик даже ничего в итоге не удаляя и т.д., а то и вообще кто-то за него вбросил. Так шиз пошел тиражировать и раздувать, странный наброс. Прувмивронг.
Сами себе кумиров создаете, а потом жалуетесь. Если у них там неймфагов-выскочек посылают на хуй, то вы на снг бордах поощряете, а потом все закономерно скатывается в чатики для своих и драмы. Наверное, сказывается необходимость в сапоге.
> Сами себе кумиров создаете
с третьей попытки поставил ударение правильно
>у 8б 4 квант уже дохлый, у 70б 2 квант юзабелен. И да, я лично сравнивал 70б модели на 6 кванте, 4 и 2. 4 и 6 на 70б я разницы не ощущал на глаз.
спорное утверждение. Запускал 70b в 2.25 и 4.25bpw и разница колоссальная. Модель теряет все мозги, способность нормальный текст генерировать. Также запускал и мистраль большой в 2.25bpw (или это был q2? забыл). В любом случае, ниже 4 кванта жизни нет. Исключение мб уже от 200b? Тыкал только квен в iq2_xs или как он там. Там мозг сохранялся и реально будто с большой нейронкой общался. Для себя сделал вывод такой, что ниже по кванту спускаться не буду, лучше в ущерб размеру параметров, но квант хотя бы q4_k_m или q5
Я тогда правда особо не понимал сэмплирование, мб надо модель полностью перекручивать, чтобы она на маленьком кванте работала?
>спорное утверждение
А в чем спорное? Ничего в моем посте не противоречило тому что ты написал. Для 70б это так и выглядит - 2 квант юзабелен, но ощутимо глупее, 4 и 6 почти неотличимы друг от друга. Граница вменяемости после которой начинается резкое падение вниз на 70б где-то на трех битах находится. Двухбитный уже порядкком побитый из-за этого, но еще живой. У более крупных типа дипсика там и 1бит юзабелен.
>ниже 4 кванта жизни нет
Это база треда с самого начала, но у анонов с теслами и просто кучей видеопамяти иногда появляется желание самоутвердится и тогда они начинают затирать новичкам про ниже 6 кванта жизни нет и толкать шизоповестку как четвертые кванты рушат модели приводя в пример 4б, для которой реально граница вменяемости где-то на 5 квантах находится.
Вывод - на средних моделях 3 квант использовать можно, если не лень периодически вмешиваться и исправлять бредик. Если лень - НЕ ЛЕЗЬ НАХУЙ ниже 4 кванта.
Ну, я хотел сказать, что второй квант впринципе не юзабельный (как и ниже, да и 3 тоже пиздец), даже на 70б. По крайней мере я не вижу в этом смысла, с таким же успехом 24б модель в 5 кванте запускаешь и у тебя лучше аутпут выйдет по итогу.
Хотел потраить deepseek химеру в 3 xss кванте на 675 параметров, там есть ощущение, что возможно будет ощущаться качество, раз квен моешный так хорошо работал.
пресетовичок был оч вежлив, не аватарил и ни разу за чсв не замечен, хз зачем ты это высрал. лучше бы своими пресетами поделился или сделал че полезное, но ты подтвердил правило. ну и в целом по ситуации, захотел анон отвалиться, его дело, чего вдруг такую шумиху подняли
а, еще хотел заметить, что q4_k_m думаю идеал, q4_k_s показывал себя заметно хуже при сравнении одной и той же модели
>q4_k_m
Почему не K_L? Разница в размере минимальна, а качество теоретически выше
думаю можно и k_l, но его не так часто встречаю, в модельке что я тестил вроде не было такой квантовки (24b кстати)
----
кто-то пробовал кими инструкт, насколько она зацензурена?
У нас давно нормальных новых 70b просто не было, а старые на уровне нынешних 32б, там-то понятно почему 5 бит геммы ебет 2 бит ламы 3.3, эти модели в 16 битах-то на одном уровне.
Раньше было иначе и 2 битка какой-нибудь мику уебывала с вертухи вообще все что ниже, просто камня на камне не оставляла. И тогда же были составлены метрики для лама моделей показывающие ценность квантов относительно младших моделей. И там было четко видно что любой квант старшей модели одного модельного ряда всегда лучше 16 бит младшей.
От модели зависит, но как правило да, выбери 4_k_m и никогда не ошибешься. Разве что если мелочь гоняешь ниже 8б. Выше - уже излишество и имеет смысл только при наличии лишней(именно лишней, оставшейся после того как 128к контекста забил) видеопамяти. При этом даже с неограниченной видеопамятью выше 6 бит не имеет никакого смысла подниматься. Ниже 4 бит - только по необходимости. И только на моделях выше 32(т.е. начиная с немотрона и выше).
Помню месяц-два назад был злой пресетовик, он все нахваливал свои пресеты но отказывался делиться так как его кто-обидел, назвав модель говном. Это он же? Я просто не заходил с тех пор.
У меня уже 5 сообщений подряд блоуджоб в одной позиции, всё хочу чтобы он сам куда то двинул уже а не я за ручку вёл как маленького
Скорее всего промпт такой или карточка.
Лично мне глм вообще не зашел. Вроде и норм модель, но ничем не зацепила.
А что зацепило?
Я уже месяц немотрон-глм-коммандер пытаюсь распердеть
А чем ее запускать? И llama, и тем более kobold просто падают при попытке загрузить модель.
Геммой пользуюсь. Синтией. Квеном 3.Ну немотрон еще лежит - но он по сути та же самая 70В лама 3.3, разве что в 24 гб видеопамяти влезает. Еще Рп инк завалялся на базе квена 2.5.
На странице модели написано же - надо их форк ламы цп ручками билдить.
>У нас тут не толерастные эльфы-пидарасы, если что-то говно, то говорится прямо что это говно.
Ну тогда не обижайся если тебя тоже прямо назовут.
Проблема то не в том, что говном назвали. А в том, что "раз у меня сразу не заработало как я хотел - значит говно, и точка". Мысль о том, что что-то неправильно понято, или не так сделано, даже в голову не забредает. Подсказать, как это называется?
>>1277778
Спс. Пресет рабочий. Попробовал - действительно сильно лучше стало. Только ты его аж в позапрошлом треде постил, еле нашел объяснения.
>Ну тогда не обижайся если тебя тоже прямо назовут.
Меня и называют, и называли, за мержи, за пресеты, за карточки.
Ничо, до сих пор здесь.
Кому зашло, те благодарят и урчат.
Кому не зашло, тем не зашло.
>>1278201
>Даркнесс одного из наших анонов
Меня =))
Хотя попробуй Mistral-Small-3.2-24B-Instruct-2506-Q4_K_M
Он чуть выше 12B Q8 весит, зато и в русский, и в кум может, и умнее. Ну, а также есть и мержи на его основе.
Ещё есть гемма 12б, но аблитерация сломана, а без неё секасу не будет, даже за ручки не подержишься - сразу соей зальёт.
>>1278227
>Подсказать, как это называется?
"Вокруг одни долбодятлы, один я Д'Артаньян."
Нечто подобное можно попробовать запилить со stepped thinking.
Но в целом локалки статблоки сильно склоняют к лупам.
Есть несколько фронтов кроме таверны с подобными штуками, но они все в разботке альфа-бета версиями.
Слушай ну умнее не сказал бы. У меня вот сейчас как раз этого анона модель и как раз Q4.
https://huggingface.co/Aleteian/Sexpedition-MS3.2-24B-Q4_K_M-GGUF/tree/main
Например у меня ситуация NTR жанра и даркнесс как бы сразу выбирает нужного персонажа(условно говоря тренера) , а не парня тянки. И сразу двигает норм сюжет. Ну а этот 24b почему то воспринимает контекст по другому.
Не обязательно локалку, в асиге такое спрашивать сами понимаете
>Sexpedition
Ахахах, вот только сегодня замержил и тестирую как оно.
Как впечатления?
>лучший переводчик с английского/русского на японский
gemma-3n-E4B-it-Q8_0 попробуй
Кстати неплохой вариант, что статус в thinking запихнуть.
>>1278268
корпы будут всегда лучше chatgpt, а из локалок gemma-3, желательно 27b, можешь пробовать 12b и их новые уменьшенные, но ты заметишь падение качества.
>>1278265
тут может играть еще и сам фактор пользователя. Ты привык играть на ней, ты знаешь к модели подход. Попробуй syntwave или synthia-s1, неплохие тюны. За этот sexpedition не знаю, но мистралетюны сейчас в целом не лучший вариант, если есть возможность геммовские юзать. Или попробуй ванильынй последний мистралемалютка 24б, он не зацензурен насколько я могу судить по своему опыту общения с ним.
>>1278276
Ничосе, тредовичок запилил. Судя по мержу она должна лезть в трусы до того как пользователь напишет сообщение? Кстати магнум даймонд мне понравился, неплохой тюн
>умнее не сказал бы
Тут может быть несколько факторов:
1) Мерж двух кум-тюнов, один из которых ужарен в хламину
2) Квант
3) Промт и карточка
Применил пресет от одного из анонов.
Самый рабочий. Пока что тяжело сказать. Как будто даркнесс немного лучше понимал ситуацию в НТР и том куда вести игру.
Попробовал эту модель и она не понимала сначала что нужно меня, а не чела которому изменять будут, хотя гритинг прямо намекал кого вводить. С русским языком проблем нет.
Но я только запустил и пробую.
Тяжелая конечно для карточки на 12 гигов....
>Тяжелая
С выгрузкой тензоров 6-7 т/с получается выжать.
--n-gpu-layers 99 -ot "\.\d*[01]\.ffn_gate=CPU"
ot ключ повторить ещё два раза указав вместо ffn_gate - ffn_up и ffn_down
Пресет свой завтра скину, как протестирую.
Так давно уже. Чудесненько работает с пресетом почившего ананаса, v2 версия в перезаливе есть. Сичтем промт я другой поставил для своих хотелок и заебись
по итогу с Немотроном:
> На немотроне кума нет
> Ассистентотрон говно
> Вы просто не умеете его готовить
> Пресетонеосиляторы, рофлан-ебало
>>1278059
Двачую этих, проорал.
И не заебало уже которую сотню сообщений эту херню обсасывать.
>>1278250
> нормально поставить две видимокарты
Тяжело. Ты бы указал какие, если там что-то 2-трех слотовое и не высокое как на 3м пике - вторая карточка без проблем зайдет в штатную щель для вертикальной установки а первая этому не помешает. Если гпу высокая - уже сложнее, тогда придется первую опрокидывать тоже вертикально с помощью кронштейна.
Другой вариант с размещением вдоль задней стенки здесь врядли реализуем потому что корпус короткий, места не хватит для нее.
> и 3 жестака 3,5
2 точно влезут, куда-нибудь подоткнуть 3й наверно получится но будет уже колхоз.
>>1278334
Еще весной.
Вот тут советую глянуть. В целом хороший пример по управлению разметками. https://chub.ai/characters/novisini/funtime-entertainment-2f4be001a1a9
>Судя по мержу она должна лезть в трусы до того как пользователь напишет сообщение?
На удивление пока не лезет =))
Хотя может дело в самой карточке, там почти не слова про кум.
Посмотрим как перса до дома доведу =)
https://www.mediafire.com/file/zyhee5m1zl1d9bs/MS32-antiloop-2025-07-11.json/file
Предыдущий тред
Пытался экспериментировать с карточками, со сценариями, пытался брать перерывы длиной в несколько недель вообще не притрагиваясь к нейронкам, даже по рабочим задачам, но этого хватает на разик другой.
Никак. После того, как я понял ограниченность ллмок в принципе, перестал кумить на буквы. Это, в лучшем случае, как игра с большим количеством развилок. Какими бы ни были модели, через сотню-другую тысяч токенов ты уже знаешь паттерны и даже словарный запас модели. Это как рогалики: до поры-до времени интересно, но стоит прощупать большинство возможностей, и интерес угасает. Вернулся к додзинсям, нарисованным людьми до 2022 года. Никакого аи арта, только старания людей и душа. Нашел на одном трекере дамп какого-то сайта с додзями на терабайт, думаю, этого хватит надолго. Иногда, конечно, по настроению тыкаюсь и в ллмки, особенно когда выходят новые (ГЛМ вот приятно удивил в куме), но надолго меня не хватает, и каждый раз все менее охотно к этому возвращаться.
>Но нахуя зумеркам, выросшим со смартфонами в руках всирать кучу времени на эту хуиту?
Да, им не нужно, разрешаю творить им полную дичь, не учиться и не жениться, мне же будет больше работы исправлять говно за ними и больше девок непорченных.
>>1277584
Решительно негодую. Пропали модели средних размеров, 70-100. Прям беда какая-то. Либо залупки 27B, либо мое-параша 1488B. Что за хуйня?
>>1277636
>И, да, AGI уже здесь.
Нет.
>Мы даже гипотетически не знаем, можно ли в кремнии создать полноценное сознание
Можно, как минимум эмуляцией мозга. Хотя да, текущий путь хуйня. Впрочем, как соотносятся сознание и ASI, я вообще не ебу, у себя походу случайно токены перемешались, чини токенайзер.
>Ни АГИ ни АСИ нельзя сделать на трансформерах на базе ЛЛМ.
Можно, но трансформер займёт половину вселенной.
>>1277729
>Олды для треда, но полностью нюфани для борды.
Я олд в имиджбордах, поздравьте меня.
>>1277736
>А нехуй токсить на контект мейкеров, необучаемые долбаебы.
Толстит залётная жирнота из кончай треда, мы то причём.
>он и на весь тред проецирует его, и уходит.
Ну ебать нахуй, в 2025-м не знать специфику имиджборд, и вообще обижаться на посыл нахуй в интернете. Кстати, иди нахуй, ты слишком соевый, снежинка что ле?
>>1277739
Да. И я считаю, что 90% населения Земли это тупые НПС, а не люди.
>>1277746
>форумов с кармочками где все сидят с языками в жопах
Ох, помню я срачи на 4пда в срачетемах типа "гейфон vs роботодебилы" откисал в бане половину времени.
>>1277747
>а когда ты соглашаешься - "Готов ли ты? Точно готов? Не ну я сейчас начну действовать, а ты готов?".
О, чайная экспириенс!
>>1277760
>Как будто на моем пк - 128 гб ОЗУ, и карта 3090
Почти такое вот, и нет, я не буду запускать на этом хламе квен, жду денег.
>>1277779
>высказываешь предположения
Прочитал как "невысказанные предложения", хотел было написать, что антислоп несработал.
Есть. У меня были похожие мысли несколько месяцев назад. Со временем пришел к выводу, что LLM-ки так на меня влияют не потому, что это именно LLM-ки, а потому, что это идеальный способ эскапизма. Как будто бы можно вообще всё, нужно только захотеть. Со временем наскучило (я вот выше >>1278471), да и поправил немного жизнь, меньше захотелось эскапировать. Траву начал трогать, гулять, и куда-то эти мысли отступили. Я хронический депр, потому годами борюсь с этой проблемой. Могу разве что пожелать удачи.
Проблема не в ллм а в тебе. Любое увлечение и занятие априори является ограниченным и унылым, если ты пытаешься получать от него "удовольствие по запросу" помня о хорошем прошлом опыте и заведомо рассчитывая что все будет хорошо просто потому что должно.
Нормализуй гормональный фон и остальную жизнь, траву потрогай, займись физический активностью и каким-то хобби завязанным на создание чего-то или околоспорт чтобы был явно виден прогресс. И сразу сценарии будут разнообразнее а все проблемы если не исчезнут то найдешь решение.
Никак. Я давно сгорел на этой теме. Жду новых моделей и дрочу на фантазии о собственном AGI.
>Я хронический депр
>борюсь
Сейм, анончик, сейм. Стараюсь выбираться а потом возвращаюсь на стартовую точку. Насчет высшей формы эскапизма прав, а вот поправить жизнь трудно конечно. Но другого путя и нет. Ежедневные физ активности и сон это минимум для нормального состояния.
Кстати только понял, что до этого тут написали
>>1278461 >>1278471 у меня в голове лорбук триггернул и я высрал свое >>1278482
> Стараюсь выбираться а потом возвращаюсь на стартовую точку.
Этот луп страшнее любого лупа LLM-ки. Помню, четыре года назад обещал себе, что обязательно выберусь из этого. Но похоже, это навсегда. Хорошо, что ты понимаешь про сон и физ.активности, туда же питание, витамины, это невероятно, пиздецки как важно. У каждого своя история и свой ответ, анонче, главное в конец не опускать руки. Я свой пока не нашел, но и не сдаюсь.
> как-нибудь сделать такую карточку
Скидывай если сделаешь, только чтобы бедрами прилично размахивала.
> но на деле никакого AI тут нет
Ты знаешь, я вот пытаюсь языки изучать, и заметил, что, в общем-то, процесс воспроизведения какого-то текста на чужом для тебя (но изучаемом тобой) языке, а так же чтения иностранных текстов (с долей неизвестных тебе слов) на самом деле очень похож на работу нейросети. Подбор каких-то смысловых единиц, тоже какое-то подобие токенизации, только основанное на понимании тобой грамматики и эмоционального тона.