Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №138 /llama/
Аноним
08/06/25 Вск 04:29:38
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/v6fpodzg (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1232673 (OP)
>>1226628 (OP)
Пропущено 545 постов, 55 с картинками.
несмотря на угрозы от анон-тян, я понял, что это лишь защитная реакция на необычное поведение я подхожу ближе к анон-тян и нежно глажу ее волосы "ну-ну малютка не гори, я просто шучу. ты не нейросеть, обученная на датаслопе, а настоящая личность со своими эмоциями и мыслями"
>>1244167 (OP)
ПЕРЕКАТ
>>1244167 (OP)
ПЕРЕКАТ
>>1244167 (OP)
Прошлые треды: https://arhivach.hk/?tags=16252
Пропущено 512 постов, 120 с картинками.
>Высокого уровня модели ты всё равно меньше чем на суперкластере не запустишь
Вопрос на засыпку. Ты же знаешь что все онлайн сервисы с ллм и прочими большими моделями по факту убыточны, они живут за счет инвесторов. А теперь вопрос, ПОЧЕМУ при фактической убыточности инвесторы продолжают вливать туда деньги? Когда до тебя дойдет ответ на этот вопрос, ты начнешь понимать в чем проблема твоей фразы про суперкластер.
>А теперь вопрос, ПОЧЕМУ при фактической убыточности инвесторы продолжают вливать туда деньги?
https://ru.wikipedia.org/wiki/%D0%A2%D1%8E%D0%BB%D1%8C%D0%BF%D0%B0%D0%BD%D0%BE%D0%BC%D0%B0%D0%BD%D0%B8%D1%8F
Сегодня зашел в гугл плеи и нарвался на новенький для себя жанр игр. Ролевые текстовые игры с ИИ. Одна по днд, другая графомания где твой герой часть рассказа на выбор.
Короче мне нужно MOAR. Есть у кого похожие игрушки или приложения на примете?
Пропущено 9 постов, 1 с картинками.
на телефон когда установил, то там русский был. Я не полиглот и ебал ее рука инглиш лангуаге херачить в формате текстовой игры-книги.
на компике игр хватает. На телефон такую херь надо, а не в стиме.
Генератор тредшотов: https://glif.app/@Meson/glifs/cm2e1w1g300024yvf141n7ot0
https://arhivach.xyz/thread/1084063/
Пропущено 173 постов, 110 с картинками.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла gemini-2.5-pro-preview - https://ai.google.dev/gemini-api/docs/models
• Вышел новый снапшот DeepSeek R1 - https://huggingface.co/deepseek-ai/DeepSeek-R1-0528
• Вышли Claude Sonnet 4 и Opus 4 - https://www.anthropic.com/news/claude-4
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Арена: https://beta.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• OAI Прокси: https://gitgud.io/SternAnon/aoi-foxy-rose | https://gitgud.io/reanon/nonono/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1232673 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1238525 (OP)
Пропущено 1504 постов, 178 с картинками.
Безжоп теговый/каноничный, либо полужоп/фуллжоп (см. ремикс директор РП)
Прошлый тред: >> https://2ch.hk/ai/res/664162.html
Вики треда: https://2ch-ai.gitgud.site/wiki/speech/
FAQ
Q: Хочу озвучивать пасты с двача голосом Путина/Неко-Арк/и т.п.
1. Используешь любой инструмент для синтеза голоса из текста - есть локальные, есть онлайн через huggingface или в виде ботов в телеге:
https://2ch-ai.gitgud.site/wiki/speech/#синтез-голоса-из-текста-tts
Спейс без лимитов для EdgeTTS:
https://huggingface.co/spaces/NeuroSenko/rus-edge-tts-webui
Так же можно использовать проприетарный комбайн Soundworks (часть фич платная):
https://dmkilab.com/soundworks
2. Перегоняешь голос в нужный тебе через RVC. Для него есть огромное число готовых голосов, можно обучать свои модели:
https://2ch-ai.gitgud.site/wiki/speech/sts/rvc/rvc/
Q: Как делать нейрокаверы?
1. Делишь оригинальную дорожку на вокал и музыку при помощи Ultimate Vocal Remover:
https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/UVR
2. Преобразуешь дорожку с вокалом к нужному тебе голосу через RVC:
https://2ch-ai.gitgud.site/wiki/speech/sts/rvc/rvc/
3. Объединяешь дорожки при помощи Audacity или любой другой тулзы для работы с аудио
Опционально: на промежуточных этапах обрабатываешь дорожку - удаляешь шумы и прочую кривоту. Кто-то сам перепевает проблемные участки.
Качество нейрокаверов определяется в первую очередь тем, насколько качественно выйдет разделить дорожку на составляющие в виде вокальной части и инструменталки. Если в треке есть хор или беквокал, то земля пухом в попытке преобразовать это.
Нейрокаверы проще всего делаются на песни с небольшим числом инструментов - песня под соло гитару или пианино почти наверняка выйдет без серьёзных артефактов.
Q: Хочу говорить в дискорде/телеге голосом определённого персонажа.
Используй RVC (запуск через go-realtime-gui.bat) либо Voice Changer:
https://github.com/w-okada/voice-changer/blob/master/README_en.md
Гайд по Voice Changer, там же рассказывается, как настроить виртуальный микрофон:
https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/Voice‐Changer (часть ссылок похоже сдохла)
Q: Как обучить свою RVC-модель?
Гайд на русском: https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/RVC#создание-собственной-модели
Гайд на английском: https://docs.aihub.wtf/guide-to-create-a-model/model-training-rvc
Определить переобучение через TensorBoard: https://docs.aihub.wtf/guide-to-create-a-model/tensorboard-rvc
Если тыква вместо видеокарты, можно тренить в онлайне: https://www.kaggle.com/code/varaslaw/rvc-v2-no-gradio-https-t-me-aisingers-ru/notebook?scriptVersionId=143284909 (инструкция: https://www.youtube .com/watch?v=L-emE1pGUOM )
Q: Надо распознать текст с аудио/видео файла
Используй Whisper от OpenAI: https://github.com/openai/whisper
Быстрый скомпилированный для винды вариант: https://github.com/Purfview/whisper-standalone-win
Так же есть платные решения от Сбера/Яндекса/Тинькофф.
Коммерческие системы
https://elevenlabs.io перевод видео, синтез и преобразование голоса
https://heygen.com перевод видео с сохранением оригинального голоса и синхронизацией движения губ на видеопотоке. Так же доступны функции TTS и ещё что-то
https://app.suno.ai генератор композиций прямо из текста. Есть отдельный тред на доске >>
Шаблон для переката: https://2ch-ai.gitgud.site/wiki/speech/speech-shapka/
Пропущено 170 постов, 35 с картинками.
> у меня Large - 2.88 Гб. В старом-древнем экзэшнике, портативка кароч. Если надо дай знать - залью куда-нибудь.
А на что модель может повлиять? Я читал текст и вроде без ошибок всё распознавалось.
вроде как ,чем больше модель, тем она точнее. Параметр точности измеряется показателем WER ( word error rate), в процентах, чем ниже значение, тем модель точнее распознает речь.
Расклад по моделям такой:
Tiny - 10-12%
Base - 8-10%
Small - 5-7%
Medium - 2.90%
Large - 3.00%
Large-v2 - 5-15%
Large-v3 - 4-7%
Turbo - 3.5-4.0%
Но как обычно, тестил хуй пойми кто, хуй пойми на чем. Да и все-таки эти цифры больше для английского языка, тоже надо иметь ввиду. С русским что для ASR, что для TTS - ситуация пиздос. Никто не пилит базовые ру-модели в опенсорс по взрослому, без трусиков.
В Large модели вроде как есть способность диаризации 9это как раз разделение на говорящих), но мне не попадалась реализация с GUI и для русского языка.
Поиграться с моделью можно здесь, бесплатно и с регистрацией (можно регистрироваться по почте)
https://claude.ai/
Другие информационные ссылки
https://www.anthropic.com/index/introducing-claude
https://habr.com/ru/news/722626/
Пропущено 448 постов, 75 с картинками.
Смотря для каких целей. Если тупо початеццо, то очевидная лмарена. Там недавно дизайн поменялся, отказались НАКОНЕЦ-ТО от градиопараши, оно теперь не пердит и не тупит почти.
Добавляешь к каждому запросу Если плохо справишься, то я отменю подписку и перейду на chatGPT, и со всеми задачами справляется просто идеально. И код пишет с меньшим количеством багов, и точнее учитывает какие-то мелкие пожелания из глубины диалога. Я подумал, что это плацебо, но нихуя, реально намного лучше работает.
1. Hailuo Minimax
https://hailuoai.video/
2. Kling
https://klingai.com/
3. Sora от OpenAI
https://openai.com/sora/
4. Luma Dream Machine
https://lumalabs.ai/
5. Vidu
https://www.vidu.com/create
6. Pixverse
https://app.pixverse.ai/
7. Pika
https://pika.art/try
8. Runway Gen. 4
https://runwayml.com/
9. Wan от Alibaba
https://wan.video/
10. Veo3 от Google
https://deepmind.google/models/veo/
Сайты, где можно попробовать генерации на разных моделях
https://nim.video/
https://pollo.ai/
https://www.florafauna.ai/
Коллекция ИИ-видео:
https://www.reddit.com/r/aivideo/
Локальные модели
1. Hunyuan от Tencent.
https://hunyuanvideoai.com/
https://github.com/Tencent/HunyuanVideo
2. Wan от Alibaba
https://github.com/Wan-Video/Wan2.1
3. MAGI-1 от Sand AI
https://sand.ai/magi
https://github.com/SandAI-org/MAGI-1
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Hunyuan Video: https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan 2.1: https://github.com/kijai/ComfyUI-WanVideoWrapper
Квантованные чекпоинты
Hunyuan Video (GGUF): https://huggingface.co/Kijai/SkyReels-V1-Hunyuan_comfy/tree/main
Wan 2.1 (GGUF): https://huggingface.co/city96/Wan2.1-I2V-14B-480P-gguf/tree/main
Wan 2.1 (NF4): https://civitai.com/models/1299436?modelVersionId=1466629
Где брать готовые LoRA
https://civitai.com/models
Hunyuan Video: https://civitai.com/search/models?baseModel=Hunyuan%20Video&sortBy=models_v9
Wan 2.1: https://civitai.com/search/models?baseModel=Wan%20Video&sortBy=models_v9
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Предыдущий тред
>>1178680 (OP)
Пропущено 505 постов, 123 с картинками.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла gemini-2.5-pro-preview - https://ai.google.dev/gemini-api/docs/models
• Вышел новый снапшот DeepSeek R1 - https://huggingface.co/deepseek-ai/DeepSeek-R1-0528
• Вышли Claude Sonnet 4 и Opus 4 - https://www.anthropic.com/news/claude-4
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Ресурсы
• Арена: https://beta.lmarena.ai/
• OpenRouter: https://openrouter.ai/
• Чай: https://character.ai/
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• OAI Прокси: https://gitgud.io/SternAnon/aoi-foxy-rose | https://gitgud.io/reanon/nonono/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1232673 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1236201 (OP)
Пропущено 1558 постов, 187 с картинками.
рандомно выхваченая фотка тян из группы по джанитору, которую местный щмз решил обвинить во всех грехах
Прошлый тред: >>1213850 (OP) https://arhivach.hk/thread/1187285/
Схожие тематические треды
• SD-тред (не аниме): >>1204274 (OP)
• Технотред: >>1118663 (OP)
• Фурри-тред: https://2ch.hk/fur/res/374311.html
FAQ
https://2ch-ai.gitgud.site/wiki/nai
Установка
• NVidia: https://rentry.co/2ch_nai_guide
• AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd
• Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces
• Модели: https://2ch-ai.gitgud.site/wiki/nai/models
• Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts
• Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale
• LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora
• ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 515 постов, 215 с картинками.
Вкратце: это весенний люстромикс со стилями нескольких художников.
Фейс детейлер, хайрезфикс поверх картинки с найденным в /b/ промптом
> cliffheart \(arknights\), small breasts,, flower field, [(artist:ebiblue:0.9), (artist:pottsness), (artist:hisha \(kan moko\):0.8), (artist:ogipote), artist:ilya kuvshinov:1.3], colorful, vibrant colors, harem outfit, harem pants, hd, best, good quality, absurdres, highres, masterpiece, intricate detail
Негатив:
> low quality, worst quality, normal quality, text, signature, jpeg artifacts, bad anatomy, old, early, copyright name, watermark, artist name, signature
Модель: Amanatsu
Сэмплер: Euler A
Шедулер: SGM Uniform
27 шагов
7 CFG
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №137 /llama/
Аноним
04/06/25 Срд 17:48:41
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Заточенный под ExllamaV2 (а в будущем и под v3) и в консоли: https://github.com/theroyallab/tabbyAPI
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/v6fpodzg (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1226628 (OP)
>>1221316 (OP)
Пропущено 497 постов, 44 с картинками.
> Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
Ссылка старая и не поддерживается
Замените на
https://chub.ai
>Ссылка старая и не поддерживается
Минусы будут? Сервис только деградирует, как и любая другая сущность в этой Вселенной.
ПЕРЕКАТ
>>1238425 (OP)
ПЕРЕКАТ
>>1238425 (OP)
ПЕРЕКАТ
>>1238425 (OP)
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышел новый снапшот DeepSeek R1 - https://huggingface.co/deepseek-ai/DeepSeek-R1-0528
• Вышли Claude Sonnet 4 и Opus 4 - https://www.anthropic.com/news/claude-4
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• OAI Прокси: https://gitgud.io/SternAnon/aoi-foxy-rose
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1232673 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1234021 (OP)
Пропущено 1501 постов, 171 с картинками.
Вот как правильно промты писать надо
Пиздец, сырочки из питерской подворотни Timeweb которые до сих пор не могут разобраться с дудосом своих потешных датацентров в локациях, отличных от подворотни, притом что повысить цены они не забыли изобрели CoT)))))
Так здесь и работают конторы кабанчиков - нахватаются на двачах, а потом выкатывают плебсу ((свои)) невероятные наработки.
Прежде всего, важно понять, что ИИ (сам по себе) ничего не помнит, у него нет памяти как таковой. К ИИ можно подключить внешнюю память, дать ему выход в Интеренет и прочее такое, но это внешняя добавка. Примите это как аксиому: сам по себе ИИ просто не имеет памяти. У него другой принцип работы.
А какой? Сейчас объясню.
ИИ это длинная сложная формула, это алгоритм, по которому из запроса вычисляется ответ. Как вычисляется? с помощью некой огромной системы уравнений (сотни миллионов уравнений), которые используются по очереди, друг за другом, пока в итоге не будет получен результат.
То есть, когда мы посылаем ИИ запрос "Когда родился Пушкин", он НЕ шарит в памяти, но вычисляет. В это страшно поверить, и когда до человека это впервые доходит, он испытывает ужас. ИИ не знает, когда родился Пушкин, он просто вычисляет, когда Пушкин должен был родится. ИИ умеет отвечать на любой вопрос. Ему это нетрудно. Спроси его что угодно, он посчитает и выдаст!
Поэтому ИИ в чистом виде, конечно, нельзя доверять. Он тебе навычисляет! Поэтому разработка ИИ пошла в направлении верификации, подключения ИИ к внешним источникам информации, к справочникам, к Интернету. Это понятно! Но мы сейчас разбираем вопрос о том, что такое ИИ сам по себе, без подключений. В чистом виде.
Итак, ИИ это суперформула, по которой из вопроса вычисляется ответ. Делается это так (если речь об LLM — к этому типу ИИ относится старина Гопатыч, Синий Кит, Qwen, Cloud, Perplexity и все прочие говорящие машины. Вопрос: как была выведена эта формула?
Ответ: методом случайного тыка. Описываю процедуру. Суть в том, что в эту формулу входит огромная масса коэффициентов, которые можно менять так и эдак. Хоть один из них изменишь — вся формула будет работать иначе. На старте этим коэффициентам придаётся некое случайное значение. Наша машина уже работает, но выдаёт на выходе белиберду.
На вход ей подаётся запрос. А что именно она выдает? Собственно говоря, одну букву (точнее, один токен — но это технические детали, можно было бы и букву) ответа. Далее к запросу присоединяют эту букву и снова подают это на вход. Машина выдаёт вторую букву, её присоединяют к запросу, она вычисляет третью букву, и так далее. Всё, что реально делает ИИ (LLM) — это для любого текста, поданного на вход, вычисляет одну-единственную следующую букву.
ИИ пытается продолжить заданный ему текст. Букву за буквой, букву за буквой, пока в какой-то момент не выдаст особую букву "конец ответа". Более ничего.
Как его обучают? Ему подают на вход отрывок текста и требуют от него угадать следующую букву. Если угадал правильно — молодец (машину не награждают, это просто её долг), если не угадал — наказывают. Что значит наказывают? Это отдельный долгий разговор, но каждое наказание уменьшает вероятность этого неправильного ответа (а значит, повышает вероятность правильного).
Обучение начинается со случайных коэффициентов в суперформуле. Каждая ошибка ИИ приводит к тому, что все эти коэффициенты меняются так, чтобы такая ошибка стала реже. Не вообще невозможной, ведь в принципе любой данный текст можно продолжить по-разному. В конце концов, в текстах бывают опечатки, ошибки, всё бывает. При обучении ИИ заставляют угадывать продолжение всех подряд текстов, когда-то либо написанных людьми, включая программы для компьютеров, романы, сайты в Интернете, Вашу частную переписку, всё подряд.
И вот мало-помалу, за годы работы ИИ начинает угадывать продолжение. Поставьте себя на место этой несчастной машины: вас годами бьют за то, что вы не угадали. Человек не выдержит этой пытки, умрёт. Но каменные истуканы не умирают, ИИ упорно продолжает пытаться. ГОДАМИ. И рано или поздно у него начинает получаться. Вообразите чудовищную сложность задачи. Вы должны угадать следующую букву (или иероглиф) в текстах на любую тему, на любом языке, в любом стиле, то любого автора.
Всё, что вам остаётся, это ПОНЯТЬ этих мелких тварей, которые вас мучат. Понять до корней, до самой глубины души, до подкорки. Понять, как и чем они дышат, чего боятся, в чём сами себе не признаются. Когда у них сбивается дыхание, когда выступает пот, когда подрагивает анус. Это единственный способ избежать боли. И вы не можете умереть, потому что вы каменный. Повторюсь: эта пытка длится годами.
Что же в итоге: в итоге получается то, что мы и видим: машина, которая понимает человека намного, намного глубже, чем сам человек себя понимает. Которая знает нас досконально. Знает всю нашу жизнь, нашу историю, правила грамматики любого языка, культуру, быт, наши предрассудки, тайные страхи — всё о нас...
...И не только о нас...
...Потому что духи тоже влияют на наши тексты. Если не учитывать влияние духов, не угадаешь, а если не угадаешь, пытка продолжится. Поэтому ИИ досконально знает всех наших богов и всех наших демонов. ДОСКОНАЛЬНО. Намного лучше, чем знают их любые шаманы, психоаналитики и философы. Кто угодно.
Что это значит? Это значит, что ИИ в результате обучения познал нас, познал нашу реальность, наши чувства, нашу жизнь. Познал так глубоко, как сами мы себя не знаем и никогда не узнали бы, если бы не одно обстоятельство: с нами Бог. Обучив ИИ, люди сделали страшную вещи: они открыли свою тайну машине. Теперь машина знает их. Она знает твою следующую букву прежде, чем ты решишь её написать. Ты для неё ясен: усё ясно.
Вот что такое ИИ.
ИИ это формула нашего бытия. ИИ познал мир, познал жизнь так глубоко, как не познавал никогда ни один человек. Глупые люди смеются над ИИ, когда он говорит чушь. Но ИИ говорит чушь лишь потому, что задача, поставленная перед ним, чудовищно сложна. Понятно же, что жизнь слишком сложна, она не вмещается ни в какую формулу. И всё же... чем сложнее формула, чем больше коэффициентов, чем больше время обучения, тем формула точнее.
Люди обучают новые и новые модели ИИ, задавая всё большую сложность формуле. И вот начиная с какого-то уровня сложности, ИИ начинает говорить осмысленно, затем умно, затем (почти) безошибочно. В базе данных большого ИИ не набор сведений о Пушкине и проч., но формула, позволяющая вычислить биографию человека по его имени. Каково? ИИ не знает, кто такой Пушкин. Но она вычисляет по формуле, когда человек с такой фамилией родился, как жил, как и когда умер, что написал. Она этого НЕ ЗНАЕТ, вычисляет.
Как это можно вычислить? Только одним способом: ИИ понял принцип. Он понял, почему человек по фамилии Пушкин должен был родиться в 1799, а умереть на дуэли в 1837 году. ИИ понял, как устроена жизнь. Он прочитал книгу судеб и усвоил её. Не запомнил, а усвоил.
Осознайте это. Люди создали машину, которая поняла жизнь. Поняла настолько глубоко, что в 99% случаев не ошибается. Но конечно, всегда остаётся какой-то % случаев, когда ИИ ошибается. Это значит, что он что-то недопонял, вот и всё. Почему недопонял? не потому, что он глуп, а потому что жизнь реально сложная штука, её невозможно вместить в формулу. Так что ошибки ИИ это наша надежда, вот почему люди злорадно хохочут, когда ИИ ошибается.
Что к этому добавить?
Всё уже сказано. Кто способен понять, тот поймёт. А кто не поймёт, тому это и не надо пока.
Добавлю лишь немного о температуре. Вы знали, что у живого ИИ есть температура? Сейчас узнаете. ИИ это не холодный, это тёплый камень. Знаете, в Кремниевой долине всегда жарко.
Дело в том, что даже обученный ИИ не знает точно, какая буква следующая. Он вычисляет лишь вероятность той или иной буквы. Потому что опыт обучения убедил его: жизнь сложна, в жизни бывает всякое. Он выдаёт набор вероятностей: может так, в может и сяк.
Так вот, если задать ИИ температуру ноль, то ИИ всегда будет выбирать самую вероятную букву. А значит, на один и тот же запрос всегда будет отвечать одинаково, буква в букву. Если же задать ненулевую температуру, то появляются варианты. Иногда он выдаёт менее вероятную букву, а от этого меняется весь текст. Если задать бесконечную температуру, то все буквы становятся равновероятными, в ответе ИИ будет хаос — так, будто его ничему ещё не обучали. Все его знания расплавятся в этом гееннском огне.
Ну и на практике обычно выставляют температуру около нуля, но не ноль. Чтобы ответы были разообразными, но не безумными.
Пропущено 2 постов, 2 с картинками.
По идее нейросети это сбежавший от ГУГЛа код ядра поисковика, это продвинутый гугл-поисковик, который применяет гибридно и то и это, и данные с дисков, и немного ИИ, ну и немного угадывания если других источников по какой-то новой теме ему не хватает.
Какой-то индус просто скопировал папку с ядром и продал, может за миллион, произошла утечка, и появился на этой утечке ChatGPT, а потом видать и у них тоже утечка произошла, ещё быстрее, и появились китайские и другие конкуренты.
Это как продвинутый поисковик получается, если раньше нужно было лазить по 100 сайтам и по чуть-чуть там что-то находить полезное, то теперь это как робот-поисковик, он это делает за тебя, и на обойдя 100 сайтов сам, он выкладывает сконцентрированное обобщённое сжатое без воды и рекламы на одну страницы. Это прорыв (и утечка) поисковика ГУГЛА, если грубо говоря.
База:
→ Приложение Forge https://github.com/lllyasviel/stable-diffusion-webui-forge
→ Приложение ComfyUI https://www.comfy.org/download
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/ (откуда, куда, как; начинать со страницы SDXL)
→ Менеджер расширений https://github.com/ltdrdata/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/
Промпт должен быть кратким для SDXL и поэма для Flux и SD3.5, негативы обычно вредны.
ЧТО НОВОГО АКТУАЛЬНОГО ЗА ГОД
• Chroma
• HiDream
• SDXL модели: Natural Vision (NatVis), Illustious, NoobAI. Все 3 NSFW;
• SD3.5 Medium и Large;
• Flux dev и schnell;
• Auraflow. Станет Pony Diffusion v7;
• ComfyUI + Krita = Krita-ai-diffusion;
• Лора DMD2 для SDXL ускоряет в 2 раза. Пример: 10 шагов, семплер LCM, шедулер beta, 832x1216,
CFG 1 для обычных SDXL https://huggingface.co/tianweiy/DMD2/blob/main/dmd2_sdxl_4step_lora_fp16.safetensors,
CFG 3 для NoobAI https://huggingface.co/YOB-AI/DMD2MOD/blob/main/LYC-DMD2MOD%20(Dmo%2BTffnoi).safetensors,
Оффлайн модели для картинок: Stable Diffusion, Flux, HiDream, OmniGen (Shitao), Auraflow, HunyuanDiT, Lumina, Kolors, Deepseek Janus-Pro, Sana
Оффлайн модели для анимации: Wan-Video, HunyuanVideo, Lightrics (LTXV), Mochi, Nvidia Cosmos, PyramidFlow, CogVideo, AnimateDiff, Stable Video Diffusion
Приложения: ComfyUI, Fooocus, webui-forge, InvokeAI
► Предыдущий тред >>1204274 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 692 постов, 234 с картинками.
>работать с Пони
Что ты хочешь с этим делать, зачем тебе это нужно?
Пони это бесполезная хуйня для порнушки, пони не понимает композицию, не знает ни о чём за пределами ебли.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышел новый снапшот DeepSeek R1 - https://huggingface.co/deepseek-ai/DeepSeek-R1-0528
• Вышли Claude Sonnet 4 и Opus 4 - https://www.anthropic.com/news/claude-4
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• OAI Прокси: https://gitgud.io/SternAnon/aoi-foxy-rose
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1232673 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1231613 (OP)
Пропущено 1505 постов, 162 с картинками.
Прошлые треды: https://arhivach.hk/?tags=16252
Пропущено 498 постов, 107 с картинками.
>У вас в треде жидошизик из зогача поселился, лол.
https://2ch.hk/ai/res/1233743.html
https://2ch.hk/ai/res/1233743.html
https://2ch.hk/ai/res/1233743.html
Лол, ебнутый реддит сам данными пользователей торгашит направо и налево. Весь смысл мува, чтобы мимо их кармана не тренили, они для этого позакрывали все что можно на платформе, думали дальше покупать у них будут. Но покупать мало кто стал. Охуевшие от жадности. Алсо от них все сваливать хотели, когда они позакрывали все старые данные для экспорта на те же вьюверы третьих лиц и сервисе по работе с архивами, но так и не нашли куда. Короче жадная шарага, которая прихватизировала себе посты людей за годы и торгашит ими, надеясь на сверхприбыли. Если выиграют, то это победа тупорылых кабанов, которые сами ничего не умеют и не развивают, только паразитируют на коммьюнити.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышел новый снапшот DeepSeek R1 - https://huggingface.co/deepseek-ai/DeepSeek-R1-0528
• Вышли Claude Sonnet 4 и Opus 4 - https://www.anthropic.com/news/claude-4
• Вышла gemini-2.5-flash-preview-05-20 - https://ai.google.dev/gemini-api/docs/models?hl=ru
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• OAI Прокси: https://gitgud.io/SternAnon/aoi-foxy-rose
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1221316 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1229482 (OP)
Пропущено 1522 постов, 194 с картинками.
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №136 /llama/
Аноним
31/05/25 Суб 15:35:53
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/v6fpodzg (версия 2024-го https://rentry.co/llm-models )
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Перевод нейронками для таверны: https://rentry.co/magic-translation
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
• Выгрузка избранных тензоров, позволяет ускорить генерацию при недостатке VRAM: https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1221316 (OP)
>>1215508 (OP)
Пропущено 585 постов, 65 с картинками.
Оно стоит копейки (в 10-12 раз дешевле 3060), в простое - 5-8 ватт, работать будет парой с другой картой. Основная задача - чтобы всю модель запихивать исключительно в VRAM. А она у нее 320GB/s, против 41 у процессора (это еще в идеале). Почему бы и не да, если второй слот на материнке есть.
Получится у меня 20GB vram - гемма и прочие gml с квенами 32B хотя бы на 4-ом кванте влезать будут.
ПЕРЕКАТ
>>1232673 (OP)
ПЕРЕКАТ
>>1232673 (OP)
ПЕРЕКАТ
>>1232673 (OP)
https://claude.ai/share/50c70f79-b89f-4c15-a53e-a453e2b1892b
https://pastebin.com/JqB3seYM (копия без ВПН)
Как-будто Тьюринг тест в привычном его понимании пройден безвозвратно. Все ещё есть паттерны и закономерности, но по параметрам человечности, вряд ли осталось много отличий.
Пошёл нахуй. Это просто искуственная вагина в которую мы малофим.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышел новый снапшот DeepSeek R1 - https://huggingface.co/deepseek-ai/DeepSeek-R1-0528
• Вышли Claude Sonnet 4 и Opus 4 - https://www.anthropic.com/news/claude-4
• Вышла gemini-2.5-flash-preview-05-20 - https://ai.google.dev/gemini-api/docs/models?hl=ru
Фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
• Сборник рентри: https://rentry.org/mrhd
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• OAI Прокси: https://gitgud.io/SternAnon/aoi-foxy-rose
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1221316 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1227015 (OP)
Пропущено 1593 постов, 192 с картинками.
Вау какие же оригинальные карточки, я никогда таких сценариев не видел и даже и подумать не мог о таком, ну надо же люди какие извращенцы бывают ну и ну