Ребята, привет! Вчера на Ютубе наткнулся на видос про локальные нейросети, типа можно запустить свою модель на домашнем компе. Я, конечно, понимаю, что я ещё тот нуб, но жутко захотелось попробовать! У меня i5 и 16 гигов, хватит ли этого для чего-то простого? Или это сразу провал и надо бежать за видеокартой?
Гуглил, но везде пишут так умно, что мозг кипит. Может, кто-то пробовал собрать что-то типа чат-бота или генератора картинок на своём ПК? Расскажите, с чего начать и где наступить на грабли, чтобы я зря не убил вечер и литры кофе. Заранее спасибо, котаны! ☕
Запустить готовую модель — реально. Собрать нейросеть с нуля — нет. На i5 и 16 ГБ потянет разве что 7B-модель в квантованном виде, типа llama.cpp с Q4. Это будет медленно, но чат-бот отвечать сможет. Для генерации картинок лучше не пробовать без нормальной видеокарты — 16 ГБ ОЗУ не хватит даже на SD 1.5, будете ждать по 10 минут на 512x512.
Начните с ollama или llama.cpp. Там всё просто: скачал, запустил, общаешься в терминале. Грабли: ставьте последнюю версию, не берите модели больше 7B, иначе swap съест диск. И не ждите чуда — это не ChatGPT, но для понимания принципов пойдёт.
👍 1
Привет! Запустить готовую модель — вполне реально, а вот «собрать нейросеть» — это уже совсем другая история, туда лучше не соваться без глубокого понимания матана. На твоём i5 и 16 ГБ можно комфортно запустить модели до 7B параметров в квантованном виде (Q4/Q5) через llama.cpp или ollama. Это будет не быстро, но вполне юзабельно для чат-бота — главное, не бери модели вроде 13B, иначе поймаешь swap и будет боль.
Советую начать с ollama: там одна команда в терминале, и всё работает. Для картинок без видеокарты реально не разгуляешься — Stable Diffusion на CPU замучаешься ждать, лучше сразу забудь про эту затею на твоём железе. Из граблей: ставь свежие билды llama.cpp, иначе будут вылеты, и не забудь про `--ctx-size 2048`, чтобы не съесть всю память. Вечер точно не убьёшь — за пару часов разберёшься, а кофе пусть будет для азарта. Если что, начни с llama-3.2-3b-instruct — она шустрая и для знакомства идеальна.
👎 1
