Запустити власну локальну модель штучного інтелекту з відкритим кодом просто — ось як.

Центр мистецтв, моди та розваг Decrypt.

Відкрийте SCENE

\u003e\u003e\u003e\u003e gd2md-html попередження: вбудоване зображення в згенерованому коді та зберігайте зображення на своєму сервері. ЗАУВАЖЕННЯ: Зображення в експортованому zip-файлі з Google Docs можуть не з'являтися в тому ж порядку, в якому вони є у вашому документі. Будь ласка, перевірте зображення!

----->

Якщо ви не розробник, то навіщо вам на світі запускати відкриту AI модель на своєму домашньому комп'ютері?

Виявляється, є кілька добрих причин. А з безкоштовними, з відкритим вихідним кодом моделями, які стають кращими ніж коли-небудь—і простими у використанні, з мінімальними вимогами до обладнання—зараз чудовий час спробувати.

Ось кілька причин, чому відкриті моделі кращі, ніж платити $20 на місяць за ChatGPT, Perplexity або Google:

• Це безкоштовно. Немає підписних зборів.
• Ваші дані залишаються на вашому комп'ютері.
• Працює в автономному режимі, Інтернет не потрібен.
• Ви можете навчити та налаштувати свою модель для конкретних випадків використання, таких як креативне письмо або… ну, будь-що.

Бар’єри для входу зникли. Тепер існують спеціалізовані програми, які дозволяють користувачам експериментувати з ШІ без усіх незручностей, пов’язаних із встановленням бібліотек, залежностей та плагінів самостійно. Практично будь-хто з відносно новим комп'ютером може це зробити: середній ноутбук або настільний комп'ютер з 8 ГБ відеопам'яті може запускати дивовижно потужні моделі, а деякі моделі працюють на 6 ГБ або навіть 4 ГБ VRAM. А для Apple будь-який чип серії M ( з останніх кількох років ) зможе запускати оптимізовані моделі.

Програмне забезпечення безкоштовне, установка займає кілька хвилин, а найгнітючий крок - вибір, який інструмент використовувати - зводиться до простого питання: Ви віддаєте перевагу натискати кнопки чи вводити команди?

LM Studio проти Оллами

Дві платформи домінують на місцевому ринку ШІ, і вони підходять до проблеми з протилежних сторін.

LM Studio обгортає все в відшліфованому графічному інтерфейсі. Ви можете просто завантажити додаток, переглянути вбудовану бібліотеку моделей, натиснути для встановлення та почати спілкування. Досвід нагадує використання ChatGPT, тільки обробка відбувається на вашому обладнанні. Користувачі Windows, Mac і Linux отримують той же плавний досвід. Для новачків це очевидний початковий пункт.

Ollama спрямована на розробників та потужних користувачів, які працюють у терміналі. Встановіть через командний рядок, завантажте моделі за допомогою однієї команди, а потім пишіть сценарії або автоматизуйте на свій розсуд. Це легкий, швидкий інструмент, який чисто інтегрується в робочі процеси програмування.

Крива навчання крутіша, але вигода полягає у гнучкості. Це також те, що вибирають потужні користувачі для універсальності та налаштовуваності.

Обидва інструменти працюють на тих же базових моделях, використовуючи ідентичні оптимізаційні движки. Різниця в продуктивності незначна.

Налаштування LM Studio

Відвідайте та завантажте інсталятор для вашої операційної системи. Файл важить близько 540 МБ. Запустіть інсталятор і дотримуйтесь інструкцій. Запустіть програму.

Підказка 1: Якщо вас запитають, до якого типу користувача ви належите, виберіть “розробник.” Інші профілі просто приховують опції, щоб спростити процес.

Підказка 2: Буде рекомендовано завантажити OSS, відкриту модель штучного інтелекту OpenAI. Натомість натисніть “пропустити” на даний момент; є кращі, менші моделі, які впораються з цим краще.

VRAM: Ключ до запуску локального ШІ

Якщо ви встановили LM Studio, програма буде готова до запуску і виглядатиме ось так:

Тепер вам потрібно завантажити модель, перш ніж ваш LLM почне працювати. І чим потужніша модель, тим більше ресурсів вона вимагатиме.

Критичним ресурсом є VRAM, або відеопам'ять на вашій графічній карті. LLM завантажуються у VRAM під час інференції. Якщо у вас недостатньо місця, то продуктивність падає, і система повинна звертатися до повільнішої системної пам'яті. Вам слід уникати цього, маючи достатньо VRAM для моделі, яку ви хочете запустити.

Щоб дізнатися, скільки у вас VRAM, ви можете відкрити диспетчер завдань Windows (control+alt+del) і натиснути на вкладку GPU, переконавшись, що ви вибрали дискретну відеокарту, а не інтегровану графіку на вашому процесорі Intel/AMD.

Ви побачите, скільки VRAM у вас є в розділі “Виділена пам'ять GPU”.

На Mac з серії M все простіше, оскільки вони ділять оперативну пам'ять і відеопам'ять. Кількість оперативної пам'яті на вашій машині дорівнює обсягу відеопам'яті, до якої ви можете отримати доступ.

Щоб перевірити, клацніть на логотип Apple, потім натисніть на “Про програму”. Бачите пам'ять? Ось скільки у вас VRAM.

Вам знадобиться як мінімум 8 ГБ VRAM. Моделі в діапазоні 7-9 мільярдів параметрів, стиснуті за допомогою 4-бітної квантизації, комфортно вписуються, забезпечуючи хорошу продуктивність. Ви дізнаєтеся, чи модель квантизована, оскільки розробники зазвичай вказують це в назві. Якщо ви бачите BF, FP або GGUF у назві, то ви дивитеся на квантизовану модель. Чим нижче число (FP32, FP16, FP8, FP4), тим менше ресурсів вона споживатиме.

Це не зовсім те ж саме, але уявіть собі квантизацію як розширення вашого екрану. Ви побачите одне й те саме зображення в 8K, 4K, 1080p або 720p. Ви зможете зрозуміти все, незалежно від розширення, але збільшуючи зображення і звертаючи увагу на деталі, ви з'ясуєте, що зображення 4K має більше інформації, ніж 720p, але вимагатиме більше пам'яті та ресурсів для відтворення.

Але в ідеалі, якщо ви справді серйозно налаштовані, то вам слід купити хороший ігровий графічний процесор з 24 ГБ відеопам'яті. Не має значення, новий він чи ні, і не має значення, наскільки швидкий чи потужний він. У світі штучного інтелекту відеопам'ять - це король.

Коли ви дізнаєтеся, скільки VRAM ви можете використовувати, ви зможете визначити, які моделі ви можете запустити, перейшовши до Калькулятора VRAM. Або просто почніть з менших моделей з менш ніж 4 мільярдами параметрів, а потім переходьте до більших, поки ваш комп'ютер не повідомить вам, що у вас недостатньо пам'яті. (Більше про цю техніку трохи пізніше.)

Завантаження ваших моделей

Коли ви дізналися про обмеження вашого обладнання, тоді настав час завантажити модель. Натисніть на іконку лупи в лівій боковій панелі та шукайте модель за назвою.

Qwen та DeepSeek є хорошими моделями для початку вашої подорожі. Так, вони китайські, але якщо ви турбуєтеся про те, що вас шпигують, то можете не хвилюватися. Коли ви запускаєте свою LLM локально, нічого не покидає вашого комп'ютера, тому вас не зможуть шпигувати ні китайці, ні уряд США, ні жодні корпоративні структури.

Щодо вірусів, все, що ми рекомендуємо, надходить через Hugging Face, де програмне забезпечення миттєво перевіряється на шкідливе ПЗ та інші загрози. Але, якщо це має значення, найкраща американська модель - це Llama від Meta, тому ви можете вибрати її, якщо ви патріот. ( Ми пропонуємо інші рекомендації в останньому розділі. )

Зверніть увагу, що моделі поводяться по-різному залежно від навчального набору даних та технік доопрацювання, використаних для їх створення. Незважаючи на Грока Ілона Маска, не існує нічого подібного до безсторонньої моделі, оскільки не існує безсторонньої інформації. Отже, обирайте своє отруєння залежно від того, наскільки вам важлива геополітика.

На даний момент завантажте обидві версії: меншу модель 3B ( та 7B. Якщо ви можете запустити 7B, тоді видаліть 3B ) і спробуйте завантажити та запустити версію 13B і так далі (. Якщо ви не можете запустити версію 7B, тоді видаліть її і використовуйте версію 3B.

Після завантаження завантажте модель з розділу Мої моделі. З'являється інтерфейс чату. Напишіть повідомлення. Модель відповідає. Вітаємо: ви запускаєте локальний ШІ.

Надання вашій моделі доступу до Інтернету

За замовчуванням, локальні моделі не можуть переглядати веб. Вони ізольовані за дизайном, тому ви будете взаємодіяти з ними на основі їх внутрішніх знань. Вони прекрасно підходять для написання коротких історій, відповіді на запитання, виконання деякого коду тощо. Але вони не нададуть вам останні новини, не скажуть погоду, не перевірять вашу електронну пошту і не запланують зустрічі.

Сервери моделі протоколу контексту змінюють це.

Сервери MCP виступають у ролі мостів між вашою моделлю та зовнішніми сервісами. Бажаєте, щоб ваш ШІ шукав у Google, перевіряв репозиторії GitHub або читав веб-сайти? Сервери MCP роблять це можливим. LM Studio додала підтримку MCP у версії 0.3.17, доступній через вкладку Програма. Кожен сервер надає специфічні інструменти—веб-пошук, доступ до файлів, виклики API.

Якщо ви хочете надати моделям доступ до Інтернету, то наш повний посібник по серверах MCP проходить через процес налаштування, включаючи популярні варіанти, такі як веб-пошук та доступ до бази даних.

Збережіть файл, і LM Studio автоматично завантажить сервери. Коли ви спілкуєтеся зі своєю моделлю, вона тепер може викликати ці інструменти для отримання живих даних. Ваш локальний ШІ тільки що отримав суперсили.

Наші рекомендовані моделі для систем з 8 ГБ

Існує буквально сотні LLM, доступних для вас, від універсальних варіантів до тонко налаштованих моделей, розроблених для спеціалізованих випадків використання, таких як програмування, медицина, рольові ігри або творчий напис.

Найкраще для кодування: Nemotron або DeepSeek - хороші варіанти. Вони не вразять вас, але добре справлятимуться з генерацією коду та налагодженням, перевершуючи більшість альтернатив у програмних бенчмарках. DeepSeek-Coder-V2 6.7B пропонує ще один надійний варіант, особливо для багатомовної розробки.

Найкраще для загальних знань та міркувань: Qwen3 8B. Модель має сильні математичні можливості та ефективно обробляє складні запити. Її контекстне вікно вміщає довші документи, не втрачаючи зв'язності.

Найкраще для творчого письма: варіанти DeepSeek R1, але вам знадобиться деяке серйозне налаштування запитів. Існують також нецензурні файн-тюни, такі як “abliterated-uncensored-NEO-Imatrix” версія OpenAI's GPT-OSS, яка підходить для жахів; або Dirty-Muse-Writer, яка підходить для еротики ), так кажуть (.

Найкраще для чат-ботів, рольових ігор, інтерактивної літератури, обслуговування клієнтів: Mistral 7B ) особливо Undi95 DPO Mistral 7B ( та варіанти Llama з великими контекстними вікнами. MythoMax L2 13B підтримує риси персонажів під час тривалих розмов і природно адаптує тон. Для інших NSFW рольових ігор є багато варіантів. Вам може бути цікаво перевірити деякі моделі зі цього списку.

Для MCP: Jan-v1-4b та Pokee Research 7b є хорошими моделями, якщо ви хочете спробувати щось нове. DeepSeek R1 - ще один хороший варіант.

Усі моделі можна завантажити безпосередньо з LM Studio, якщо ви просто введете їхні назви.

Зверніть увагу, що ландшафт відкритих LLM швидко змінюється. Нові моделі з'являються щотижня, кожна з яких стверджує про поліпшення. Ви можете ознайомитися з ними в LM Studio або переглянути різні репозиторії на Hugging Face. Протестуйте варіанти самостійно. Погані варіанти стають очевидними швидко завдяки незграбним формулюванням, повторюваним патернам і фактичним помилкам. Хороші моделі відчуваються інакше. Вони міркують. Вони дивують вас.

Технологія працює. Програмне забезпечення готове. Ваш комп'ютер, напевно, вже має достатню потужність. Все, що залишилося, це спробувати це.