運行您自己的本地開源 AI 模型很簡單——方法如下

解密的藝術、時尚與娛樂中心。

發現場景

\u003e\u003e\u003e\u003e gd2md-html 警告：生成的源中有內聯圖像連結，並將圖像存儲到您的服務器。注意：從 Google Docs 導出的 zip 文件中的圖像可能不會按照與您的文檔相同的順序出現。請檢查圖像！

----->

如果你不是開發者，那你爲什麼會想在家用電腦上運行一個開源的人工智能模型呢？

事實證明，有很多好的理由。隨着免費、開源的模型變得比以往更好——並且易於使用，硬件要求最低——現在是嘗試一下的好時機。

以下是開源模型比每月支付$20 給ChatGPT、Perplexity或Google更好的幾個理由：

• 免費。沒有訂閱費用。
• 你的數據保留在你的機器上。
• 它可以離線工作，無需互聯網連接。
• 您可以針對特定用例訓練和自定義您的模型，例如創意寫作或……好吧，任何事情。

入門障礙已經消失。現在有專門的程序讓用戶可以在沒有獨立安裝庫、依賴項和插件的麻煩下實驗AI。幾乎任何擁有相對較新計算機的人都可以做到：一臺中檔筆記本或臺式機，擁有8GB的視頻內存，就可以運行令人驚訝的強大模型，某些模型甚至可以在6GB或4GB的VRAM上運行。對於蘋果來說，過去幾年的任何M系列芯片(都能夠運行優化後的模型。

軟件是免費的，設置只需幾分鍾，而最讓人畏懼的一步——選擇使用哪個工具——歸結爲一個簡單的問題：你更喜歡點擊按鈕還是輸入命令？

LM Studio 與 Ollama

兩個平台主導了本地的人工智能領域，它們從相反的角度解決問題。

LM Studio 將一切包裝在一個精美的圖形界面中。您只需下載應用程序，瀏覽內置模型庫，點擊安裝，即可開始聊天。體驗與使用 ChatGPT 相似，不同的是處理過程發生在您的硬件上。Windows、Mac 和 Linux 用戶都能獲得相同流暢的體驗。對於新手來說，這是顯而易見的起點。

Ollama 旨在服務於那些在終端中工作的開發者和高級用戶。通過命令行安裝，使用單個命令拉取模型，然後根據自己的需求進行腳本編寫或自動化。它輕量、快速，並且能夠與編程工作流程無縫集成。

學習曲線更陡，但回報是靈活性。這也是強大用戶選擇的多功能性和可定制性。

這兩個工具使用相同的優化引擎運行相同的基礎模型。性能差異微乎其微。

設置LM工作室

訪問並下載適用於您的操作系統的安裝程序。該文件大小約爲540MB。運行安裝程序並按照提示操作。啓動應用程序。

提示 1：如果它詢問您是哪種類型的用戶，請選擇 “開發者”。其他配置文件只是隱藏選項以簡化操作。

提示 2：它會推薦下載 OSS，即 OpenAI 的開源 AI 模型。相反，請暫時點擊“跳過”；還有更好、更小的模型可以做得更好。

VRAM：運行本地AI的關鍵

一旦您安裝了LM Studio，程序將準備運行，並將如下所示：

現在您需要下載一個模型，您的 LLM 才能工作。模型越強大，它所需的資源就越多。

關鍵資源是VRAM，即顯卡上的視頻內存。LLM在推理過程中加載到VRAM中。如果空間不足，性能就會崩潰，系統必須轉向更慢的系統RAM。您需要確保有足夠的VRAM來運行您想要的模型，以避免這種情況。

要知道你有多少顯存，可以進入Windows任務管理器)按下control+alt+del(，然後點擊GPU選項卡，確保選擇的是獨立顯卡，而不是你Intel/AMD處理器上的集成顯卡。

您將在“專用 GPU 內存”部分看到您擁有多少 VRAM。

在M系列Mac上，一切都更簡單，因爲它們共享RAM和VRAM。您機器上的RAM量將等於您可以訪問的VRAM量。

要檢查，請點擊蘋果圖標，然後點擊“關於”。看到內存了嗎？這就是你的顯存。

您至少需要 8GB 的 VRAM。使用 4 位量化壓縮的 70-90 億參數範圍的模型可以舒適地適應，同時提供強大的性能。您可以通過開發者通常在名稱中披露的方式得知模型是否經過量化。如果您在名稱中看到 BF、FP 或 GGUF，那麼您正在查看一個量化模型。數字越低 )FP32、FP16、FP8、FP4(，消耗的資源就越少。

這不是 apples to apples，但可以把量化想象成你屏幕的分辨率。你將看到相同的圖像，無論是 8K、4K、1080p 還是 720p。無論分辨率如何，你都能夠掌握一切，但放大並挑剔細節會揭示 4K 圖像比 720p 擁有更多的信息，但渲染時會需要更多的內存和資源。

但理想情況下，如果你真的很認真，你應該購買一款具有24GB VRAM的優秀遊戲 GPU。新舊無所謂，速度和性能也無所謂。在人工智能的世界裏，VRAM 是王。

一旦你知道可以使用多少VRAM，你就可以通過訪問VRAM計算器來確定可以運行哪些模型。或者，簡單地從少於40億參數的小模型開始，然後逐步升級到更大的模型，直到你的計算機告訴你內存不足。)稍後會詳細介紹這種技術。(

正在下載您的模型

一旦你了解了硬件的限制，就可以開始下載模型了。點擊左側邊欄的放大鏡圖標，通過名稱搜索模型。

Qwen和DeepSeek是開始您旅程的好模型。是的，它們是中國的，但如果您擔心被監視，那麼您可以安心。當您在本地運行您的LLM時，沒有任何信息會離開您的機器，因此您不會被中國、美國政府或任何企業實體監視。

至於病毒，我們推薦的一切都來自Hugging Face，在那裏軟件會立即檢查間諜軟件和其他惡意軟件。但就其價值而言，最好的美國模型是Meta的Llama，所以如果你是愛國者，你可能想選擇那個。)我們在最後一部分提供其他推薦。(

請注意，模型的表現因訓練數據集和用於構建它們的微調技術而異。盡管有埃隆·馬斯克的Grok，但並不存在無偏見模型，因爲不存在無偏見的信息。因此，根據你對地緣政治的關注程度選擇你的毒藥。

現在，請下載3B )較小的能力較低的模型(和7B版本。如果您能運行7B，則刪除3B )並嘗試下載和運行13B版本等等(。如果您無法運行7B版本，則刪除它並使用3B版本。

下載後，從我的模型部分加載模型。聊天界面出現。輸入消息。模型回復。恭喜：您正在運行本地AI。

給您的模型提供互聯網訪問

開箱即用，本地模型無法瀏覽互聯網。它們是按設計隔離的，因此您將根據它們的內部知識進行迭代。它們適合用於撰寫短篇故事、回答問題、進行一些編碼等。但它們無法提供最新新聞、告訴您天氣、檢查您的電子郵件或爲您安排會議。

模型上下文協議服務器改變了這一點。

MCP服務器充當您的模型與外部服務之間的橋梁。想讓您的AI搜索Google、檢查GitHub倉庫或讀取網站嗎？MCP服務器使其成爲可能。LM Studio在0.3.17版本中添加了MCP支持，通過程序選項卡可訪問。每個服務器都暴露了特定的工具—網頁搜索、文件訪問、API調用。

如果您想讓模型訪問互聯網，那麼我們的MCP服務器完整指南將詳細介紹設置過程，包括網路搜索和數據庫訪問等流行選項。

保存文件後，LM Studio 將自動加載服務器。當您與模型聊天時，它現在可以調用這些工具以獲取實時數據。您的本地 AI 剛剛獲得了超能力。

我們推薦的8GB系統模型

實際上，有數百種大型語言模型（LLM）可供您選擇，從萬用選項到爲特定用例（如編碼、醫學、角色扮演或創意寫作）設計的精細調優模型。

最佳編碼選擇： Nemotron 或 DeepSeek 很不錯。它們不會讓你大喫一驚，但在代碼生成和調試方面表現良好，超越大多數編程基準的替代品。DeepSeek-Coder-V2 6.7B 提供了另一個可靠的選擇，特別適用於多語言開發。

最適合一般知識和推理：Qwen3 8B。該模型具有強大的數學能力，能夠有效處理復雜查詢。其上下文窗口可容納更長的文檔而不會失去連貫性。

最適合創意寫作：DeepSeek R1 變體，但你需要一些重度的提示工程。此外，還有一些未審查的微調，如 OpenAI 的 GPT-OSS 的 “abliterated-uncensored-NEO-Imatrix” 版本，非常適合恐怖寫作；或者 Dirty-Muse-Writer，非常適合情色寫作)，他們這麼說(。

適合聊天機器人、角色扮演、互動小說、客戶服務：Mistral 7B )尤其是 Undi95 DPO Mistral 7B( 和具有大上下文窗口的 Llama 變體。MythoMax L2 13B 在長時間對話中保持角色特徵，並自然地調整語氣。對於其他 NSFW 角色扮演，有很多選擇。您可能想查看此列表中的一些模型。

對於 MCP：Jan-v1-4b 和 Pokee Research 7b 是不錯的模型，如果你想嘗試一些新的東西。DeepSeek R1 也是一個不錯的選擇。

所有模型都可以直接從LM Studio下載，只需搜索它們的名稱。

注意，開源的 LLM 生態系統正在快速變化。每週都有新模型發布，每個模型都聲稱有改進。您可以在 LM Studio 中查看它們，或瀏覽 Hugging Face 上的不同代碼庫。自己測試選項。糟糕的模型很快就會顯露出問題，這要歸功於生硬的措辭、重復的模式和事實錯誤。好的模型感覺不同。它們會推理。它們會讓你感到驚訝。

這項技術有效。軟件已準備好。你的計算機可能已經具備足夠的性能。剩下的就是嘗試它。