Kendi Yerel Açık Kaynaklı AI Modelinizi Çalıştırmak Kolaydır—İşte Nasıl Yapılacağı

Decrypt'in Sanat, Moda ve Eğlence Merkezi.

SCENE'i Keşfet

>>>> gd2md-html uyarısı: oluşturulan kaynakta satır içi resim bağlantısı ve resimleri sunucunuza kaydedin. NOT: Google Docs'tan dışa aktarılan zip dosyasındaki resimler, belgelerinizdeki sırayla aynı olmayabilir. Lütfen resimleri kontrol edin!

----->

Eğer bir geliştirici değilseniz, o zaman neden ev bilgisayarınızda açık kaynaklı bir AI modeli çalıştırmak isteyesiniz ki?

Birçok iyi nedenin olduğunu öğreniyoruz. Ve ücretsiz, açık kaynaklı modeller her zamankinden daha iyi hale geliyor - kullanımı basit, minimal donanım gereksinimleriyle - şimdi denemek için harika bir zaman.

İşte açık kaynak modellerinin ChatGPT, Perplexity veya Google'a ayda $20 ödeme yapmaktan daha iyi olmasının birkaç nedeni:

• Ücretsiz. Abonelik ücreti yok.
• Verileriniz makinenizde kalır.
• İnternete gerek kalmadan çevrimdışı çalışır.
• Modelinizi yaratıcı yazım veya… ne bileyim, her şey gibi belirli kullanım durumları için eğitip özelleştirebilirsiniz.

Giriş engeli ortadan kalktı. Artık kullanıcıların kütüphaneleri, bağımlılıkları ve eklentileri bağımsız olarak kurma zahmeti olmadan AI ile deney yapmalarını sağlayan özel programlar var. Oldukça yeni bir bilgisayara sahip olan herkes bunu yapabilir: 8GB video belleğe sahip orta seviye bir dizüstü veya masaüstü bilgisayar, oldukça yetenekli modelleri çalıştırabilir ve bazı modeller 6GB veya hatta 4GB VRAM ile çalışabilir. Ve Apple için, son birkaç yıldan itibaren herhangi bir M serisi çip ( optimize edilmiş modelleri çalıştırabilecektir.

Yazılım ücretsizdir, kurulum birkaç dakika sürer ve en korkutucu adım—hangi aracı kullanacağınızı seçmek—basit bir soruya dayanır: Butonlara tıklamayı mı yoksa komut yazmayı mı tercih edersiniz?

LM Studio vs. Ollama

Yerel yapay zeka alanında iki platform hakimdir ve sorunla zıt açılardan yaklaşmaktadırlar.

LM Studio, her şeyi şık bir grafik arayüzde toplar. Uygulamayı basitçe indirip, yerleşik model kütüphanesinde gezinebilir, tıklayıp kurabilir ve sohbet etmeye başlayabilirsiniz. Deneyim, ChatGPT kullanmaya benzer, tek fark, işlemenin donanımınızda gerçekleşmesidir. Windows, Mac ve Linux kullanıcıları aynı akıcı deneyimi yaşar. Yeni başlayanlar için bu, açıkça başlangıç noktasıdır.

Ollama, terminalde yaşayan geliştiriciler ve güç kullanıcıları için tasarlanmıştır. Komut satırı ile kurun, tek bir komutla modelleri indirin ve sonra istediğiniz gibi script yazın veya otomatikleştirin. Hafif, hızlı ve programlama iş akışlarına temiz bir şekilde entegre olur.

Öğrenme eğrisi daha dik, ancak kazanç esnekliktir. Ayrıca, güçlü kullanıcıların çok yönlülük ve özelleştirilebilirlik için tercih ettikleri bir seçenektir.

Her iki araç da aynı temel modelleri kullanarak kimliksiz optimizasyon motorları ile çalışır. Performans farkları ihmal edilebilir.

LM Studio'yu Kurmak

İşletim sisteminiz için yükleyiciyi indirin ve ziyaret edin. Dosya yaklaşık 540MB ağırlığındadır. Yükleyiciyi çalıştırın ve talimatları izleyin. Uygulamayı başlatın.

İpucu 1: Size hangi tür kullanıcı olduğunuzu sorarsa, “geliştirici” seçeneğini işaretleyin. Diğer profiller, işleri kolaylaştırmak için seçenekleri gizler.

İpucu 2: OSS, OpenAI'nin açık kaynaklı AI modelini indirmeyi önerecektir. Bunun yerine, şimdi “atla” butonuna tıklayın; daha iyi, daha küçük modeller var ve bunlar daha iyi bir iş çıkaracaktır.

VRAM: Yerel AI çalıştırmanın anahtarı

LM Studio'yu yükledikten sonra, program çalışmaya hazır olacak ve şöyle görünecektir:

Artık LLM'nizin çalışması için bir model indirmeniz gerekiyor. Ve model ne kadar güçlü olursa, o kadar fazla kaynak gerektirecektir.

Kritik kaynak VRAM'dir, yani grafik kartınızdaki video belleğidir. LLM'ler çıkarım sırasında VRAM'e yüklenir. Yeterince alan yoksa, performans çöküşe geçer ve sistem daha yavaş olan sistem RAM'ine başvurmak zorunda kalır. Çalıştırmak istediğiniz model için yeterli VRAM'e sahip olarak bunu önlemek istersiniz.

VRAM'inizin ne kadar olduğunu öğrenmek için Windows görev yöneticisine )control+alt+del( girip GPU sekmesine tıklayabilirsiniz. Burada, entegre grafik değil, özel grafik kartını seçtiğinizden emin olun.

“Ayrı GPU belleği” bölümünde ne kadar VRAM'e sahip olduğunuzu göreceksiniz.

M-Serisi Mac'lerde işler daha kolaydır çünkü RAM ve VRAM paylaşılır. Makinenizdeki RAM miktarı, erişebileceğiniz VRAM ile eşit olacaktır.

Kontrol etmek için, Apple logosuna tıklayın, ardından "Hakkında"ya tıklayın. Bellek var mı? İşte sahip olduğunuz VRAM miktarı.

En az 8GB VRAM'e ihtiyacınız olacak. 4-bit kuantizasyon kullanılarak sıkıştırılan 7-9 milyar parametre aralığındaki modeller, güçlü performans sunarken rahatça sığar. Bir modelin kuantize olup olmadığını, geliştiricilerin genellikle isminin içinde bunu açıkladığı için anlayacaksınız. Eğer isimde BF, FP veya GGUF görüyorsanız, kuantize bir modelle karşı karşıyasınız demektir. )FP32, FP16, FP8, FP4( sayısı ne kadar düşükse, o kadar az kaynak tüketir.

Elmalar elmalara benzemez, ama kuantizasyonu ekranınızın çözünürlüğü olarak hayal edin. Aynı görüntüyü 8K, 4K, 1080p veya 720p olarak göreceksiniz. Çözünürlük ne olursa olsun her şeyi kavrayabileceksiniz, ancak detaylara yakınlaştığınızda ve seçici olduğunuzda, 4K görüntünün 720p'den daha fazla bilgi içerdiğini göreceksiniz, ancak bunu işlemek için daha fazla bellek ve kaynak gerektirecektir.

Ama ideal olarak, gerçekten ciddiyseniz, o zaman 24GB VRAM'e sahip güzel bir oyun GPU'su almalısınız. Yeni olup olmaması önemli değil, hızlı veya güçlü olup olmaması da önemli değil. AI dünyasında, VRAM kraldır.

VRAM'ınızın ne kadarını kullanabileceğinizi öğrendikten sonra, VRAM Hesaplayıcı'sına giderek hangi modelleri çalıştırabileceğinizi belirleyebilirsiniz. Ya da, 4 milyar parametreden daha az olan daha küçük modellerle başlayıp, bilgisayarınızın yeterli bellek yok dediği noktaya kadar daha büyük modellere geçebilirsiniz. )Bu teknik hakkında birazdan daha fazla bilgi. (

Modellerinizi indiriyor

Donanımınızın sınırlarını öğrendikten sonra, bir model indirme zamanı. Sol kenar çubuğundaki büyüteç simgesine tıklayın ve modeli adıyla arayın.

Qwen ve DeepSeek, yolculuğunuza başlamak için iyi modellerdir. Evet, bunlar Çinli, ancak eğer gözetlenmekten endişe ediyorsanız, rahatlayabilirsiniz. LLM'inizi yerel olarak çalıştırdığınızda, hiçbir şey makinenizden çıkmaz, bu nedenle ne Çin, ne ABD hükümeti ne de herhangi bir şirket tarafından gözetlenmezsiniz.

Virüsler konusunda, önerdiğimiz her şey spyware ve diğer kötü amaçlı yazılımlar için anında kontrol edilen Hugging Face üzerinden gelmektedir. Ancak, bunun değeri ne olursa olsun, en iyi Amerikan modeli Meta'nın Llama'sıdır, bu yüzden bir vatanseverseniz bunu seçmek isteyebilirsiniz. ) Son bölümde başka öneriler sunuyoruz. (

Modellerin, eğitim veri setine ve onları oluşturmak için kullanılan ince ayar tekniklerine bağlı olarak farklı davrandığını unutmayın. Elon Musk'ın Grok'ı dışında, tarafsız bilgi olmadığı için tarafsız bir model de yoktur. Bu nedenle, jeopolitikaya ne kadar önem verdiğinize bağlı olarak seçiminizi yapın.

Şu anda hem 3B ) daha az yetenekli modeli( hem de 7B versiyonunu indirin. Eğer 7B'yi çalıştırabiliyorsanız, o zaman 3B'yi silin ve 13B versiyonunu indirmeyi ve çalıştırmayı deneyin ve devam edin). Eğer 7B versiyonunu çalıştıramıyorsanız, o zaman onu silin ve 3B versiyonunu kullanın.

İndirildikten sonra, modeli Kişisel Modellerim bölümünden yükleyin. Sohbet arayüzü görünür. Bir mesaj yazın. Model yanıt verir. Tebrikler: Yerel bir AI çalıştırıyorsunuz.

Modelinize internet erişimi verme

Kutu açıldığında, yerel modeller web'de gezemez. Tasarım gereği izole edilmişlerdir, bu nedenle onlarla iç bilgilerine dayalı olarak yineleme yapacaksınız. Kısa hikayeler yazmak, soruları yanıtlamak, biraz kodlama yapmak vb. için iyi çalışacaklardır. Ancak en son haberleri veremez, hava durumunu söyleyemez, e-postanızı kontrol edemez veya sizin için toplantılar planlayamazlar.

Model Context Protocol sunucuları bunu değiştirir.

MCP sunucuları modeliniz ile dış hizmetler arasında köprü işlevi görür. AI'nizin Google'da arama yapmasını, GitHub depolarını kontrol etmesini veya web sitelerini okumasını mı istiyorsunuz? MCP sunucuları bunu mümkün kılar. LM Studio, 0.3.17 sürümünde Program sekmesi üzerinden erişilebilen MCP desteği ekledi. Her sunucu belirli araçları—web araması, dosya erişimi, API çağrıları—açığa çıkarır.

Modellere internete erişim vermek istiyorsanız, MCP sunucularına yönelik kapsamlı kılavuzumuz kurulum sürecini, web araması ve veritabanı erişimi gibi popüler seçenekleri içerecek şekilde anlatmaktadır.

Dosyayı kaydedin ve LM Studio otomatik olarak sunucuları yükleyecektir. Modelinizle sohbet ettiğinizde, artık bu araçları canlı veri almak için çağırabilir. Yerel AI'nız artık süper güçler kazandı.

8GB sistemler için önerilen modellerimiz

Sizin için, çok çeşitli kullanım durumlarına yönelik ince ayar yapılmış modellerden, her işe yarayan seçeneklere kadar yüzlerce LLM mevcut.

Kodlama için en iyisi: Nemotron veya DeepSeek iyidir. Zihninizi uçurmayacaklar ama kod üretimi ve hata ayıklama konusunda iyi çalışacaklar, programlama kıyaslamalarında çoğu alternatifi geride bırakacaklar. DeepSeek-Coder-V2 6.7B, çok dilli geliştirme için özellikle sağlam bir seçenek sunuyor.

Genel bilgi ve akıl yürütme için en iyisi: Qwen3 8B. Model, güçlü matematiksel yeteneklere sahiptir ve karmaşık sorguları etkili bir şekilde yönetir. Bağlam penceresi, daha uzun belgeleri tutarlılığı kaybetmeden barındırır.

Yaratıcı yazım için en iyisi: DeepSeek R1 varyantları, ancak biraz ağır bir prompt mühendisliği gerektiriyor. Ayrıca, korku için iyi olan OpenAI'nin GPT-OSS'sinin “abliterated-uncensored-NEO-Imatrix” versiyonu gibi sansürsüz ince ayarlar var; ya da erotik için iyi olduğu söylenen Dirty-Muse-Writer. (öyle derler).

En iyi chatbotlar, rol yapma, etkileşimli kurgu, müşteri hizmetleri için: Mistral 7B ( özellikle Undi95 DPO Mistral 7B) ve büyük bağlam pencerelerine sahip Llama varyantları. MythoMax L2 13B, uzun sohbetler boyunca karakter özelliklerini korur ve tonu doğal olarak uyum sağlar. Diğer NSFW rol yapma için birçok seçenek var. Bu listedeki bazı modelleri kontrol etmek isteyebilirsiniz.

MCP için: Jan-v1-4b ve Pokee Research 7b yeni bir şey denemek istiyorsanız güzel modellerdir. DeepSeek R1 başka bir iyi seçenektir.

Tüm modeller, adlarını aratarak doğrudan LM Studio'dan indirilebilir.

Açık kaynak LLM manzarasının hızla değiştiğini unutmayın. Her hafta yeni modeller piyasaya sürülüyor ve her biri geliştirmeler iddia ediyor. Onları LM Studio'da kontrol edebilir veya Hugging Face üzerindeki farklı depoları gözden geçirebilirsiniz. Seçenekleri kendiniz test edin. Uygun olmayanlar, garip ifadeler, tekrarlayan kalıplar ve gerçek hataları sayesinde hızla belirgin hale gelir. İyi modeller farklı hissedilir. Mantık yürütürler. Sizi şaşırtırlar.

Teknoloji çalışıyor. Yazılım hazır. Bilgisayarınız muhtemelen zaten yeterli güce sahip. Geride kalan tek şey denemek.