Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Lesedauer 2 Min.

Eine ChatGPT-ähnliche KI in C# auf dem eigenen PC aufsetzen

Entwickler Maarten Balliauw zeigt in einem Blogbeitrag, was man tun muss, um eine eigene ChatGPT-ähnliche KI in C# aufsetzen. Das beste dabei: Alle aufwändigen Vorarbeiten dafür hat die Open-Source-Community schon erledigt.
Einige Monate nach der Veröffentlichung von ChatGPT durch OpenAI hat Meta das ursprünglich nur für Forschungszwecke gedachte Modell LLaMA veröffentlicht. Allerdings hat jemand die Gewichte von LLaMA geleakt, was zu einer Menge Aktivität im Internet geführt hat. Noch immer kann man das Modell an vielen Stellen Herunterladen und es auf eigener Hardware verwenden. Sein Nachfahre Alpaca ist ein fein abgestimmtes LLaMA-Modell von Standford und Vicuna, ein weiteres, fein abgestimmtes LLaMA-Modell, daneben gibt es noch WizardLM und weitere.Während ein Teil der Communtiy neue Modelle trainierte, arbeiteten andere daran, diese LLMs auf Verbraucherhardware laufen zu lassen. Georgi Gerganov veröffentlichte mit llama.cpp, eine C++-Implementierung, die das LLaMA-Modell (und Derivate) auf einer CPU ausführen kann. Sie kann eine Vielzahl von Modellen ausführen: LLaMA, Alpaca, GPT4All, Vicuna, Koala, OpenBuddy, WizardLM, und andere. Daneben gibt es auch Wrapper für eine Reihe von Sprachen:
  • Python: abetlen/llama-cpp-python
  • Go: go-skynet/go-llama.cpp
  • Node.js: hlhr202/llama-node
  • Ruby: yoshoku/llama_cpp.rb
  • .NET (C#): SciSharp/LLamaSharp
LlamaSharp ist eine .NET-Bindung von llama.cpp und bietet APIs für die Arbeit mit den LLaMA-Modellen. Es funktioniert unter Windows und Linux und erfordert nicht, dass man sich mit der zugrunde liegenden llama.cpp beschäftigt. Für diese Lösung beschreibt Entwickler Maarten Balliauw in diesem Blogbeitrag, wie man sie einrichtet und benutzt, beispielsweise um sie als Programmier-Copilot einzusetzen.

Neueste Beiträge

Managed DevOps Pools - Azure DevOps Pipelines Security
Agent Pools als Managed Service mit einfacher Integration in private Netzwerke und Authentisierung mittels Managed Identity tragen deutlich zur Sicherheit der Agent-Infrastruktur bei.
7 Minuten
7. Aug 2025
Dokumente in MongoDB speichern
Der GridFS-Speicher als Fundament für KI-gestützte .NET-Anwendungen
6 Minuten
13. Aug 2025
Browser-Apps mit Avalonia entwickeln - Avalonia
Klassische UI-Frameworks finden ihren Weg in den Browser
7 Minuten
11. Aug 2025
Miscellaneous

Das könnte Dich auch interessieren

Sicher ist sicher - Azure DevOps Pipelines Security
Als integraler Bestandteil der Entwicklungsumgebung ist Azure DevOps Pipelines oft Ziel von Angriffen. Da ist es gut zu wissen, wo die Schwachstellen des Systems liegen.
14 Minuten
16. Jun 2025
CodeProject.AI Server in neuer Version - Lokaler AI-Server
CodeProject.AI Server (jetzt in Version 2.1.10) ist ein lokal installierter, selbstgehosteter, schneller, kostenloser und Open Source Artificial Intelligence Server für jede Plattform und jede Sprache.
2 Minuten
Für Einsteiger: Backend-Webentwicklung mit .NET - Microsoft
Auf YouTube bietet Microsoft eine Videoserie für Einsteiger in die Backend-Webentwicklung mit .NET.
2 Minuten
13. Feb 2024
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige