Du begeisterst dich für Künstliche Intelligenz und Large Language Models, aber die Hürde ist ihre Größe. Sie sind nicht auf Standard-PCs oder Macs lauffähig, da sie enorm viel GPU-Speicher beanspruchen. Die Lösung: OLAMA und Anything LLM. Diese revolutionären Programme erleichtern dir das Ausführen von Large Language Models auf deinem eigenen Rechner.
OLLAMA
OLAMA ermöglicht dir das Ausführen von Large Language Models durch eine nutzerfreundliche API-Anbindung. Allerdings wird es hauptsächlich über ein Terminal bedient, was nicht ideal für deinen Arbeitsablauf ist. Hier kommt Anything LLM ins Spiel.
AnythingLLM
Anything LLM integriert nicht nur die API von OLAMA, sondern bietet auch eine Benutzeroberfläche, die der von ChatGPT ähnelt. Es unterstützt ein Retrieval Augment Generation (RAG)-Verfahren direkt auf deinem lokalen Gerät. Besonders reizvoll ist es, wenn die Modelle ausschließlich auf den Kontext in den Dokumenten referenzieren sollen, ohne ihr ‚eingebautes‘ Wissen zu verwenden.
Die Verwendung lokaler Language Models bietet viele Vorteile, insbesondere beim Umgang mit sensiblen Firmendaten. Du behältst die Kontrolle über deine Daten und stellst sicher, dass sensible Informationen nicht mit externen Diensten geteilt werden.
Für einen erfolgreichen Test sollte dein Rechner über mindestens 16 GB Arbeitsspeicher verfügen, mit 8 GB dürfte es jedoch auch funktionieren. Inspiriert von diesen Möglichkeiten, habe ich beschlossen, ein YouTube-Video zu erstellen, in dem ich die Installation und Nutzung von OLAMA und Anything LLM erkläre. Viel Spaß beim Anschauen und Experimentieren!
LINKS: