KI war nie so EINFACH! KOSTENLOSE KI LOKAL auf deinem Rechner! Llama Tutorial

Ah endlich. Ich habe schon nach sowas gesucht für mein aktuelles Projekt. Dankeschön 🙏 😊

Eine lokal betriebene KI kann doch nur über ein sehr begrenztes Wissen verfügen, oder?

Ist dass alles legal laut Nutzungsbedingungen und Lizenzvereinbarung,… bei der Nutzung von Llama?

vielen Dank, das habe ich sogar hinbekommen. Letzte Woche hatte ich ein anderes Video gesehen, darin ging es um "stanford_alpaca". Das wollte ich ausprobieren. Bis "github" bin ich gekommen, aber wie man das installiert und in Betrieb nimmt, ist mir ein Rätsel. Schade.

Das blöde ist das bei Bildern, bei mir zumindest, die Ki immer auf Englisch antwortet obwohl ich mit ihm auf deutsch schreibe. Ist keine große Sache aber die Ki sollte ja alles können also auch auf Deutsch antworten finde ich.

Aber die Antworten stimmen Teilweise und Teilweise erkennt er die Bilder nicht richtig.
Hab ein Meme hochgeladen von Die Unglaublichen, aber die Ki hat nur geschrieben was er gesehen hat aber nicht verstanden das es ein Meme ist.

Dann habe ich ein Foto vom Harry Potter auf der PS1 hochgeladen, er erkannte Harry Potter und sagte aber es sei aus dem Spiel Gefangener von Azkaban was falsch war.

Llama: The image is a screenshot from the video game "Harry Potter and the Prisoner of Azkaban". It features an animated version of Harry Potter standing in front of a wall, wearing his glasses. He appears to be posing for the camera or possibly interacting with other characters within the game environment. The scene showcases one of the many adventures that players can experience while playing this popular video game based on J.K Rowling's famous book series.

Verrückt, Danke... Was ich noch nicht ganz verstanden habe: zieht sich die KI die Daten aus dem Netz? Aus welchen Quellen?

Wie ist die response time?

Kennst Du GTP4All ?

Kann man Lama auch trainieren z.B. per normaler Eingabe mit einer Tabelle füttern und die Daten später wieder per normaler Frage auswerten lassen?
Also ich lade ein Telefonbuch als Tabelle rein und frage später irgendwann mal: "Wer hat die Telefonnummer xyz" ?

Hi, danke für Dein Video.
Wenn ich das lokal laufen lassen kann, möchte ich's mit meinen Daten aus eigenen Dateien (PDT, TXT, ?) auch Finetunen, so daß ich dann mit einer personalisierten Spezialversion sprechen kann und vielleicht kann das Programm aus meinen Daten ja Zusammenhänge erkennen, die mir noch garnicht bewußt sind. Wie geht das Finetuning, für welcheZwecke kann ich's dann nutzen und wie? Würde mich über eine Antwort sehr freuen. Danke schon mal.

Das Ganze ist von Meta, aber tatsächlich komplett quelloffen?

Super Video. Ich habe es mir jetzt unter Docker auf meinem Synology NAS installiert.

Das ist richtig, richtig nice^^ Ich wusste gar nicht, dass man Sprachmodelle auf diese Art und Weise starten kann? Kann man das mit jedem Sprachmodell so machen? Das würde mich interessieren: Läuft so etwas auch in der VM? Ich bin sicher, dass man dann viel mehr Ressourcen braucht, oder? Könnte man einen Loader verwenden, der in der Lage ist, Sprachmodelle sicher in einer Sandbox (VM) zu starten? Hat schon jemand so etwas auf „Github“ erstellt und programmiert? Gibt es eigentlich ein Sprachmodell „Loader“, so eine Art „Universal Loader“, der das vereinfacht und eine schöne „GUI“ zur Verfügung stellen kann? Ich glaube, ich weiß, was ich meinen Programm-GPT-Bot auf "ChatGPT" fragen kann {Habe dort einige eigene GPT-Bots gebaut, es ist sehr interessant, was man damit machen kann, z.B. B. kann man einfach irgendwelche Inhalte in ein Programm "umwandeln", eine Webseite, ein PDF, dazu kann er selbstständig und automatisch Bilder produzieren oder eine Musikliste aussuchen, Spiele passend zur Webseite, HTML hochladen und in Apps Liste umwandeln lassen, einfach unendlich viele Möglichkeiten, Ich habe auch einen Contextbot, der den Kontext adaptiv und dynamisch berücksichtigt, um seine Hypothetische Maschinelle Erklärungsmeinung zu propagieren... Es gibt so unendlich viel zu entdecken und viele Kombinationsmöglichkeiten - das macht im Zeitalter der KI Ultra viel Spaß!

Toll wäre es noch, wenn das Model auf eine bestimmte Arbeitsumgebung zugreifen könnte, um Dateien auszulesen, nicht nur Bilder. Praktisch wäre das für die Code-Entwicklung.

Glückwunsch zu 100k! Jetzt noch ein Tutorial, wie man so ein Modell Finetunen kann und alles wäre perfekt^^

Najaaaa 44 Likes bei dieser Repository ist jetzt nicht sooooooooooooo vertrauenswürdig als dass ich mir das herutnerladen würde.

Könntest du ein Video zu github Copilot machen auch im Bezug auf Datenschutz und da soll es auch eine Unternehms Lizenz geben? Was hälst du davon? Kann das sicher sein?

Super ich würde mir gerne mehr Content wünschen im bereich wie man so ein System selbst Fine-Tunen kann oder gar selbst ein LLM basteln kann das wäre nen Träumchen ^^

Ist es auf Linux Verfügbar?

woher weiss ich das ich mir damit nicht einen Trojaner/Malware auf meinem Rechner installiere? Huggingface ist open source, aber wer schaut sich diese open source codes wirklich genau an? 4GB sind schon sehr viele Zeilen Code ;-)

Für Mac/Linux Nutzer: Datei herunterladen, im Terminal zur Datei navigieren "chmod +x" auf die Datei anwenden, um sie ausführbar zu machen und dann mit "./" und den Dateinamen starten

Ja und das Ding ruft auch nur einen Datensatz ab und lernt nichts dazu also dumm.

ich habe da noch ein paar Fragen.
1. Gibt es dafür auch Möglichkeiten, das es nicht nur Bilder analysiert sondern auch Bilder generiert?
2. Weißt du wie groß der qualitative Unterschied zwischen v1.5 und v2 ist?

Kannst du mein ein Video zu Fourier Reihen/ Transformation machen? Da gibts wenig gutes im deutschsprachigen

Hab mir in den letzten Tagen stable Diffusion lokal installiert, um vorallem Anime Charaktere für mich selbst zu generieren. Bei einen chatbot weiß ich noch nicht genau, für was der mir behilflich sein kann. Werd aber vll den llama auch mal ausprobieren

Danke für dieses grandiose Video :)
Hab schon ein bisschen damit rumgespielt, auch ein Gedicht schreiben lassen. Zuerst eins auf deutsch, dann eins auf englisch. Das deutsche war eher grausig, das englische hingegen ganz ok. Die Bilderanalyse funktioniert erstaunlich gut. An ein GPT 3.5 oder GPT 4 kommt die AI bei weitem nicht hin, aber trotzdem ganz nett :)

Die AI berechnet übrigens über die CPU und nutzt gerne alle Threads dieser aus. Bei meinem 12-Kerner (Ryzen 9 5900x) dauert eine Bildanalyse inklusive Antwort etwa 30-35 Sekunden, für ein 10-zeiliges Gedicht braucht es etwa 17 Sekunden. Alles recht flott also.

Like hast du aber ich verstehe nicht wofür braucht man diese Sprach-KI

Super Video! Kannst du mir bitte sagen, wie ich dieses Neuronalenetzwerk unter Linux ausführen kann? Würde das gerne auf meinem Server ziehen. L.G.

Kann man das auch auf einem Linux-Cloud-Server deployen? Am besten mit docker…

Ok, kurz gegoogelt… sollte gehen

Würde ich wenn ich es auf Linux zum laufen bekommen

CPU/GPU benutzt?
Ist der Rechenintensiv?

Bitte noch mehr solchen Content. Z. B. wie man ein RAG nutzt, mit chatgpt und entityanonimization arbeitet oder wie man PDFs professionell scrapen kann (Header, Tabellen, Text und Bilder voneinander separieren, etc.). Vielen Dank für all deine Mühe!

Herzlichen Glückwunsch zu den 100.000 Abonnenten. Ist schon echt erstaunlich, wie du innerhalb der letzten Jahre von ganz unten bis nach hier gekommen bist. Die Entscheidung von deinem alten Arbeitgeber zu gehen hat sich wohl gelohnt. Wünsche dir noch Alles Gute für die Zukunft. :)

Super will mehr davon.

Wie nice, dass du die benötigten Mausklicks extra reineditiert hast :D Ist echt beeindruckend, was heutzutage möglich ist beim Thema KI.

wie immer sehr interessantes Video.
Ist das auch eines der Projekte aus deinem Buch?
Oder gehst du in deinem Buch ausschließlich auf Chat GPT ein?

Ich bekomme es zu Weihnachten und bin schon sehr gespannt 😀

Ich war am Überleben h2o ai zu nutzen, kannst du auch dazu mal etwas machen? Oder so ein Vergleichsvideo wäre auch mal cool

Geiles Video, wie immer!

Es wäre, zumindest für mich, sehr interessant zu erfahren, ob und wie man ein GPT spezifizieren und für bestimmte Aufgaben anlernen bzw. umlernen kann.
Ob es zu dieser Thematik wohl irgendwann ein Video geben wird?

Coole Alternative, falls man die Daten lokal halten möchte, aber meiner Meinung nach ist es mit GPT-4 überhaupt nicht zu vergleichen. Aber dafür, dass es kostenlos ist, finde ich es beeindrucken! :)

Kann man es weiter anlernen ? Super video‼️

Mich würde die Installation in einem proxmox Debian Container, interessieren. Habe schon einige Anleitungen durch, aber nichts will richtig laufen. Aber sonst, super Video.

Ich habe gerade für meinen Sohn eine GPT version aufgesetzt in der er (gpt´s) mithilfe eines Prepromptes einen "Lehrer" erhält , der hochgeladene PDF´s als Grundlage nutzen kann, um sich zu Chemie Abfragen zu lassen. Funktioniert ziemlich beeindruckend. die PDF´s enthalten text und Bilder und GPT4 scheint beides für die Fragen zu bemühen.

So etwas ähnliches würde ich gerne auch mit Freeware LLM´s erreichen können.

1. geht das und
2. welches modell wäre da aktuell das leistungsfähigste.. wie siehts zb. mit Falcon aus? Oder Orca2.. ich komm da nicht mehr hinterher...

Mega cool. Ich bin seit längerem auf der Suche nach etwas Ähnlichem. Ich bin aktuell auf der Suche, wie ich für meine Kunden eine KI Bot programmiere, der meine Antworten auf Discord und Webseiten FAQs lesen kann und damit lernt den Leuten zu antworten. Es wäre cool, wenn du zeigen könntest, wie man eine solche KI mit eigenen Daten trainieren kann

Gute Idee und Video ein LLM lokal bei sich zu hosten hat auch Vorteile. Kurzes und nett gemeintes Feedback die Geräusche bei den Installationsschritte könnten ablenken und somit nerven VG Soufiane

Super, ich bin Linux User 😑

hab mich ein bisschen gegruselt als mein Name Simon dort stand.

Das ist alles super toll und interessant.
Aber irgendwie überlege h die ganze Zeit was das ganze für mich praktisch für Anwendung hat.
Mehr als eine einfacher zu bedienende Suchmaschine bzw zum Zeitverschwenden fällt mir in Moment nicht wirklich ein.
Bin ich Einfach zu alt für den Sch.....?

Sehr nettes Spielzeug. Es freut mich auch sehr das wir hier mal so llm haben für das man nicht erst eine python Umgebung benötigt.