• 0 Posts
  • 6 Comments
Joined 2 years ago
cake
Cake day: June 16th, 2024

help-circle




  • Was LLMs ausgeben ist nicht die Antwort auf die Frage “Welche Wochentage haben den Buchstaben T?” sondern “Wie könnte eine Antwort auf die Frage ‘Welche Wochentage haben den Buchstaben T?’ aussehen?”

    Man kann dann noch Details rumerklären wie dass die mit Tokens arbeiten und keine Wörter oder Buchstaben kennen, aber das grundsätzliche Problem ist dass hinter der Ausgabe keine echte Intelligenz steckt, sondern Statistik¹ beruhend auf dem Trainingsmaterial die durch kompetent wirkende Sprachproduktion intelligent wirkt.

    ¹ Sehr komplexe Statistik, und mehr Ebenen von Komplexität drüber die versuchen die offensichtlichen Probleme zu kaschieren.


  • Kommt drauf an ob prinzipbedingtes Problem ist oder nicht, bei ersteren kann man nur versuchen die “KI” zu überreden nicht die Antworten zu geben die man nicht haben will (“don’t talk about goblins”) oder für Einzelfälle die richtige Antwort vorgeben (jede virale falsche Antwort wie “how many r in strawberry” die dann richtig beantwortet wird, aber keine generelle Lösung für andere Fragen der gleichen Klasse bietet).