KI-Weihnachtsgedanken
Nach einem Weihnachtsabend mit der Familie und Rotwein drängte sich mir der Gedanke auf, dass LLMs wie Kinder sind, die alle bekannten Bücher der Welt gelesen, aber keines davon verstanden haben. Als Entwickler, aber vor allem als Mensch, denke ich – wie wohl viele derzeit – hin und wieder über KI nach. AGI in vielleicht 5 Jahren, und kurz danach die Singularität? Das sehe ich nicht. Trotz des immensen Ausbaus der physischen KI-Infrastruktur und der dadurch bedingten Erhöhung des US-Strombedarfs um fast 5% haben die angebotenen Systeme seit 2 Jahren keine entsprechende Verbesserung erfahren. Schneller, ja, akkurater, realistisch nein. Die niedrig hängenden Früchte wurden gepflückt. Stark optimiert wurde auch schon. Aber die inhärenten Schwächen lassen sich nicht durch mehr "Neuronen" und Layer beseitigen. Read on