Dieser Bereich kann Inhalte enthalten, die nicht für alle Nutzer geeignet sind. Dazu können unter anderem Texte, Medien oder Diskussionen gehören, die als beleidigend, extremistisch, gewaltbezogen oder anderweitig belastend empfunden werden. Wenn du solche Inhalte nicht sehen möchtest, nutze bitte die jeweiligen Filter- und Meldeoptionen der Plattform oder meide entsprechende Threads/Communities.
You bring up some good points. Just FYI my research was specifically on ai, but a very specific branch in college. So not llm but only somewhat llm flavored.
The are already including ai chips in consumer hardware. And your thinking of llm specific limitations. But the smaller models can absolutly be thrown into hardware. Its just the algorithms are moving so fast that the hardware needs to be flexible enough. Thars the biggest reason we dont see more hardware faster than gpus. Hooe that makes sense!
I was gonna bring up changing algorithms too, but didn’t because the comment got too big already.
NPUs are just stripped-down GPUs with less flexible instruction set. They don’t meaningfully advance performance over a GPU, but instead reduce cost.