Es gibt einen Aspekt, der m.A. nach in aktuellen Diskussionen vollkommen außer acht gelassen wird, und das ist eigentlich der, der mir an KI am meisten Angst (naja) macht:
Das, was wir heute KI nennen, ist praktisch vollständig reproduzierend - Soll heißen, es kann nur wiederholen (wenn die KI wirklich gut ist, möglicherweise auch verknüpfen und rekombinieren, aber das ist keine Eigenschaft von z.B. ChatGPT), was es schonmal irgendwo "gesehen" hat. Das hat mit "Intelligenz" eigentlich herzlich wenig zu tun, sondern ist nur ein Idiot mit einem großen Lexikon. Nur deshalb, weil die Wissensbasis, auf die ein Computer zurückgreifen kann, so riesig (und typischerweise so viel größer als unsre eigene) ist, kommt er uns intelligent vor.
"Wahre" Intelligenz ist aber nach meiner Definition eher das Schaffen von neuen Ideen, das Finden von neuen Zusammenhängen und das Kreieren neuer Konzepte. All das kann die "KI", die wie heute kennen, prinzipiell nicht, weil ihr ein wichtiger Aspekt der natürlichen Intelligenz fehlt: Kreativität. Auch fehlt ihr schon konzeptuell die Möglichkeit, "alte Hüte" zu verwerfen und durch neue Denkansätze zu ersetzen. Sowas wie die Relativitätstheorie, die genau dadurch entstanden ist und die schon ein Paarhundert Jahre "wahre" Newtonsche Physik vollständig über den Haufen geworfen hat, ist für eine KI vollkommen unmöglich - Das was sie weiß, ist für sie alles unverrückbar gleich "wahr" (muss auch, wie soll sie sonst jemals auf festem Boden stehen).
Verlassen wir uns also irgendwann zu sehr auf "KI" (und das ist allzu einfach, weil es anhand der tatsächlichen Leistung von KI viel zu einfach ist, zu vergessen, dass sie eben nur doof ist, aber praktisch alles weiß)) kocht unser Wissen nur noch im eigenen Saft, das, was wir Wissenschaft nennen, wird denkfaul und es gibt keinen wahren Fortschritt mehr.
Ich sehe das schon in meiner täglichen Arbeit: Viel Software, die wir aus Asien bekommen, besteht zunehmend nur noch aus von ChatGPT zusammengestrickten Versatzstücken von irgendwo anders her - "Neu" ist daran nicht viel. Und es ist verdammt schwer, dabei die Spreu vom Weizen zu trennen (ja, es gibt wirklich gute Softwareentwickler in Asien, die was auf sich halten). (Zugegeben: Vor ChatGPT waren das von Menschen zusammengestückelte Versatzstücke aus StackExchange - Aber dazu ist wenigstens ein bißchen Kreativität notwendig.