Google translated from German, cf below, with small improvements of the German text.
Limits of AI
I share the view held by Professor Burkhard and many others that technological development is proceeding not merely rapidly, but exponentially. I will leave aside the question of whether there is a theoretical limit to this process. But does this exponential development also entail an exponential growth in our knowledge? Have we—following that massive leap in the three-dimensional modeling of molecules, from 200,000 to… what was it, 200 million?—actually gained a deeper understanding of these molecules? We have amassed more knowledge, I would say, without necessarily *knowing* more.What is missing from the entire discussion about exponential growth is a look back at the way we humans—human scientists—have developed science. Working with limited data, they arrived at fundamental questions, proposed solutions that have stood the test of centuries, and predicted future developments. I need only think of Galileo, Kepler, Newton, Einstein, Heisenberg etc, the founding fathers of quantum mechanics. I psimply cannot conceive of how current AI technology—and I say this advisedly—could produce such intellectual feats. Nor can I imagine how an AI could generate research questions on its own and then solve them. Consider, for instance, Hilbert’s 23 problems. I do not know whether all of these problems will be, or even can be, solved by today’s AI technology in the coming years. Let us assume it happens. Will that AI then be capable of generating the *next* 23 Hilbert problems? Or did humans—specifically Hilbert—lay such magnificent groundwork that it is no longer worth contemplating further problems?
Yet, consider the very question one might put to an AI: “Are there not other interesting and nearly unsolvable problems?” After all, this is not a question the AI poses itself, but rather one we pose to it. So, when does AI begin to generate questions? So, when does AI begin to generate questions? Of course I mean only scientifically essential questions. Would we first need to find an algorithm that enables the discovery of questions? If I take Turing as a starting point—based on the premise that anything capable of being algorithmized is also capable of being computed—then I conclude that, to achieve this great leap (which humanity made centuries ago), we first need to discover questions that can be algorithmized in the first place. A completely different form of AI—one currently unknown to us—might perhaps be capable of this. However, I do not believe this issue falls into the “yes, but” category. I will leave open the question of whether it belongs in the “not yet” category.In my view, this aspect—the evolution of human intelligence on the one hand and the rapid, exponential development of artificial intelligence on the other—has not yet been sufficiently considered by the key figures and proponents of current developments. Nevertheless, some scientists have touched upon it, even if they have not pursued it in depth—Professor Mainzer, for instance.
Original German version:
Ich teile die Auffassung von Professor Burkhard und vielen anderen, dass die technische Entwicklung nicht nur rasant, sondern exponentiell weitergeht. Ob es dabei irgendwo eine theoretische Grenze gibt, will ich dahingestellt sein lassen.Aber ist mit dieser exponentiellen Entwicklung auch eine exponentielle Entwicklung unseres Wissens verbunden? Haben wir aus diesem gewaltigen Sprung bei der dreidimensionalen Konstruktion von Molekülen – von 200.000 auf, was war es, 200 Millionen? – tatsächlich ein tieferes Wissen über diese Moleküle gewonnen? Wir haben mehr Wissen angehäuft, würde ich sagen, ohne deshalb mehr zu wissen.
Was in der ganzen Diskussion über das exponentielle Wachstum fehlt, ist der Rückblick auf die Art und Weise, wie wir Menschen, wie menschliche Wissenschaftler, Wissenschaft entwickelt haben. Mit wenigen Daten sind sie auf grundlegende Fragestellungen gestoßen, haben Lösungen vorgeschlagen, die sich über Jahrhunderte bewährt haben, und zukünftige Entwicklungen prognostiziert. Ich denke nur an Galileo, Kepler, Newton, Einsten, Heisenberg und die Väter der Quantenmechanik.
Mir geht jegliche Phantasie aus, wie aufgrund der bisherigen KI-Technologie – ich bin da vorsichtig – solche geistigen Großtaten hervorgebracht werden können. Es geht mir auch jegliche Phantasie aus, wie eine KI selbst Fragestellungen erzeugen und sie dann lösen kann.Schauen wir nur zum Beispiel auf die 23 Hilbert-Probleme. Ich weiß nicht, ob in den nächsten Jahren alle diese Probleme durch die heutige KI-Technik gelöst werden oder gelöst werden können. Nehmen wir an, es passiert. Wird diese KI dann in der Lage sein, die nächsten 23 Hilbert-Probleme zu erzeugen? Oder hat der Mensch, genauer gesagt Herr Hilbert, eine so großartige Vorarbeit geleistet, dass es sich gar nicht mehr lohnt, über weitere Probleme nachzudenken?
Aber schon die Fragestellung an eine KI: „Gibt es nicht noch mehr interessante und fast unlösbare Probleme?“ ist ja keine Fragestellung, die die KI selbst stellt, sondern eine, die wir ihr stellen.Wann fängt die KI also an, Fragestellungen zu erzeugen?
Wann fängt die KI also an, Fragestellungen zu erzeugen? Müssten wir zunächst einen Algorithmus finden, der die Entdeckung von Fragestellungen ermöglicht? Wenn ich von Turing ausgehe, nach der Maßgabe: Alles, was algorithmisiert werden kann, kann auch berechnet werden, dann komme ich zu dem Schluss, dass wir für diesen großen Sprung, den die Menschheit schon vor Hunderten von Jahren gemacht hat, zunächst die Entdeckung von Fragestellungen brauchen, die überhaupt algorithmisiert werden können. Eine gänzlich andere, uns heute noch unbekannte Form von KI kann das vielleicht. Aber ich glaube nicht, dass diese Fragestellung in die Kategorie „ja aber“ fällt. Ob sie in die Kategorie „Noch nicht“ gehört, will ich offenlassen.
Dieser Aspekt – die Entwicklung der menschlichen Intelligenz auf der einen Seite und die rasante exponentielle Entwicklung der künstlichen Intelligenz auf der anderen – ist in den Überlegungen der Protagonisten und Verfechter der jetzigen Entwicklung aus meiner Sicht noch nicht ausreichend berücksichtigt worden. Nichtsdestoweniger wurde er von einigen Wissenschaftlern angesprochen, wenn auch nicht vertiefend verfolgt, wie zum Beispiel von Professor Mainzer.