Probleme neuronaler Netze

• Große Anzahl an Freiheitsgraden: Viele frei variierbare Parameter können dazu führen, dass ein neuronales Netz grundsätzlich jede menschliche Verhaltensweise simulieren kann. Die Gefahr besteht darin, dass neuronale Netze als Konzept zur Erklärung menschlichen Verhaltens nicht falsifizierbar (=nicht widerlegbar) sind, sondern durch Variation verschiedener Parameter immer vor der Falsifikation geschützt werden können (man spricht in diesem Zusammenhang auch von einer Immunisierungsstrategie). Das auf Karl R. Popper (z. B. 1996) zurückgehende Wissenschaftskriterium der Falsifizierbarkeit betrifft allerdings nur diejenigen neuronalen Netze, die modelliert werden, um die Funktionsweise des menschlichen Gehirns besser zu verstehen. Neuronale Netze, die konkrete Anwendungsprobleme lösen sollen, sind von diesem Kritikpunkt nicht betroffen.
• Fragwürdige biologische Plausibilität: Auch der zweite Kritikpunkt bezieht sich nur auf diejenigen Netze zur Erklärung der Funktionsweise des menschlichen Gehirns. Viele neuronale Netze widersprechen biologischen Grundannahmen und sind somit als Modell zur Erklärung menschlichen Verhaltens nur bedingt geeignet. Ein Beispiel hierzu wäre die Rückwärtsausbreitung bei der "Backpropagation"-Lernregel.
• Großer Rechenaufwand: Herkömmliche Methoden zur Lösung eines Problems besitzen oftmals einen geringeren Rechenaufwand und können mitunter eine exaktere Lösung produzieren als neuronale Netze. Im Gegensatz zu den beiden anderen aufgeführten Problemen betrifft dieser Kritikpunkt nur neuronale Netze, die dazu dienen konkrete Anwendungsprobleme zu lösen.