Informations

Comment le cerveau entraîne-t-il son réseau de neurones ?

Comment le cerveau entraîne-t-il son réseau de neurones ?


We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

Une question qui s'est posée lors de l'apprentissage du fonctionnement des réseaux de neurones artificiels était de savoir comment le cerveau peut entraîner son réseau de neurones ?

Lorsque nous disons que nous avons un réseau de neurones artificiels, le problème qui se cache derrière est un problème de minimisation typique, mais rare. Le calcul derrière cela est logique et assez facile. Mais c'est mathématique, donc un ordinateur peut le calculer en effectuant des millions d'itérations. Mais le cerveau ne peut pas faire ça (je serais surpris)

Alors, comment le cerveau résout-il cette tâche. Trial & Error, on ne sait pas ou y a-t-il un système encore plus complexe derrière ?

Merci d'avance. Géorgie


La réponse à cette question est probablement Hebbian Learning.

L'apprentissage hebbien peut être joliment résumé par "Des cellules qui s'allument ensemble, se connectent ensemble". Donc, fondamentalement, les synapses des neurones sont renforcées si elles se déclenchent de manière synchronisée et affaiblies dans le cas contraire.

On peut facilement voir que a) ce type de mécanisme d'apprentissage local a beaucoup plus de sens pour le cerveau qu'une méthode globale comme la descente de gradient et b) ce mécanisme conduit à des représentations stables des modèles.

Dans les réseaux de neurones artificiels, ce type d'apprentissage est modélisé dans les réseaux de Hopfield et les machines de Boltzmann restreintes.

Bien sûr, cette règle simple effleure à peine la surface de ce qui se passe dans le cerveau humain, lorsque nous apprenons quelque chose. Une image complète impliquerait probablement des mécanismes de rétroaction complexes de connexions inhibitrices et excitatrices entre les neurones, les modules fonctionnels des neurones et les différentes parties du cerveau.

Mais je crains que ces détails ne soient pas encore bien compris…


Comportement humain : tout est-il dans le cerveau – ou dans l'esprit ?

Vous avez vu les gros titres : C'est votre cerveau sur l'amour. Ou Dieu. Ou l'envie. Ou le bonheur. Et ils sont accompagnés de manière fiable d'images de cerveaux baignés de couleurs - des scans capturant des moines bouddhistes en train de méditer, des toxicomanes avides de cocaïne et des étudiants choisissant du Coca plutôt que du Pepsi. Les médias - et même certains neuroscientifiques, semble-t-il - adorent invoquer les fondements neuronaux du comportement humain pour tout expliquer, du fiasco financier de Bernie Madoff à la dévotion servile à nos iPhones, les indiscrétions sexuelles des politiciens, le rejet du réchauffement climatique par les conservateurs, et une obsession de l'autobronzant.

Les cerveaux sont aussi gros sur le campus. Prenez une carte de n'importe quelle grande université et vous pourrez suivre la marche des neurosciences depuis les laboratoires de recherche et les centres médicaux jusqu'aux écoles de droit et de commerce et aux départements d'économie et de philosophie. Ces dernières années, les neurosciences ont fusionné avec une multitude d'autres disciplines, donnant naissance à de nouveaux domaines d'étude tels que le neurodroit, la neuroéconomie, la neurophilosophie, le neuromarketing et la neurofinance. Le cerveau a erré dans des redoutes aussi improbables que les départements d'anglais, où les professeurs se demandent si scanner le cerveau des sujets pendant qu'ils lisent des passages des romans de Jane Austen représente : a) une enquête fertile sur le pouvoir de la littérature, ou b) une tentative désespérée d'injecter de la nouveauté dans un domaine qui a épuisé son romantisme avec la psychanalyse et le postmodernisme. En tant qu'artefact culturel nouvellement créé, le cerveau est représenté dans des peintures, des sculptures et des tapisseries et exposé dans les musées et les galeries. Comme l'a noté un expert scientifique, "si Warhol était là aujourd'hui, il aurait une série de sérigraphies dédiées au cortex que l'amygdale accrocherait aux côtés de Marilyn Monroe".

De toute évidence, les cerveaux sont chauds. La perspective de résoudre l'énigme la plus profonde que l'humanité ait jamais envisagée – elle-même – en étudiant le cerveau a captivé les chercheurs et les scientifiques pendant des siècles. Mais jamais auparavant le cerveau n'avait engagé aussi vigoureusement l'imagination publique. L'impulsion principale derrière cet enthousiasme est une forme d'imagerie cérébrale appelée IRMf, ou imagerie par résonance magnétique fonctionnelle, un instrument qui mesure l'activité cérébrale et la convertit en images vibrantes désormais emblématiques que l'on voit dans les pages scientifiques du quotidien.

En tant qu'outil d'exploration de la biologie de l'esprit, la neuroimagerie a donné à la science du cerveau une forte présence culturelle. Comme l'a fait remarquer un scientifique, les images du cerveau « remplacent désormais l'atome planétaire de Bohr en tant que symbole de la science ». Avec sa promesse implicite de décoder le cerveau, il est facile de comprendre pourquoi l'imagerie cérébrale séduirait presque toute personne intéressée à tirer le rideau sur la vie mentale des autres : des politiciens qui espèrent manipuler les attitudes des électeurs, des agents de la loi à la recherche d'un détecteur de mensonges infaillible. , les spécialistes du marketing tapant sur le cerveau pour savoir ce que les consommateurs veulent vraiment acheter, les chercheurs en toxicomanie essayant d'évaluer l'attrait des tentations et les avocats de la défense luttant pour prouver que leurs clients manquent d'intention malveillante ou même de libre arbitre.

Le problème est que l'imagerie cérébrale ne peut faire aucune de ces choses - du moins pas encore.

L'auteur Tom Wolfe était typiquement prémonitoire lorsqu'il a écrit sur l'IRMf en 1996, quelques années seulement après son introduction : « Quiconque se soucie de se lever tôt et d'apercevoir une aube vraiment aveuglante du 21e siècle voudra garder un œil dessus. Maintenant, nous ne pouvons pas détourner le regard.

Pourquoi la fixation ? Tout d'abord, bien sûr, il y a le sujet même des scans : le cerveau lui-même, l'organe de notre moi le plus profond. Plus complexe que n'importe quelle structure du cosmos connu, le cerveau est un chef-d'œuvre de la nature doté de pouvoirs cognitifs qui dépassent de loin la capacité de n'importe quelle machine au silicium conçue pour l'imiter. Contenant environ 80 milliards de cellules cérébrales, ou neurones, dont chacun communique avec des milliers d'autres neurones, l'univers de 3 livres niché entre nos oreilles a plus de connexions qu'il n'y a d'étoiles dans la Voie lactée. Comment cet énorme édifice neuronal donne lieu à des sentiments subjectifs est l'un des plus grands mystères de la science et de la philosophie.

Les images du scanner cérébral ne sont pas ce qu'elles semblent être. Ce ne sont pas des photographies du cerveau en action en temps réel. Les scientifiques ne peuvent pas simplement regarder « dans » le cerveau et voir ce qu'il fait. Ces belles images tachetées de couleurs sont en fait des représentations de zones particulières du cerveau qui travaillent le plus dur - comme mesuré par l'augmentation de la consommation d'oxygène - lorsqu'un sujet effectue une tâche telle que lire un passage ou réagir à des stimuli, tels que des images de visages. Le puissant ordinateur situé dans le scanner transforme les changements de niveaux d'oxygène en taches familières de couleur bonbon indiquant les régions du cerveau qui deviennent particulièrement actives pendant la performance du sujet. Malgré des déductions bien informées, le plus grand défi de l'imagerie est qu'il est très difficile pour les scientifiques de regarder un point enflammé sur un scanner cérébral et de conclure avec précision ce qui se passe dans l'esprit de la personne.

Barack Obama peu après avoir remporté l'élection présidentielle américaine de 2008. Les recherches entreprises par les neuroscientifiques ont suggéré qu'il ne parviendrait pas à s'engager avec les électeurs. Photographie : Tannen Maury/EPA

Il y a des années, alors que la saison des élections présidentielles de 2008 se préparait, une équipe de neuroscientifiques de l'UCLA a cherché à résoudre l'énigme de l'électeur indécis. Ils ont scanné le cerveau des électeurs swing alors qu'ils réagissaient aux photos et aux séquences vidéo des candidats. Les chercheurs ont traduit l'activité cérébrale résultante dans les attitudes tacites des électeurs et, avec trois consultants politiques d'une société basée à Washington DC appelée FKF Applied Research, ont présenté leurs conclusions dans le New York Times dans un éditorial intitulé "This is Your Brain on Politics". Les lecteurs pouvaient voir des scans parsemés de points chauds mandarine et jaune fluo indiquant les régions qui "s'éclairaient" lorsque les sujets étaient exposés à des images d'Hillary Clinton, John Edwards, Rudy Giuliani et d'autres candidats. Selon les auteurs, ces schémas d'activité révèlent « certaines impressions des électeurs sur lesquelles cette élection pourrait bien tourner ». Parmi ces impressions, il y avait que deux candidats n'avaient absolument pas réussi à "s'engager" avec les électeurs swing. Qui étaient ces politiciens impopulaires ? John McCain et Barack Obama, les deux futurs candidats à la présidence.

Les bureaux de presse des universités sont connus pour vanter des détails sensationnels dans leurs communiqués adaptés aux médias : voici un endroit qui s'illumine lorsque les sujets pensent à Dieu (« Centre de religion trouvé ! ») ou que les chercheurs trouvent une région pour l'amour (« L'amour trouvé dans le cerveau » ). Les neuroscientifiques eux-mêmes se réfèrent parfois de manière désobligeante à ces études sous le nom de "blobologie", leur étiquette ironique pour les études qui montrent quelles zones du cerveau s'activent au fur et à mesure de l'expérience des sujets. X ou effectuer oui tâche.

Les journalistes scientifiques qualifiés grincent des dents lorsqu'ils lisent des récits affirmant que les analyses peuvent capturer l'esprit lui-même en action. Les auteurs scientifiques sérieux prennent soin de décrire avec précision une recherche de qualité en neurosciences. En effet, un tourbillon de mécontentement se forme. "Neuromania", "neurohubris" et "neurohype" - "neuro-bollocks", si vous êtes britannique - ne sont que quelques-unes des étiquettes qui ont été utilisées, parfois par des neuroscientifiques frustrés eux-mêmes.

Lire trop dans les scanners cérébraux peut devenir vraiment important lorsque les préoccupations du monde réel sont en jeu. Considérez la loi. Lorsqu'une personne commet un crime, qui est en faute : l'auteur ou son cerveau ? Maintenant, bien sûr, c'est un faux choix. Si la biologie nous a appris quelque chose, c'est que « mon cerveau » contre « moi » est une fausse distinction. Pourtant, si les racines biologiques peuvent être identifiées - et mieux encore, capturées sur un scanner cérébral sous forme de taches de couleur juteuses - il est trop facile pour les non-professionnels de supposer que le comportement examiné doit être « biologique » et donc « câblé », involontaire ou incontrôlable. Les avocats pénalistes, sans surprise, s'appuient de plus en plus sur des images cérébrales censées montrer un défaut biologique qui "a poussé" leurs clients à commettre un meurtre.

En se tournant vers l'avenir, certains neuroscientifiques envisagent une transformation radicale du droit pénal. Le neuroscientifique David Eagleman, pour sa part, se réjouit d'un moment où « nous pourrions un jour découvrir que de nombreux types de mauvais comportements ont une explication biologique de base [et] éventuellement penser à une mauvaise prise de décision de la même manière que nous pensons à tout processus physique, tel que comme le diabète ou les maladies pulmonaires". Au fur et à mesure que cela se produira, prédit-il, "plus de jurys placeront les accusés du côté non blâmable de la ligne". Mais est-ce la bonne conclusion à tirer des données des neurosciences ? Après tout, si chaque comportement est finalement attribué à des corrélats détectables de l'activité cérébrale, cela signifie-t-il que nous pourrons un jour radier tous les comportements indésirables sur une théorie du crime «ne me blâmez pas mon cerveau» ?

Les scientifiques ont fait de grands progrès pour réduire la complexité organisationnelle du cerveau de l'organe intact à ses neurones constitutifs, les protéines qu'ils contiennent, les gènes, etc. En utilisant ce modèle, nous pouvons voir comment la pensée et l'action humaines se déroulent à un certain nombre de niveaux explicatifs, en partant des éléments les plus élémentaires. À l'un des niveaux inférieurs de cette hiérarchie se trouve le niveau neurobiologique, qui comprend le cerveau et ses cellules constitutives. Les gènes dirigent le développement neuronal, les neurones s'assemblent en circuits cérébraux. Le traitement de l'information, ou le calcul, et la dynamique des réseaux neuronaux planent au-dessus. Au niveau intermédiaire se trouvent les états mentaux conscients, tels que les pensées, les sentiments, les perceptions, les connaissances et les intentions. Les contextes sociaux et culturels, qui jouent un rôle puissant dans la formation de nos contenus mentaux et de notre comportement, occupent les paliers les plus élevés de la hiérarchie.

Selon le neuroscientifique Sam Harris, l'enquête sur le cerveau finira par expliquer de manière exhaustive l'esprit et, par conséquent, la nature humaine. En fin de compte, dit-il, les neurosciences dicteront – et devraient – ​​dicter les valeurs humaines. Semir Zeki, le neuroscientifique britannique et juriste Oliver Goodenough salue un « avenir « millénaire », peut-être dans quelques décennies [quand] une bonne connaissance du système de justice du cerveau et de la façon dont le cerveau réagit aux conflits peut fournir des outils essentiels pour résoudre conflits politiques et économiques internationaux ». Non moins une figure imposante que le neuroscientifique Michael Gazzaniga espère une "philosophie de la vie basée sur le cerveau" basée sur une éthique qui est "construite dans notre cerveau. Beaucoup de souffrances, de guerres et de conflits pourraient être éliminés si nous pouvions accepter de vivre par eux plus consciemment".

On dit que le cerveau est la dernière frontière scientifique, et à juste titre selon nous. Pourtant, dans de nombreux milieux, les explications basées sur le cerveau semblent se voir accorder une sorte de supériorité inhérente sur toutes les autres façons de rendre compte du comportement humain. Nous appelons cette hypothèse "neurocentrisme" - l'idée que l'expérience et le comportement humains peuvent être mieux expliqués du point de vue prédominant ou même exclusif du cerveau. De ce point de vue populaire, l'étude du cerveau est en quelque sorte plus "scientifique" que l'étude des motivations, des pensées, des sentiments et des actions humains. En rendant le caché visible, l'imagerie cérébrale a été une aubaine spectaculaire pour le neurocentrisme.

Pensez à la dépendance. « Comprendre la base biologique du plaisir nous amène à repenser fondamentalement les aspects moraux et juridiques de la dépendance », écrit le neuroscientifique David Linden. C'est une logique populaire parmi les experts en toxicomanie, mais pour nous, cela a peu de sens. Certes, il peut y avoir de bonnes raisons de réformer la façon dont le système de justice pénale traite les toxicomanes, mais la biologie de la toxicomanie n'en fait pas partie. Pourquoi? Car le fait que l'addiction soit associée à des changements neurobiologiques n'est pas, en soi, la preuve que le toxicomane est incapable de choisir. Il suffit de regarder l'acteur américain Robert Downey Jr. Il était autrefois une affiche pour l'excès de drogue. "C'est comme si j'avais un pistolet chargé dans ma bouche et mon doigt sur la détente, et j'aime le goût du bronze à canon", a-t-il déclaré. Cela semblait n'être qu'une question de temps avant qu'il ne rencontre une fin horrible. Mais Downey Jr est entré en cure de désintoxication et a décidé de changer de vie. Pourquoi Robert Downey Jr a-t-il consommé de la drogue ? Pourquoi a-t-il décidé de s'arrêter et de rester propre et sobre ? Un examen du cerveau, aussi sophistiqué soit-il, ne peut pas nous le dire pour le moment, et ne le fera probablement jamais. Le problème clé du neurocentrisme est qu'il dévalorise l'importance des explications psychologiques et des facteurs environnementaux, tels que le chaos familial, le stress et l'accès généralisé aux médicaments dans le maintien de la dépendance.

De nouveaux neuro-enthousiasmes sont endémiques à la science du cerveau moderne, apparemment sur une base quotidienne. Les aspirants entrepreneurs s'appuient désormais sur des livres de neurogestion tels que Votre cerveau et votre entreprise : la neuroscience des grands leaders, qui conseille aux PDG nerveux "d'être conscients que les centres d'anxiété dans le cerveau se connectent aux centres de la pensée, y compris le PFC [cortex préfrontal] et l'ACC [cortex cingulaire antérieur]". L'esprit est éphémère et mystérieux, mais le cerveau est concret. Il promet de produire des découvertes objectives qui durciront même la science la plus douce, du moins c'est ce que dit la logique douteuse. Les parents et les enseignants sont des repères faciles pour les « gymnases cérébrales », « l'éducation compatible avec le cerveau » et « la parentalité basée sur le cerveau », sans parler des dizaines d'autres techniques. Mais, la plupart du temps, ces entreprises astucieuses ne font qu'habiller de bons conseils ou reconditionner les bromures avec des découvertes neuroscientifiques qui n'ajoutent rien au programme global. Comme l'a dit un psychologue cognitif en plaisantant : « Incapable de persuader les autres de votre point de vue ? Prenez un neuro-préfixe – l'influence grandit ou votre argent est remboursé ».

La nôtre est une époque où la recherche sur le cerveau est florissante - une époque d'attentes vraiment grandes. Pourtant, c'est aussi une époque de neurosciences insensées qui nous amène à surestimer à quel point les neurosciences peuvent améliorer les pratiques juridiques, cliniques et marketing, sans parler d'éclairer les politiques sociales. Les médias naïfs, le neuroentrepreneur astucieux et même le neuroscientifique occasionnel trop zélé exagèrent la capacité des scans à révéler le contenu de notre esprit, exaltent la physiologie cérébrale comme étant intrinsèquement le niveau d'explication le plus précieux pour comprendre le comportement, et se précipitent pour appliquer des applications sous-développées, si éblouissantes. , la science à des fins commerciales et médico-légales.

Le domaine neurobiologique est l'un des cerveaux et des causes physiques, le domaine psychologique est celui des personnes et de leurs motivations. Les deux sont essentiels pour bien comprendre pourquoi nous agissons comme nous le faisons. Mais le cerveau et l'esprit sont des cadres différents pour expliquer l'expérience humaine. Et la distinction entre eux n'est pas une question académique : elle a des implications cruciales sur la façon dont nous pensons à la nature humaine, ainsi que sur la meilleure façon de soulager la souffrance humaine.

Les développements de la nanotechnologie du cerveau pourraient conduire à la possibilité de prothèses cérébrales ou même de cerveaux synthétiques. Photographie : Istock


Bioinformatique

6.01.1 Présentation

Les algorithmes d'intelligence artificielle sont utilisés depuis longtemps pour modéliser les systèmes de prise de décision, car ils permettent une extraction automatisée des connaissances et une grande précision d'inférence. Les réseaux de neurones artificiels (ANN) sont une classe d'algorithmes d'intelligence artificielle qui ont émergé dans les années 1980 à partir des développements de la recherche cognitive et informatique. Comme d'autres algorithmes d'intelligence artificielle, les ANN étaient motivés pour aborder les différents aspects ou éléments de l'apprentissage, tels que comment apprendre, comment induire et comment déduire. Pour de tels problèmes, les ANN peuvent aider à tirer des conclusions à partir d'observations de cas et à résoudre les problèmes de prédiction et d'interprétation.

À proprement parler, la plupart des algorithmes d'apprentissage utilisés par les ANN sont enracinés dans l'analyse de modèle statistique classique. La plupart d'entre eux sont basés sur la distribution de données, à la différence des algorithmes d'ensemble grossier (Komorowski, Chapitre 6.02 ). Les ANN introduisent une nouvelle façon de traiter et d'analyser des données très complexes. La plupart des algorithmes ANN ont deux caractéristiques communes. Premièrement, son réseau est composé de nombreux neurones artificiels connectés entre eux. Les connexions sont appelées paramètres et les connaissances acquises à partir d'un ensemble de données sont ensuite représentées par ces paramètres de modèle. Cette caractéristique rend un modèle ANN similaire à un cerveau humain. Deuxièmement, un modèle ANN ne fait généralement aucune hypothèse préalable sur la distribution des données avant l'apprentissage. Cela favorise grandement la convivialité des ANN dans diverses applications.

L'étude des ANNs a connu plusieurs étapes importantes. Au début, les études ANN étaient principalement motivées par des intérêts théoriques, c'est-à-dire la recherche de la capacité d'une machine à remplacer l'humain pour la prise de décision et la reconnaissance de formes. Les chercheurs pionniers ( McCulloch et Pitts, 1943 ) ont montré la possibilité de construire un réseau de neurones pouvant interagir les uns avec les autres. Le réseau était basé sur des relations logiques symboliques. Cette idée antérieure de McCulloch et Pitts n'était pas théoriquement rigoureuse comme l'indique Fitch (1944) . Plus tard en 1949, Hebb a donné des preuves plus concrètes et plus rigoureuses de comment et pourquoi le modèle McCulloch-Pitts fonctionne ( Hebb, 1949 ). Il a montré comment les voies neuronales sont renforcées une fois activées. En 1954, Marvin Minsky a terminé ses études doctorales sur les réseaux de neurones et sa discussion sur les ANN est apparue plus tard dans son livre fondateur ( Minsky, 1954 ). Cela a contribué à susciter un intérêt à grande échelle pour la recherche ANN. En 1958, Frank Rosenblatt a construit un ordinateur à l'Université Cornell appelé le perceptron (appelé plus tard perceptron à couche unique (SLP)) capable d'acquérir de nouvelles compétences par essais et erreurs en imitant le processus de pensée humain. Cependant, Minksy (1969) a démontré son incapacité à traiter des données complexes, ce qui a quelque peu freiné l'activité de recherche de l'ANN pendant de nombreuses années.

Dans la période des années 1970 et 1980, la recherche ANN n'a en fait pas complètement cessé. Par exemple, la carte auto-organisatrice (SOM) ( Kohonen, 2001 ) et le réseau de Hopfield ont été largement étudiés ( Hopfield, 1982 ). En 1974, Paul Werbos a mené son étude doctorale à l'Université de Harvard sur un processus de formation appelé rétropropagation des erreurs qui a été publié plus tard dans son livre ( Werbos, 1994 ). Cette contribution importante a conduit aux travaux de David Rumelhart et de ses collègues dans les années 1980 sur l'algorithme de rétropropagation, implémenté pour des problèmes d'apprentissage supervisé ( Rumelhart et McClelland, 1987 ). Depuis lors, les ANN sont devenus très populaires pour les études théoriques et les exercices pratiques.

Dans ce chapitre, nous nous concentrons sur deux modèles ANN particuliers : le perceptron multicouche de Rumelhart (MLP) et le SOM de Kohonen. Le premier est un ANN standard pour l'apprentissage supervisé tandis que le second est un apprentissage non supervisé. Les deux adoptent un processus d'apprentissage par essais et erreurs. MLP vise à créer une fonction pour mapper un type d'observation à un autre type (par exemple, des génotypes aux phénotypes) et SOM explore la structure interne au sein d'un ensemble de données (données génotypiques uniquement).

Contrairement à la SLP de Rosenblatt, la MLP de Rumelhart introduit des neurones cachés correspondant à des variables cachées. Un modèle MLP est en fait une composition hiérarchique de plusieurs SLP. Par exemple, considérons un MLP à trois couches pour mapper les génotypes aux phénotypes. Si on a deux variables X1 et X2 décrivant le statut génotypique, nous pouvons construire deux SLP, z1 = F(X1,X2) et z2 = F(X1,X2), pour une fonction spécifiée F(∘). Basé sur z1 et z2, un SLP de niveau supérieur est construit, oui = F(z1,z2), où oui est appelée sortie du modèle correspondant aux données phénotypiques collectées notées par t. X1, X2, et t sont des données observées (collectées dans le cadre d'une expérience) tandis que z1 et z2 ne sont pas observés - z1 et z2 sont des variables cachées. Pour cet exemple, MLP modélise la relation non linéaire entre les données génotypiques et phénotypiques sans savoir quelle est la véritable fonction entre elles. SLP et MLP sont tous deux des modèles d'apprentissage supervisé de sorte que pendant l'apprentissage, les observations de phénotypes agissent comme un enseignant pour superviser l'estimation des paramètres.

Le réseau de Kohonen, en revanche, est un algorithme d'apprentissage non supervisé. L'objectif de SOM est de révéler comment les observations (instances ou échantillons) sont partitionnées. Ceci est similaire à l'analyse de cluster, qui ne permet cependant pas de déduire la corrélation entre les clusters. SOM, d'autre part, peut fournir des informations sur la corrélation des clusters. SOM est un algorithme d'apprentissage non supervisé car il n'utilise pas de données phénotypiques pour l'estimation des paramètres du modèle.

Nous discuterons de l'estimation des paramètres, de la règle d'apprentissage et des algorithmes d'apprentissage pour MLP et SOM. Le processus d'optimisation des paramètres est généralement basé sur la minimisation d'une fonction d'erreur, choisie pour un problème spécifique. Nous montrerons comment les règles d'apprentissage sont dérivées pour MLP et SOM en fonction de leurs fonctions d'erreur, puis discuterons de certaines applications biologiques de ces deux algorithmes ANN.


Rapport à la réalité

Morrison utilise des ordinateurs pour simuler des réseaux de neurones impliquant environ 100 000 cellules, dans le but de modéliser le cerveau humain. Cependant, comme on ne sait toujours pas comment le gigantesque chaos de cellules et de synapses du cerveau humain apprend et pense, Morrison propose toujours une hypothèse en premier. Concrètement, cela signifie : « Par exemple, je pense à la façon dont un réseau apprend une certaine tâche », a déclaré Morrison. « Ensuite, je modélise cette tâche à l'aide du logiciel de simulation pour savoir si le réseau peut réellement apprendre cette tâche particulière. » Comment les cellules individuelles doivent-elles être connectées les unes aux autres ? Quelles activités permettent aux circuits de se consolider et lesquelles les affaiblissent ?

Même si le modèle informatique fonctionne, cela ne signifie pas nécessairement que Morrison a découvert quelque chose sur le vrai cerveau. Le système théorique modélisé par l'ordinateur doit prouver sa valeur par rapport aux résultats empiriques. L'un des projets de Morrison avec ses partenaires de recherche portait sur un réseau capable d'apprendre à s'orienter dans l'espace. Cela a un équivalent dans le monde réel. Imaginez mettre une souris dans un réservoir d'eau. Une plate-forme sur laquelle la souris peut marcher se trouve juste en dessous de la surface de l'eau où la souris ne peut pas la voir. Après quelques tentatives, la souris déterminera où se trouve la plate-forme et pourra ensuite la trouver assez rapidement en cas de besoin. "Nous avons mis en œuvre une version plus abstraite de cet algorithme d'apprentissage dans notre réseau", a déclaré Morrison, qui a constaté que les propriétés des neurones individuels du réseau correspondaient parfaitement aux propriétés de vrais neurones caractérisés dans un certain nombre de projets empiriques.

Approche utilisée pour simuler un réseau de neurones capable d'apprendre une tâche d'orientation spatiale. &copier Prof. Dr. Abigail Morrison


Qu'est-ce qu'un réseau de neurones et en quoi son fonctionnement diffère-t-il de celui d'un ordinateur numérique ? (En d'autres termes, le cerveau est-il comme un ordinateur ?)

Les réseaux de neurones artificiels sont des modèles informatiques parallèles, comprenant des unités de traitement adaptatif densément interconnectées. Ces réseaux sont composés de nombreux mais simples processeurs (par rapport, par exemple, à un PC, qui a généralement un seul processeur puissant) agissant en parallèle pour modéliser des systèmes statiques ou dynamiques non linéaires, où une relation complexe existe entre une entrée et sa sortie correspondante. .

Une caractéristique très importante de ces réseaux est leur nature adaptative, dans laquelle « l'apprentissage par l'exemple » remplace la « programmation » dans la résolution de problèmes. Ici, « l'apprentissage » fait référence à l'ajustement automatique des paramètres du système afin que le système puisse générer la sortie correcte pour une entrée donnée. Ce processus d'adaptation rappelle la façon dont l'apprentissage se produit dans le cerveau via des changements dans l'efficacité synaptique des neurones. Cette caractéristique rend ces modèles très attrayants dans les domaines d'application où l'on a une compréhension faible ou incomplète du problème à résoudre, mais où les données d'apprentissage sont disponibles.

Un exemple serait d'apprendre à un réseau de neurones à convertir un texte imprimé en parole. Ici, on pourrait choisir plusieurs articles d'un journal et générer des centaines de paires d'entraînement&mdashan input et son son de sortie "souhaité" associé&mdashas suit : l'entrée du réseau neuronal serait une chaîne de trois lettres consécutives d'un mot donné dans le texte. La sortie souhaitée que le réseau devrait générer pourrait alors être le son de la deuxième lettre de la chaîne d'entrée. La phase d'apprentissage consisterait ensuite à parcourir les exemples d'apprentissage et à ajuster les paramètres du réseau&mdashessentiellement, à apprendre&mdashafin que toute erreur dans le son de sortie soit progressivement minimisée pour tous les exemples d'entrée. Après la formation, le réseau pourrait ensuite être testé sur de nouveaux articles. L'idée est que le réseau de neurones se « généralise » en étant capable de convertir correctement le nouveau texte en parole.

Une autre caractéristique clé est l'architecture parallèle intrinsèque, qui permet un calcul rapide des solutions lorsque ces réseaux sont mis en œuvre sur des ordinateurs numériques parallèles ou, finalement, lorsqu'ils sont mis en œuvre dans du matériel personnalisé. Dans de nombreuses applications, cependant, ils sont implémentés en tant que programmes qui s'exécutent sur un PC ou un poste de travail informatique.

Les réseaux de neurones artificiels sont des modèles viables pour une grande variété de problèmes, notamment la classification des modèles, la synthèse et la reconnaissance de la parole, les interfaces adaptatives entre les humains et les systèmes physiques complexes, l'approximation des fonctions, la compression d'images, la prévision et la prédiction et la modélisation de systèmes non linéaires.

Ces réseaux sont « neuronaux » au sens où ils peuvent avoir été inspirés par le cerveau et les neurosciences, mais pas nécessairement parce qu'ils sont des modèles fidèles de phénomènes biologiques, neuronaux ou cognitifs. En fait, de nombreux réseaux de neurones artificiels sont plus étroitement liés aux modèles mathématiques et/ou statistiques traditionnels, tels que les classificateurs de motifs non paramétriques, les algorithmes de clustering, les filtres non linéaires et les modèles de régression statistique, qu'aux modèles neurobiologiques.


3 réponses 3

Un facteur de limitation matériel probable est la bande passante interne. Un cerveau humain a 10$^<15>$ de synapses. Même si chacun n'échange que quelques bits d'information par seconde, c'est de l'ordre de 10$^<15>$ octets/sec de bande passante interne. Un GPU rapide (comme ceux utilisés pour entraîner les réseaux de neurones) peut approcher 10^<11>$ octets/s de bande passante interne. Vous pourriez en avoir 10 000 ensemble pour obtenir quelque chose de proche de la bande passante interne totale du cerveau humain, mais les interconnexions entre les nœuds seraient relativement lentes et entraveraient le flux d'informations entre les différentes parties du "cerveau".

Une autre limitation pourrait être la puissance de traitement brute. Un GPU moderne a peut-être 5 000 unités mathématiques. Chaque unité a un temps de cycle de

1000 cycles pour effectuer le travail de traitement équivalent qu'un neurone fait dans

1/10 de seconde (cette valeur est totalement tirée de l'air, nous ne connaissons pas vraiment le moyen le plus efficace de faire correspondre le traitement cérébral dans le silicium). Ainsi, un seul GPU pourrait être capable de faire correspondre des neurones à 5 $ fois 10^8 $ en temps réel. Vous auriez besoin de 200 d'entre eux de manière optimale pour correspondre à la puissance de traitement du cerveau.

Ce calcul au fond de l'enveloppe montre que la bande passante interne est probablement une contrainte plus sévère.

Cela a été mon domaine de recherche. J'ai vu les réponses précédentes qui suggèrent que nous n'avons pas une puissance de calcul suffisante, mais ce n'est pas tout à fait vrai.

L'estimation de calcul pour le cerveau humain varie de 10 pétaFLOPS ( $1 imes 10^<16>$ ) à 1 exaFLOPS ( $1 imes 10^<18>$ ). Utilisons le nombre le plus conservateur. Le TaihuLight peut faire 90 petaFLOPS soit 9 $ imes 10^<16>$ .

Nous voyons que le cerveau humain est peut-être 11 fois plus puissant. Donc, si la théorie computationnelle de l'esprit était vraie, alors TaiHuLight devrait être capable d'égaler la capacité de raisonnement d'un animal environ 1/11ème aussi intelligent.

Si nous regardons une liste de cortex neural, le singe écureuil a environ 1/12ème du nombre de neurones dans son cortex cérébral en tant qu'humain. Avec l'IA, nous ne pouvons pas égaler la capacité de raisonnement d'un singe écureuil.

Un chien a environ 1/30e du nombre de neurones. Avec l'IA, nous ne pouvons pas égaler la capacité de raisonnement d'un chien.

Un rat brun a environ 1/500ème du nombre de neurones. Avec l'IA, nous ne pouvons pas égaler la capacité de raisonnement d'un rat.

Cela nous ramène à 2 pétaFLOPS ou 2 000 téraFLOPS. Il y a 67 supercalculateurs dans le monde qui devraient être capables d'égaler cela.

Une souris a deux fois moins de neurones qu'un rat brun. Il y a 190 supercalculateurs qui devraient être capables d'égaler sa capacité de raisonnement.

Une grenouille ou un poisson non scolarisé en représente environ 1/5. Tous les 500 meilleurs supercalculateurs sont 2,5 fois plus puissants que celui-ci. Pourtant, aucun n'est capable d'égaler ces animaux.

Quel est exactement l'obstacle auquel nous sommes confrontés ?

Le problème est qu'un système cognitif ne peut pas être défini en utilisant uniquement Church-Turing. L'IA devrait être capable de faire correspondre des animaux non cognitifs comme les arthropodes, les vers ronds et les vers plats, mais pas les poissons plus gros ni la plupart des reptiles.

Je suppose que je dois donner des exemples plus concrets. Le système NEST a démontré 1 seconde de fonctionnement de 520 millions de neurones et 5,8 billions de synapses en 5,2 minutes sur les 5 petaFLOPS BlueGene/Q. L'idée actuelle est que, s'ils pouvaient faire évoluer le système de 200 à un exaFLOPS, ils pourraient alors simuler le cortex cérébral humain à la même vitesse normale de 1/300e. Cela peut sembler raisonnable, mais cela n'a pas vraiment de sens.

Une souris possède 1/1000e de neurones comme un cortex humain. Ce même système devrait donc être capable aujourd'hui de simuler un cerveau de souris au 1/60e de la vitesse normale. Alors, pourquoi ne le font-ils pas ?


Articles tendance sur l'IA :

Actuellement, il existe deux domaines d'étude des réseaux de neurones.

  1. Création de modèles informatiques qui fidèlement répéter les modèles de fonctionnement des neurones du vrai cerveau. Il permet d'expliquer à la fois les mécanismes du fonctionnement réel du cerveau et de mieux apprendre le diagnostic/traitement des maladies et des lésions du système nerveux central. In ordinary life, for example, it allows us to learn more about what a person prefers (by collecting and analyzing data), to get closer to the human creating more personalized interfaces, etc.
  2. Creation of computer models that abstractly repeat the functioning models of neurons of the real brain. It makes possible to use all the advantages of the real brain, such as noise immunity and energy efficiency, in the analysis of large amounts of data. Here, for example, deep learning is gaining popularity.

Like the human brain, neural networks consist of a large number of related elements that mimic neurons. Deep neural networks are based on such algorithms, due to which computers learn from their own experience, forming in the learning process multi-level, hierarchical ideas about the world.

The architecture of the British Deepmind programs, according to one of the co-founders, is based on the functioning principles of the brain of different animals. Having worked in the game industry, he went to get a doctorate in MIT and studied how autobiographical memory works, how hypothalamus damages cause amnesia. The head of Facebook AI Reasearch also sees the future of machine learning in the further study of the functioning principles of living neural systems and their transfer to artificial networks. He draws such an analogy: we are not trying to make mechanical bats, but we are studying the physical laws of airflow around the wing while building airplanes — the same principle should be used to improve neural networks.

Deep learning developers always take into account the human brain features — construction of its neural networks, learning and memory processes, etc, trying to use the principles of their work and modeling the structure of billions of interconnected neurons. As a result of this, Deep learning is a step-by-step process similar to a human’s learning process. To do this, it is necessary to provide a neural network with a huge amount of data to train the system to classify data clearly and accurately.

In fact, the network receives a series of impulses as the inputs and gives the outputs, just like the human brain. At each moment, each neuron has a certain value (analogous to the electric potential of biological neurons) and, if this value exceeds the threshold, the neuron sends a single impulse, and its value drops to a level below the average for 2–30 ms (an analog of the rehabilitation process in biological neurons, so-called refractory period). When out of the equilibrium, the potential of the neuron smoothly begins to tend to the average value.

In general, deep learning is very similar to the process of human learning and has a phased process of abstraction. Each layer will have a different “weighting”, and this weighting reflects what was known about the components of the images. The higher the layer level, the more specific the components are. Like the human brain, the source signal in deep learning passes through processing layers further, it takes a partial understanding (shallow) to a general abstraction (deep), where it can perceive the object.

An important part of creating and training neural networks is also the understanding and application of cognitive science. This is a sphere that studies the mind and the processes in it, combining the elements of philosophy, psychology, linguistics, anthropology, and neurobiology. Many scientists believe that the creation of artificial intelligence is just another way of applying cognitive science, demonstrating how human thinking can be modeled in machines. A striking example of cognitive science is the Kahneman decision-making model, determining how a person makes a choice at any given moment — consciously or not (now often used in marketing AI).

At the moment, the biggest challenges to use deep learning lie in the field of understanding the language and conducting dialogs — systems must learn to operate the abstract meanings that are described semantically (creativity and understanding the meaning of a speech). And yet, despite the rapid development of this area, the human brain is still considered the most advanced “device” among neural networks: 100 trillion synaptic connections, organized into the most complex architecture.
Though, scientists believe that in the next half-century (forecasts vary greatly — from 10 to 100 years), the Universe will be able to step towards artificial neural networks that exceed human capabilities.


An Introduction to Spiking Neural Networks (Part 1)

Recently, Elon Musk owned neurotech startup Neuralink announced its ambitious plans to enhance the human brain’s computational capabilities by implanting minuscule, flexible robotic electrodes onto the surface of the brain. These nanomachines would then effectively be able to function as a part of your brain, making us superhuman cyborgs if all goes according to plan!

That brings us to the question, how would these nanomachines be able to process the signals in our brain and further contribute additional signals to enhance the brain’s capabilities? In order to understand this, let’s first take a look at how the neurons in the brain are wired and how information is represented and transmitted by them.

We will also then see how the biological neural networks in our brain compared to the artificial neural networks(ANNs) that have led to the emergence of deep learning. Finally, we will explore whether modeling neural networks by using more biologically realistic neuron models and learning rules could be the next big step in the world of deep learning.

I am writing this article mainly for readers who are fascinated by the seemingly magical powers of deep learning and have little to no background in biology, so pardon me if some of the next information seems very elementary to some of you!

Understanding how biological neurons create and transmit information

Although there are hundreds of different types of neurons in the brain, the above diagram which can be found in most introductory textbooks can be considered a good functional representation of a neuron.

The biochemical conditions in our brain are such that concentrations of ions are unequal inside and outside the membrane of a neuron which leads to the development of a potential difference. There is a higher concentration of positively charged ions outside the cell membrane, which means that there is a negative potential difference between the inside and the outside.

Neurons communicate with each other through voltage spikes! That is, from an engineer’s point of view, a neuron is nothing but a battery with a switch which only can be closed for the tiniest instant, thus producing a voltage spike and then becoming open again!

Biologists will complain that this is a very crude way to describe neuron function, but it works. Although there are beautiful biochemical mechanisms at play behind all of this, essentially a biological neuron is a battery with a switch that stays closed only momentarily. If you are interested in understanding how the sodium-potassium pump works and how voltage spikes are generated, I would recommend watching Khan Academy's video series on this topic:

You might be thinking,”Wait, that sounds easy enough but when does the switch close?” In order to answer that allow me to introduce you to the concept of ‘receptive field’ of a neuron.

Receptive field

Let us consider the neurons in your eyes (known as photoreceptors) to understand this concept. The photoreceptors are connected to the visual cortex(the part of your brain that processes visual input) through the optic nerve and some other neurons in the eye.

Now read this carefully! Each photorecepetor’s ‘switch’ closes when light is incident upon it in a particular manner.The exact way in which light has to be incident on a photoreceptor to close its switch is different for each photoreceptor.

For example, one photoreceptor may respond to red light falling on it at 60 degrees. Another photorecpetor may be receptive to the intensity of light. Its switch may close when light below a certain intensity level falls on it at any angle. The particular way in which light needs to fall upon a photoreceptor is called its ‘receptive field’ and we say that it fires an ‘potentiel d'action’ (fancy biologists’ way of saying spike of high voltage). If the manner in which light is incident on a neuron does not align with its receptive field, the neuron will not be as ‘activated’ and thus its switch is much less likely to close as compared to the case in which the light does align with its receptive field.

Each neuron in the nervous system has a receptive field! It is easy for us to figure out what the receptive field is for neurons that directly receive external input from the surroundings of the organism. However, as we go deeper inside the nervous system, the receptive fields of neurons become more complex. For example, there may be a neuron in your brain that fires an action potential when you see a picture of Cristiano Ronaldo or one that fires when you hear high pitched screaming as you are walking through the woods!

But how does that neuron deep inside your brain come to know that you are looking at a picture of Cristiano Ronaldo? Drawing a parallel to ConvNets, our neuron here has learned to detect a feature. But what learning rule is at play here? Does our brain actually carry out backpropagation?! Before I answer that, let me explain to you how action potentials are transmitted to other neurons.

When a neuron fires an action potential, the voltage spike travels along the axon of the neuron (which essentially acts like a conducting wire, for biochemical mechanism refer to Khanacademy). When the action potential reaches an axon terminal(the end part of an axon), it causes the release of neurotransmitters.

What are neurotransmitters?

Neurotransmitters are chemicals which are stored in bags called synaptic vesicles in the axon terminals. These bags are burst when an action potential reaches the terminal. The chemicals travel through the region between the axon terminal of the initial neuron (presynaptic neuron) and the next neuron’s dendrites (postsynaptic neuron). The connection between two neurons is called a synapse. The neurotransmitters attach to receptors present on the dendrites of the postsynaptic neuron. The effect of the neurotransmitters attaching to receptors depends on the type of neurotransmitter. Let’s see what the types are.

Types of neurotransmitters

Excitatory and inhibitory are the two types of neurotransmitters. Lorsque excitatory neurotransmitters attach onto receptors, they cause a net flow of positive ions into the neuron, which is called dépolarisation. The openings in the neuron’s cell membrane through which the positive ions flow are called canaux ioniques.

Initially the voltage changes occuring due to opening of ion channels are linear and additive in nature. However once enough positive ions have come inside and the potential difference has reached a value called ‘threshold potential’ there is a sudden mass entry of positive ions which results in an action potential (ie. closing of the switch). After an action potential has occurred, the neuron returns to its initial stable state over a period of time.

On the other hand, if an inhibitory neurotransmitter that attaches to the receptors , it causes opening of ion channels that allow negatively charged ions to flow in or let positively charged ions flow out. Due to this, the potential difference between the exterior and interior becomes more negative and this process is called hyperpolarization.

How different types of neurotransmitters together determine neuron function

Almost all neurons in the brain have thousands of synapses(connections to other neurons). Neurons themselves can be classified as excitatory and inhibitory. Excitatory neurons contain only excitatory neurotransmitters in their synaptic vesicles whereas inhibitory neurons contain only inhibitory neurotransmitters. It is reasonable to assume that the average neuron in the brain is connected to tens or maybe hundreds of neurons of each type. As a result, at any point of time, a neuron in an active organism would be receiving inputs at multiple synapses. The net effect of this is that inhibitory and excitatory presynaptic neurons would compete to influence the activity of our postsynaptic neuron. Sometimes, the excitatory neurons win and the postsynaptic neuron fires a spike. Whereas sometimes the inhibitory neurons are able to shut it up for quite a long time!

Now here’s what makes it even more interesting. If the neuron that fired a spike is inhibitory, it will try to suppress the other neurons it is connected to. This even though its presynaptic excitatory neurons won the battle and managed to get it to spike, they might lose the war because our current neuron may suppress other excitatory neurons from firing and slow down the flow of information!

Strength of connections between neurons

The strength of a connection between two neurons decides to what extent the presynaptic neuron is able to influence the spiking behavior of the postsynaptic neuron. The strength depends upon the amount of neurotransmitter the presynaptic neuron releases and how receptive the postsynaptic neuron is to it. The strength of a connection between two neurons is not fixed. I will discuss how the magnitudes of connections are changed in the next part of this series :).

What happens after an action potential is fired?

Earlier in this post I said that after a neuron fires an action potential, it returns to its stable state. However, this is not an instantaneous process. The time period after the end on an action potential is called période réfractaire.

During the refractory period, it is difficult or in some cases impossible to trigger another action potential in the neuron no matter how strong the excitatory inputs to it are. This happens because the sodium ion channels which play a crucial role in the depolarization phase that causes the action potential are in an inactivated state and do not open at any membrane potential.

This is how it is ensured that a neuron receiving constant excitatory input does not go on a crazy firing spree and end up producing a lot more information for other neurons to process than necessary.

Computational models of neurons

How can we make computer models of biological neurons? Note that all information transmission related processes in biological neurons occur due to change in concentrations of ions. Could we model these biochemical processes using differential equations?

In 1952, two scientists Hodgkin and Huxley attempted to do so and ended up winning a Noble prize for their efforts! They modeled the cell membrane of and do not open at any membrane potential.the neuron as an electric circuit, similar to the one shown below:

They considered only the two most common ions involved in the generation of action potentials: Sodium(Na+) and Potassium(K+). They also incorporated a ‘leak current’ into their model, which basically accounts for the cell membrane not being completely impermeable to ions at all times. Using Ohm’s Law(V = IR) they wrote down the following circuit equations:

We know that the current flowing through the circuit is the sum of these three currents and the current through the capacitor. Using the current-voltage relation for a capacitor we get:


Our Brain Can Be Used As A Pattern

The neuron also called the "brain cell" is an electrically excitable cell that processes and transmits information by electrochemical signals. The synapse is a junction, between a pair of neurons, where the impulse is being transmitted. The neurons are never divided or replaced by new ones. On the other hand, the synapses can be modified, in such a way, that we can make connections where the signals had never been transmitted before. The workings of these generate a sequence of systematically different structures of our brain.

Neurons &ndash brain cells (Source: Pixabay)

Like biological neurons, an artificial neural network's simulated neurons work together.

To each connection between one synthesized neuron and another, we assign a value called a weight. This number represents the strength of the linkage and defines the internal procedures of the machine.

Every time we use the NN, the system is re-modifying the weights and targeting the minimization of errors, which, in turn, gets us one step closer to our goals &ndash the right classification of the data. This means that the outputs are correct or have a good probability rate of being the correct solutions.

Machine learning is intended for a larger purpose i.e., achieving a high rate of intelligence.

Using an innovative artificial intelligence tool, the NN learns how to generate contextually relevant reviews. For example, if we ask for the best food around us, the system will answer. But the language will include various adjectives, which are not consistent with our way of talking.

If we use every single input available for a valuable result, then high performance could be obtained.


Discussion

We here present an initial framework for quantitatively comparing any artificial neural network to the brain’s neural network for visual processing. With even the relatively small number of brain benchmarks that we have included so far, the framework already reveals interesting patterns: It extends prior work showing that performance correlates with brain similarity, and our analysis of state-of-the-art networks yielded DenseNet-169, CORnet-S and ResNet-101 as the current best models of the primate visual stream. On the other hand, we also find a potential disconnect between ImageNet performance and Brain-Score: many of the best ImageNet models fall behind other models on Brain-Score, with the winning DenseNet-169 not being the best ImageNet model, and even small networks (“BaseNets”) with poor ImageNet performance achieving reasonable scores.

We do not believe that our initial set of chosen metrics is perfect, and we expect the metrics to evolve in several ways:

By including more data of the same type used here

More neural sites collected with even the same set of images will provide more independent data samples, ensuring that models do not implicitly overfit a single set of benchmarks. Moreover, more data from more individuals will allow us to better estimate between-participant variability (i.e., the noise ceiling), establishing the upper bound of where models could possibly be (see below).

By acquiring the same types of data using new images

Presently, our datasets use naturalistic images, generated by pasting objects on a random backgrounds. While these datasets are already extremely challenging, we will more stringently be able to test model ability to generalize beyond its training set by expanding our datasets to more classes of images (e.g., photographs, distorted images (Geirhos et al., 2018), artistic renderings (Kubilius et al., 2018a), images optimized for neural responses (Bashivan et al., 2018)).

By acquiring the same types of data from other brain regions

The current benchmarks include V4, IT and behavioral readouts, but visual stimuli are first processed by the retina, LGN, V1 and V2 in the ventral stream. Including spiking neural data from these regions further constrains models in their early processing. Moreover, top-down modulation and control warrants recordings outside the ventral stream in regions such as PFC.

By adding qualitatively new types of data

Our current set of neural responses consists of recordings from implanted electrode arrays, but in humans, fMRI recordings are much more common. Local Field Potential (LFP), ECoG, and EEG/MEG could also be valuable sources of data. Moreover, good models of the primate brain should not only predict neural and behavioral responses but should also match brain structure (anatomy) in terms of number of layers, their order, connectivity patterns, ratios of numbers of neurons in different areas, and so on. Finally, to scale this framework to a more holistic view of the brain, adding benchmarks for other tasks and domains outside of core object recognition is essential.

By providing better experimental estimates of the ceilings of each component score

Note that it is still difficult to establish whether the ANN models are truly plateauing in their brain similarity – as implied in the results presented above – or if we are observing the limitations of our experimental datasets. For instance, neural ceilings only reflect the internal consistency of individuals neurons and, in that sense, are only an upper bound on the ceiling. That is, those neural responses are collected from individual monkeys, and it may be unreasonable to expect a single model to correctly predict every monkey’s neuron responses. A more reasonable ceiling might therefore need to reflect the consistency of an moyenne monkey, leaving individual variabilities aside. However, in typical neuroscience experiments, recordings from only two monkeys are obtained, making it currently impossible to directly estimate these potentially lower ceilings.

Behavioral ceilings, on the other hand, might not be prone to such ceiling effects as they are already estimated using multiple humans responses (i.e. the “pooled” human data, see Rajalingham et al. (2015, 2018)). However, reaching consistency with the pooled human behavioral may not be the only way that one might want to use ANN models to inform brain science, as the across-subject variation is also an important aspect of the data that models should aim to inform on.

By developing new ways to compute the similarity between models and data

Besides computing neural predictivity, there are multiple possible ways and particular parameter choices. Others have used for instance different versions of linear regression (Agrawal et al., 2014), RDMs (Khaligh-Razavi and Kriegeskorte, 2014 Cichy et al., 2016) or GLM (Cadena et al., 2017). We see neural predictivity as the current strongest form of comparing neural responses because it maps between the two systems and makes specific predictions on a spike-rate level. One could also use entirely new types of comparison, such as precise temporal dynamics of neural responses that are ignored here, even though they are likely to play an important role in brain function (Wang et al., 2018), or causal manipulations that may constrain models more strongly (Rajalingham and DiCarlo, 2018).

By developing brain scores that are tuned separately for the non-human primate and the human

Our current set of benchmarks consist of recordings in macaques and behavioral measurements in humans and models are thus implicitly assumed to fit both of these primates. We do not believe that one ANN model should ultimately fit both species, so we imagine future versions of Brain-Score will treat them separately.

We caution that while Brain-Score reveals cette one model is better than another, it does not yet reveal Pourquoi that is the case. Due to current experimental constraints, we are not yet able to use Brain-Score to actually train a model. Both of these are key goals of our ongoing work.

To aid future efforts of aligning neural networks and the brain, we are building tools that allow researchers to quickly get a sense how their model scores against the available brain data on multiple dimensions, as well as compare against other models. Researchers can use our online platform Brain-Score.org to obtain all available brain data, submit new data and score their models on standardized benchmarks. The online platform provides an interface for submitting candidate models which are then automatically run on the current version of all benchmarks (code open-sourced at github.com/brain-score) and notify the submitting user about scores.

By providing this initial set of benchmarks we hope to ignite a discussion and further community-wide efforts around even better metrics, brain data and models. In this respect, our field is far closer to the beginning than the end, but it is important to get started and this is our version of such a start. We hope that Brain-Score will become a way of keeping track of computational models of the brain in terms of “how close we are” and quickly identifying the strongest model for a specific benchmark.


Beyond System 1 neural networks

One thing that can’t be denied, however, is that humans do in fact extract rules from their environment and develop abstract thoughts and concepts that they use to process and analyze new information. This complex symbol manipulation enables humans to compare and draw analogies between different tasks and perform efficient transfer learning. Understanding and applying causality remain among the unique features of the human brain.

“It is certainly the case that humans can learn abstract rules and extrapolate to new contexts in a way that exceeds modern ANNs. Calculus is perhaps the best example of learning to apply rules across different contexts. Discovering natural laws in physics is another example, where you learn a very general rule from a set of limited observations,” Hasson and Nastase say.

These are the kind of capabilities that emerge not from the activations and interactions of a single neural network but are the result of the accumulated knowledge across many minds and generations.

This is one area that direct-fit models fall short, Hasson and Nastase acknowledge. Scientifically, it is called System 1 and System 2 thinking. System 1 refers to the kind of tasks that can be learned by rote, such as recognizing faces, walking, running, driving. You can perform most of these capabilities subconsciously, while also performing some other task (e.g., walking and talking to someone else at the same time, driving and listening to the radio). System 2, however, requires concentration and conscious thinking (can you solve a differential equation while jogging?).

“In the paper, we distinguish fast and automatic System 1 capacities from the slow and deliberate cognitive functions,” Hasson and Nastase say. “While direct fit allows the brain to be competent while being blind to the solution it learned (similar to all evolved functional solutions in biology), and while it explains the ability of System 1 to learn to perceive and act across many contexts, it still doesn’t fully explain a subset of human functions attributed to System 2 which seems to gain some explicit understanding of the underlying structure of the world.”

So what do we need to develop AI algorithms that have System 2 capabilities? This is one area where there’s much debate in the research community. Some scientists, including deep learning pioneer Yoshua Bengio, believe that pure neural network-based systems will eventually lead to System 2 level AI. New research in the field shows that advanced neural network structures manifest the kind of symbol manipulation capabilities that were previously thought to be off-limits for deep learning.

In “Direct Fit to Nature,” the authors support the pure neural network–based approach. In their paper, they write: “Although the human mind inspires us to touch the stars, it is grounded in the mindless billions of direct-fit parameters of System 1. Therefore, direct-fit interpolation is not the end goal but rather the starting point for understanding the architecture of higher-order cognition. There is no other substrate from which System 2 could arise.”

An alternative view is the creation of hybrid systems that incorporate classic symbolic AI with neural networks. The area has drawn much attention in the past year, and there are several projects that show that rule-based AI and neural networks can complement each other to create systems that are stronger than the sum of their parts.

“Although non-neural symbolic computing—in the vein of von Neumann’s model of a control unit and arithmetic logic units—is useful in its own right and may be relevant at some level of description, the human System 2 is a product of biological evolution and emerges from neural networks,” Hasson and Nastase wrote in their comments to TechTalks.

In their paper, Hasson and Nastase expand on some of the possible components that might develop higher capabilities for neural networks. One interesting suggestion is providing a physical body for neural networks to experience and explore the world like other living beings.


Voir la vidéo: Entrainer le cerveau à résister (Mai 2022).