Yoshua Bengio
Learning Algorithms and Artificial Intelligence
- Professeur titulaire
-
Faculté des arts et des sciences - Département d'informatique et de recherche opérationnelle
André-Aisenstadt, room 3243
Media
Profile
Research expertise
My long-term goal is to understand intelligence; understanding its underlying principles would give us access to artificial intelligence (AI), and I believe that learning algorithms are essential in this quest. Learning algorithms could give computers the ability to capture operational knowledge (not necessarily in symbolic / verbal form) from examples.
Biography
Understanding intelligence and its implications at all levels to unlock artificial intelligence (AI) is Yoshua Bengio’s long-term goal. Scientific Director at IVADO, a full professor in the Department of Computer Science and Operations Research (DIRO) at Université de Montréal, the director of the Montréal Institute for Learning Algorithms (MILA) and Canada Research Chair in Statistical Learning Algorithms, Professor Bengio aims to reveal the mathematical and computational mechanisms from which intelligence emerges.
Through their work on learning algorithms, Yoshua Bengio and his team are attempting to provide computers with the capacity to acquire operational knowledge by learning from examples. A machine that has acquired knowledge could then accurately generate predictions, categorize new cases and generalize findings to new situations. Professor Bengio seeks to give impetus to the development of more intelligent machines that understand the world around us, make decisions accordingly and are ultimately of service to society.
Research in the field drives a number of scientific and technological sectors, most notably research engines, natural language processing, automatic translation, artificial vision and datamining.
Professor Bengio earned a PhD in computer science from McGill University (1991) and is the co-director of the Neural Computation & Adaptive Perception program of the Canadian Institute for Advanced Research. He also holds the NSERC/Ubisoft Industrial Research Chair on Learning Representations for Immersive Video Games and works as the editor of the Journal of Machine Learning Research and the associate editor of Neural Computation and Foundations and Trends in Machine Learning.
Awards and recognitions
- Prix d’excellence du Fonds de recherche du Québec ‒ Nature et technologies (FRQNT) - 2019
- Colauréat du prix A. M. Turing - 2019
- Prix Marie-Victorin (sciences naturelles et génie) - 2017
- Insigne d'officier - Ordre du Canada - 2017
- Académie des sciences - Société royale du Canada - 2017
education
- 1988 — Maîtrise — Informatique — Université McGill
- 1991 — Doctorat — Informatique — Université McGill
For more information…
- 12-09-2016 L’intelligence artificielle aujourd’hui… et demain!
- 15-09-2016 L’UdeM chef de file en infrastructure numérique
- 20-09-2016 Le professeur Bengio se joint au Cognitive Horizons Network d’IBM
- 23-09-2016 Révolution de l'intelligence artificielle : une conférence courue et appréciée!
- Portrait par LaPresse+ - INTELLIGENCE ARTIFICIELLE QUI EST YOSHUA BENGIO ?
- 21-11-2016 Google étend son soutien à la recherche en intelligence artificielle à l’UdeM
- 18-01-2017 Microsoft donne 6 millions de dollars au MILA
- 23-01-2017 Des données à l’action en santé
- 20-04-2017 IBM ouvrira un laboratoire à Montréal pour collaborer avec le MILA
- 11-05-2017 L’UdeM compte des personnalités extraordinaires, selon la revue «Urbania»
- 15-05-2017 100 M$ pour la création de la grappe québécoise en intelligence artificielle
- 05-07-2017 Nomination de membres de l'Université de Montréal au sein de l'Ordre du Canada
- 31-08-2017 Une importante subvention permettra d’étudier les effets positifs à long terme de l’IA
- 15-09-2017 Facebook investit plus de 7 M$US dans le MILA et dans la recherche en IA à Montréal
- 25-09-2017 Un nouveau partenariat avec Samsung en intelligence artificielle
- 03-10-2017 Yoshua Bengio parmi les personnalités «Infopresse» 2017
- 10-10-2017 Thales crée un pôle de recherche en IA à Montréal pour collaborer avec le MILA et IVADO
- 25-10-2017 Intelligence artificielle: pour un développement assujetti aux impératifs démocratiques
- 30-10-2017 Abondante récolte de Prix du Québec pour l’Université de Montréal
- 03-11-2017 Déclaration de Montréal pour un développement responsable de l’intelligence artificielle
- 27-03-2019 «Le prix Nobel de l’informatique»
- 28-01-2019 L’intelligence artificielle s’installe à Montréal
- 03-12-2018 L’Université de Montréal, un leader mondial en sciences informatiques
- 16-08-2018 Yoshua Bengio reçoit de nouveaux honneurs
- 25-06-2019 Yoshua Bengio, personnalité de la semaine
- 06-04-2020 Les chercheurs d’ici mobilisés
-
L'Université de Montréal et de l'intelligence artificielle capable de guider les non-voyants
Les GPS intelligents de nouvelle de génération pourront indiquer, en ville, l’emplacement des trottoirs, des feux de circulation, des bâtiments et des obstacles nombreux qu’une personne non voyante croise sur son chemin.
Affiliations and responsabilities
Research affiliations
Teaching and supervision
Recruitment in research
Mila is always looking for good candidates at all levels: interns (part-time or full-time), master’s students, PhD students (including visitors) and post-docs.
Mila is proud to award scholarships aiming to promote equality and diversity within the scientific community in artificial intelligence. Students who are members of under-represented groups in our field of research and who apply to MILA are eligible for such scholarships. See also “Equality and diversity : Mila’s core values” for more information.
For all other information please visit: “why study at Mila and FAQ.“
Students at PhD and postdoc levels are expected to already have strong exposure to machine learning, and preferably to deep learning. A strong background in mathematics (probability, linear algebra, numerical optimization, statistics) and computer science (numerical computation, open source software development) is expected at all levels. Postdoc levels candidates typically already have a strong track record in deep learning itself.
To find out more about the positions available, visit the page on the MILA website >>>
Student supervision
Theses and dissertation supervision (Papyrus Institutional Repository)
Towards an extension of causal discovery with generative flow networks to latent variables models
Cycle : Master's
Grade : M. Sc.
Advances in uncertainty modelling : from epistemic uncertainty estimation to generalized generative flow networks
Cycle : Doctoral
Grade : Ph. D.
Learning and planning with noise in optimization and reinforcement learning
Cycle : Doctoral
Grade : Ph. D.
From specialists to generalists : inductive biases of deep learning for higher level cognition
Cycle : Doctoral
Grade : Ph. D.
Inductive biases for efficient information transfer in artificial networks
Cycle : Doctoral
Grade : Ph. D.
Contributions to generative models and their applications
Cycle : Doctoral
Grade : Ph. D.
Dynamics of learning and generalization in neural networks
Cycle : Doctoral
Grade : Ph. D.
Optimization tools for non-asymptotic statistics in exponential families
Cycle : Doctoral
Grade : Ph. D.
Latent data augmentation and modular structure for improved generalization
Cycle : Doctoral
Grade : Ph. D.
On representation learning for generative models of text
Cycle : Doctoral
Grade : Ph. D.
Towards computationally efficient neural networks with adaptive and dynamic computations
Cycle : Doctoral
Grade : Ph. D.
Locality and compositionality in representation learning for complex visual tasks
Cycle : Doctoral
Grade : Ph. D.
A deep learning theory for neural networks grounded in physics
Cycle : Doctoral
Grade : Ph. D.
Entity-centric representations in deep learning
Cycle : Master's
Grade : M. Sc.
On challenges in training recurrent neural networks
Cycle : Doctoral
Grade : Ph. D.
Natural image processing and synthesis using deep learning
Cycle : Doctoral
Grade : Ph. D.
Deep neural networks for natural language processing and its acceleration
Cycle : Doctoral
Grade : Ph. D.
Representation learning for dialogue systems
Cycle : Doctoral
Grade : Ph. D.
On sample efficiency and systematic generalization of grounded language understanding with deep learning
Cycle : Doctoral
Grade : Ph. D.
Towards better understanding and improving optimization in recurrent neural networks
Cycle : Master's
Grade : M. Sc.
Méta-enseignement : génération active d’exemples par apprentissage par renforcement
Cycle : Master's
Grade : M. Sc.
Characterizing and comparing acoustic representations in convolutional neural networks and the human auditory system
Cycle : Doctoral
Grade : Ph. D.
Neural approaches to dialog modeling
Cycle : Doctoral
Grade : Ph. D.
Advances in deep learning methods for speech recognition and understanding
Cycle : Doctoral
Grade : Ph. D.
Prédiction et génération de données structurées à l'aide de réseaux de neurones et de décisions discrètes
Cycle : Master's
Grade : M. Sc.
On Deep Multiscale Recurrent Neural Networks
Cycle : Doctoral
Grade : Ph. D.
Learning and time : on using memory and curricula for language understanding
Cycle : Doctoral
Grade : Ph. D.
Sequence-to-sequence learning for machine translation and automatic differentiation for machine learning software tools
Cycle : Doctoral
Grade : Ph. D.
Applications of complex numbers to deep neural networks
Cycle : Master's
Grade : M. Sc.
Analyzing the benefits of communication channels between deep learning models
Cycle : Master's
Grade : M. Sc.
Improved training of energy-based models
Cycle : Master's
Grade : M. Sc.
Learning competitive ensemble of information-constrained primitives
Cycle : Master's
Grade : M. Sc.
Auto-Encoders, Distributed Training and Information Representation in Deep Neural Networks
Cycle : Doctoral
Grade : Ph. D.
Recurrent neural models and related problems in natural language processing
Cycle : Doctoral
Grade : Ph. D.
Exploring Attention Based Model for Captioning Images
Cycle : Master's
Grade : M. Sc.
Representation Learning for Visual Data
Cycle : Doctoral
Grade : Ph. D.
Feedforward deep architectures for classification and synthesis
Cycle : Doctoral
Grade : Ph. D.
Learning visual representations with neural networks for video captioning and image generation
Cycle : Doctoral
Grade : Ph. D.
Sequential modeling, generative recurrent neural networks, and their applications to audio
Cycle : Master's
Grade : M. Sc.
Structured prediction and generative modeling using neural networks
Cycle : Master's
Grade : M. Sc.
Speech synthesis using recurrent neural networks
Cycle : Master's
Grade : M. Sc.
Towards deep semi supervised learning
Cycle : Master's
Grade : M. Sc.
Advances in scaling deep learning algorithms
Cycle : Doctoral
Grade : Ph. D.
Designing Regularizers and Architectures for Recurrent Neural Networks
Cycle : Master's
Grade : M. Sc.
Leveraging noisy side information for disentangling of factors of variation in a supervised setting
Cycle : Master's
Grade : M. Sc.
Apprentissage des réseaux de neurones profonds et applications en traitement automatique de la langue naturelle
Cycle : Doctoral
Grade : Ph. D.
Deep learning of representations and its application to computer vision
Cycle : Doctoral
Grade : Ph. D.
Improving sampling, optimization and feature extraction in Boltzmann machines
Cycle : Doctoral
Grade : Ph. D.
Algorithmes d’apprentissage profonds supervisés et non-supervisés: applications et résultats théoriques
Cycle : Master's
Grade : M. Sc.
Modeling High-Dimensional Audio Sequences with Recurrent Neural Networks
Cycle : Doctoral
Grade : Ph. D.
Algorithmes d'apprentissage pour la recommandation
Cycle : Master's
Grade : M. Sc.
Réseaux de neurones à relaxation entraînés par critère d'autoencodeur débruitant
Cycle : Master's
Grade : M. Sc.
Apprentissage machine efficace : théorie et pratique
Cycle : Doctoral
Grade : Ph. D.
Apprentissage de représentations musicales à l'aide d'architectures profondes et multiéchelles
Cycle : Doctoral
Grade : Ph. D.
Prédiction de l'attrition en date de renouvellement en assurance automobile avec processus gaussiens
Cycle : Master's
Grade : M. Sc.
Understanding deep architectures and the effect of unsupervised pre-training
Cycle : Doctoral
Grade : Ph. D.
Incorporating complex cells into neural networks for pattern classification
Cycle : Doctoral
Grade : Ph. D.
Modèle informatique du coapprentissage des ganglions de la base et du cortex : l'apprentissage par renforcement et le développement de représentations
Cycle : Doctoral
Grade : Ph. D.
Sequential Machine learning Approaches for Portfolio Management
Cycle : Doctoral
Grade : Ph. D.
Training deep convolutional architectures for vision
Cycle : Master's
Grade : M. Sc.
Échantillonnage dynamique de champs markoviens
Cycle : Master's
Grade : M. Sc.
Étude de techniques d'apprentissage non-supervisé pour l'amélioration de l'entraînement supervisé de modèles connexionnistes
Cycle : Doctoral
Grade : Ph. D.
Avancées théoriques sur la représentation et l'optimisation des réseaux de neurones
Cycle : Doctoral
Grade : Ph. D.
TONGA : un algorithme de gradient naturel pour les problèmes de grande taille
Cycle : Master's
Grade : M. Sc.
Modèles Pareto hybrides pour distributions asymétriques et à queues lourdes
Cycle : Doctoral
Grade : Ph. D.
Boosting hierarchique et construction de filtres
Cycle : Master's
Grade : M. Sc.
Collaborative filtering techniques for drug discovery
Cycle : Master's
Grade : M. Sc.
Algorithms for classifying recorded music by genre
Cycle : Master's
Grade : M. Sc.
Extraction d'information à partir de transcription de conversations téléphoniques spécialisées
Cycle : Doctoral
Grade : Ph. D.
Réduction de dimension pour modèles graphiques probabilistes appliqués à la désambiguïsation sémantique
Cycle : Master's
Grade : M. Sc.
Réducation de dimensionnalité non linéaire et vorace
Cycle : Master's
Grade : M. Sc.
Segmentation hiérarchique du domaine sémantique pour l'accélération d'un modèle de langage
Cycle : Master's
Grade : M. Sc.
Méthodes à noyaux appliquées à la gestion de portefeuille
Cycle : Master's
Grade : M. Sc.
Généralisation d'algorithmes de réduction de dimension
Cycle : Master's
Grade : M. Sc.
Accélérer l'entraînement d'un modèle non-paramétrique de densité non normalisée par échantillonnage aléatoire
Cycle : Master's
Grade : M. Sc.
Les algorithmes d'apprentissage appliqués aux risques financiers
Cycle : Doctoral
Grade : Ph. D.
Quelques modèles de langage statistiques et graphiques lissés avec WordNet
Cycle : Master's
Grade : M. Sc.
Contributions à la compression de données
Cycle : Doctoral
Grade : Ph. D.
Statistical analysis of machine learning estimators of insurance premiums
Cycle : Master's
Grade : M. Sc.
Architecture et programme d'entraînement pour agents qui apprennent par renforcement
Cycle : Master's
Grade : M. Sc.
Critères d'optimisation d'algorithmes d'apprentissage en gestion de portefeuille
Cycle : Master's
Grade : M. Sc.
Prise de décision à partir de données séquentielles
Cycle : Doctoral
Grade : Ph. D.
Utilisation d'hyper-paramètres pour la sélection de variables
Cycle : Master's
Grade : M. Sc.
Projects
Research projects
FD - R3AI: Shifting Paradigms for a Robust, Reasoning, and Responsible Artificial Intelligence and its Adoption
Médaille d’or Gerhard-Herzberg en sciences et en génie du Canada
Centre de recherches mathématiques (CRM)
Union Neurosciences et Intelligence Artificielle Québec (UNIQUE)
Autonomous Deep Learning for AI
PandemicStop-AI: for an accelerated response to pandemics
PandemicStop-AI: for an accelerated response to pandemics
Modélisation des défis émergents
Novel generative active learning algorithms for exploring the space of antimicrobial peptides to respond to antibiotics resistance
NSERC CREATE in Science Leadership for Global Sustainability
Real-time visualization of CO2 electrolysis
A Benchmark for Assessing Fine-grained Decision-Making Capabilities of LLM Agents
Correction automatique de textes français avec Electra
L’IA pour la découverte de matériaux et molécules
Program Co-Director, CCAI Chair, CIFAR program in Learning in Machines & Brains
Mila - Quebec Artificial Intelligence Institute for working on the project proposed by Helmholtz Zentrum München Financial support for the proposal of an Helmholtz International Lab
NSERC CREATE Program on Machine Learning in Quantitative Finance and Business Analytics
FI - Data Serving Canadians : Strategy for a Data-Driven Innovation Ecosystem
Extracting Document Structure from Text-Intensive Images, A Multi-Modal Approach
Thème 4 : L'IA pour la découverte de matériaux et molécules
Generalization in Neural Networks
Système d’aide à la décision pour la prédiction de la ressource renouvelable et du productible énergétique afin de contribuer à la réduction des émissions de gaz à effet de serre: Cas du Maroc
Software infrastructure for Deep Learning
Learning in Machines & Brains
Union Neurosciences et Intelligence Artificielle Québec (UNIQUE) / Regroupements stratégiques
Learning in Machines & Brains (Co-Director)
Learning in Machines & Brains
NSERC COHESA: Computing Hardware for Emerging Intelligent Sensory Applications
CENTRE DE RECHERCHES MATHEMATIQUES (CRM)
GFlowNets for estimating free energy functions in reinforcement learning
Realtime detection and tracking of colorectal polyp
Realtime detection and tracking of colorectal polyp
Apogée Canada fonds d'excellence en recherche / Bourse d'excellence IVADO au postdoctoraux Alexandra Luccioni
Decentralized Deep Radiomics: Scaling up the discovery of prognostic and predictive cancer imaging biomarkers from routine clinical data across a network of hospitals
Decentralized Deep Radiomics: Scaling up the discovery of prognostic and predictive cancer imaging biomarkers from routine clinical data across a network of hospitals
Unsupervised Anomaly Detection in multivariate Time Series Data
Low Mixed Precision Techniques for CNN Models
Low Mixed Precision Techniques for CNN Models
Providing value to SMB by optimizing ETL
Programme de fonds de démarrage et d'opération pour professeur IVADO - Compte fonds d'opération - Jonathan Binas
Apogée Canada fonds d'excellence en recherche / Bourse d'excellence IVADO à la maitrise Bhargav Kanuparthi
Subvention accordée au projet Apogée Données au service des Canadiens : apprentissage profond et optimisation aux fins de la révolution du savoir. / Bourse postdoc, Candidat Simon Verret.
Matching MHC 1-associated peptide spectra to sequencing reads using deep neural networks
Apogée Canada fonds d'excellence en recherche / Stages Postdoctoraux IVADO Jonathan Binas
Deep learning for precision medicine by joint analysis of gene expression profiles measured through RNA-Seq and microarrays
Software infrastructure for Deep Learning
DEEP LEARNING OF REPRESENTATIONS
Ground Truth
Real-time visual detection for robotic inspection
Machine/Deep Learning applied in P&C insurance representations
Deep learning-based drug discovery and molecule generation
Link predicting in court
Cross Domain Recommendation System for the food industry
Low data drug modeling
Power Network Transfer Capability
Simplification of long sentences
OPTIMIZATION FOR BUSINESS SYSTEMS AND CONVERSATIONAL ANALYTICS (Retail Personal Store Manager)
Satellite Solar Radiation Nowcasting
Evaluation of monitoring data for predictive maintenance of energy production assets
Low Data Drug Discovery
Time-series forecasting
Electrical Load Forecasting
Super resolution for MRI scans
Readmission AI: a predictive tool to assess patient risk of hospital readmission
Real-time object recognition on wearable devices
Speaker Diarization
Optimizing Transfer Learning using Bidirectional Encoder Representations from Transformers
Canadian Open Neuroscience Platform_CONP
SUBVENTION D'INFRASTRUCTURE DU FRSQ POUR LE GRSNC(GROUPE DE RECHERCHE SUR LE SYSTÈME NERVEUX CENTRAL)
AI to predict emergency visits
Reinforcement Learning for Aviation Training
Longitudinal Weak Labeling for Lung Cancer Prognosis and Treatment Response Prediction
Data-driven Transplantation Science
Longitudinal Weak Labeling for lung cancer prognosis and treatment response prediction
Multimodal Multilingual Continuous Representation for Human Language Understanding (M2CR)
Apprentissage non-supervisé d'architectures profondes pour le changement d'expressions faciales
CHAIRE DE RECHERCHE DU CANADA EN ALGORITHMES D'APPRENTISSAGE STATISTIQUE
Apogée Canada fonds d'excellence en recherche / Fonds de soutien à la recherche de l'étudiant Devon Hjelm.
Apogée Canada fonds d'excellence en recherche / Compte pour le paiement des salaires et portion recherche des quatre post-doc liée au MILA. Candidats: Devansh Arpit, Devon Hjelm, Joseph Paul Cohen et Jason Jo.
Apogée Canada fonds d'excellence en recherche / Fonds de soutien à la recherche de l'étudiant Devansh Arpit
Deep Learning for Cognitive Computing
Highperformance computing environment to leverage deep learning technology for large biomedical and neuroimaging data
Leveraging Unlabelled, Off-Task Data to improve ASR for Low-Resource Languages Based on the Transferability of Acoustic Features Learned by Deep Neural Networks
Leveraging Unlabelled, Off-Task Data to improve ASR for Low-Resource Languages Based on the Transferability of Acoustic Features Learned by Deep Neural Networks
RESEARCH ON DEEP STRUCTURED OUTPUT MODELS
LARGE-SCALE DEEP LEARNING FOR CONTENT-BASED RECOMMENDATION SYSTEMS
ADIABATIC QUANTUM COMPUTING FOR DEEP LEARNING WITH BOLTZMANN MACHINES
LEARNING REPRESENTATIONS OF PLAYERS EMOTIONS AND STATE FOR NEXT GENERATION GAMING
REGROUPEMENT STRATEGIQUES - CALCUL QUEBEC
CENTRE DE RECHERCHES MATHEMATIQUES (CRM)
PORTION RECHERCHE - NSERC-UBISOFT INDUSTRIAL RESEARCH CHAIR ON LEARNING REPRESENTATIONS FOR IMMERSIVE VIDEO GAMES
LEARNING DEEP ARCHITECTURES FOR AI
DEEP LEARNING FOR IMAGE UNDERSTANDING
APPRENTISSAGE DISTRIBUTE D'ARCHITECTURES PROFONDES SUR D'IMMENSES ENSEMBLES DE DONNEES
SUPPORT OF RESEARCH FOR THE ACADEMIC YEAR 2004-2005 TO 2012-2013
DEEP LEARNING FOR SPAM FILTERING
IMPLEMENTING BOLTZMANN MACHINES ON QUANTUM COMPUTING HARDWARE
DEEP LEARNING FOR ADAPTIVE REAL-TIME BIDDING
MACHINE LEARNING ALGORITHMS FOR AUTOMATED ANALYSIS OF PLAYER BEHAVIOR IN NEXT-GENERATION VIDEO GAMES
Outreach
Highlights
Mise en valeur d’une recherche
Apprendre aux machines à penser
Avec ses douze étudiants et stagiaires postdoctoraux, Yoshua Bengio étudie deux grandes questions : l'élaboration d'algorithmes et de techniques d'apprentissage afin de traiter de nombreuses variables, ainsi que la création d'algorithmes de plus en plus performants pour traiter des dizaines ou des centaines de millions d'éléments d'information.
Apprendre de manière statistique
« Les animaux et les humains apprennent de manière statistique ¹, rappelle M. Bengio. Les événements ne se produisent pas tous de la même manière et chaque situation est nouvelle ou aléatoire. Pour la reconnaître, le cerveau doit, avant de conclure, généraliser ce qu'il a acquis. Et il doit le faire correctement, pour pouvoir prendre les bonnes décisions.
Mais comment un ordinateur peut-il généraliser correctement quand des centaines, des milliers ou des dizaines de milliers de variables sont en jeu? Yoshua Bengio travaille, par exemple, avec des industriels du domaine pharmaceutique pour identifier les molécules les plus prometteuses pour le développement de nouveaux médicaments. Autre exemple, en télécommunications : ses travaux permettent d'effectuer des analyses de clientèle chez Bell dans le but de diminuer les coûts de marketing. Et les algorithmes d'apprentissage qu'il conçoit contribuent aussi à réduire certains risques dans le domaine de la finance. Un groupe de ses étudiants a même fondé une entreprise qui aide les assureurs à évaluer le coût d'une police de manière beaucoup plus précise qu'avec les procédures classiques. Les nouvelles méthodes de calcul en jeu visent trois grands objectifs : résoudre des problèmes, économiser de l'argent et prendre de bonnes décisions.
Modéliser le langage
Dans Internet, les moteurs de recherche comme Google fonctionnent aussi à partir d'algorithmes d'apprentissage statistiques. Par exemple, pour reconnaître le sens du mot Java, le moteur doit analyser suffisamment d'informations pour décider s'il s'agit de l'île, du café ou du langage de programmation. Yoshua Bengio s'intéresse justement à la modélisation du langage. Il tente notamment de modéliser des séquences de mots : « Les machines analysent des centaines de millions de mots et tentent de prévoir le prochain mot à partir de ceux qui précèdent. Nous laissons rouler les ordinateurs pendant des mois. Mais nous sommes encore loin de l'intelligence artificielle telle que présentée dans les films », précise-t-il.
Des algorithmes gourmands
Ces algorithmes d'apprentissage sont extrêmement gourmands en termes de temps de calcul et d'espace de mémoire. Les processeurs de Altix 3700 sont beaucoup plus rapides que ceux auxquels M. Bengio avait accès jusqu'à maintenant et offrent un autre avantage : « Nous pouvons déjà décomposer nos algorithmes de manière à ce que plusieurs processeurs de calcul travaillent parallèlement sur des processeurs différents et qu'ils puissent communiquer entre eux. Il faudrait des mois pour exécuter une telle opération avec un ordinateur normal alors qu'avec Altix 3700, elle s'effectue jusqu'à 100 fois plus vite », explique Yoshua Bengio.
Publications and presentations
Publications
Publications pertinentes
- Goodfellow, I.J., Y. Bengio et A. Courville. Deep Learning. Cambridge, MA: MIT Press, 2016.
- LeCun, Y., Y. Bengio et G. Hinton. « Deep learning. » Nature 521, no 7553 (2015): 436–44.
- Bahdanau, D., K. Cho et Y. Bengio. « Neural machine translation by jointly learning to align and translate. » ICLR, 2015. arXiv:1409.0473.
D'autres publications du professeur Yoshua Bengio, sont disponibles ici : http://www.iro.umontreal.ca/~lisa/publications2/index.php/authors/show/1
Disciplines
- Computer Science
- Statistics
- Pure Mathematics
- Applied Mathematics
- Computer Engineering and Software Engineering
Areas of expertise
- Machine learning
- Representation learning
- Deep learning
- Temporal database
- Artificial intelligence
- Probabilistic models
- Statistical models
- Neural Networks
- Computer vision
- Data science
- Natural-language processing (NLP)
- Model Building
- COVID19