**Le métier le plus demandé dans les dix prochaines années est "Ingénieur IA" ? **
Après l'émergence de ChatGPT, les gens ont prédit que "toutes les industries seront remodelées par l'IA", certains emplois seront remplacés et certains emplois changeront de forme. À quoi ressembleront leurs carrières en tant que programmeurs qui construisent l'IA ?
Récemment, les choses semblent être sur le spectre. Un groupe d'ingénieurs et d'universitaires a lancé le concept d'"ingénieur IA" et a reçu de nombreuses réponses :
En raison de la généralisation et des puissantes capacités de grands modèles de langage tels que GPT-4, notre façon de travailler pourrait bientôt changer pour travailler avec l'IA, et suivre le rythme de l'intelligence artificielle est un travail à temps plein en soi.
On dit que cet "ingénieur IA" se situe entre l'ingénieur full-stack et l'ingénieur machine learning, occupant une partie de l'ingénieur back-end et se concentrant sur la construction de grands modèles. Maintenant, il en est encore au stade de la définition, mais à en juger par les discussions animées, il ne devrait pas être loin d'atterrir, après tout, la vitesse de la révolution ChatGPT est si rapide.
Dès que l'idée est sortie, les grands V du domaine de l'IA ont rapidement commenté. Andrej Karpathy, scientifique OpenAI et ancien responsable de l'IA et de la conduite autonome chez Tesla, est d'accord. "Les grands modèles créent une toute nouvelle couche d'abstraction et de spécialisation, jusqu'à présent, je l'ai appelé" ingénieurs d'allusion ", mais maintenant ce n'est plus seulement une question d'allusion."
En outre, il a souligné quatre points principaux :
Les travaux passés sur l'apprentissage automatique impliquaient généralement des algorithmes de formation à partir de zéro, et les résultats ont généralement eu des performances limitées.
La formation de modèles à grande échelle est très différente de l'apprentissage automatique traditionnel. L'ancien système a une charge de travail importante et un nouveau rôle a été divisé pour se concentrer sur la formation à grande échelle de Transformer sur des superordinateurs.
Numériquement, le nombre d'ingénieurs en IA peut être beaucoup plus élevé que celui des ingénieurs en apprentissage automatique/ingénieurs de grands modèles.
Vous n'avez besoin d'aucune formation pour réussir dans ce rôle.
Après l'avoir lu, Musk a également déclaré:
Le poste est en forte demande, barrières à l'entrée importantes et peu élevées, il semble excitant et anxiogène.
Au cours de la discussion, certaines personnes ont également proposé des noms tels que "ingénieur cognitif" et "ingénieur système IA" comme candidats. Jim Fan, scientifique de Nvidia AI, estime que cette profession émergente devrait être appelée "ingénieur sans gradient" - des outils traditionnels 1.0 , à réseau de neurones 2.0, puis à 3.0 sans architecture de gradient, nous avons finalement attendu la version 4.0 de la série GPT d'auto-formation.
À cet égard, Sebastian Raschka, professeur adjoint à l'Université du Wisconsin, a déclaré que cela ne convient qu'aux assistants généraux, et que pour la plupart des entreprises, vous n'avez pas besoin de "général".
Beaucoup de noms et de définitions ont été donnés, voyons quel genre de poste est cet "ingénieur IA" ?
Nous assistons à un changement unique en une décennie dans l'IA appliquée, alimenté par les capacités révolutionnaires des modèles fondamentaux et des grands modèles et API open source.
Les tâches d'IA qui ont pris cinq ans et une équipe de recherche à accomplir en 2013 ne nécessitent désormais que des API, de la documentation et un après-midi libre en 2023.
Cependant, ce sont les détails qui font la différence - les défis liés à l'application et à la production de l'IA sont infinis :
Sur le modèle, il y a du plus grand modèle GPT-4 et Claude, aux modèles open source Huggingface, LLaMA et autres;
Outils, des outils de liaison, de récupération et de recherche de vecteurs les plus populaires (tels que LangChain, LlamaIndex et Pinecone) au domaine émergent des agents autonomes (tels que Auto-GPT et BabyAGI);
Techniquement, le nombre de nouveaux articles, modèles et techniques soumis chaque jour a augmenté de façon exponentielle avec l'intérêt et le financement, au point que tout comprendre est devenu presque un travail à temps plein.
Si cette situation est prise au sérieux, elle doit être considérée comme un emploi à temps plein. En conséquence, le génie logiciel engendrera une nouvelle sous-discipline dédiée à l'application de l'intelligence artificielle et à l'utilisation efficace de la pile émergente, comme les "Site Reliability Engineers" (SRE), les "DevOps Engineers", les "Data Engineers" et il en va de même pour l'émergence des "ingénieurs analytiques".
La toute nouvelle version (et la moins géniale) de ce rôle semble être : ingénieur en intelligence artificielle.
Nous savons que chaque startup dispose d'une sorte de canal Slack pour discuter de l'utilisation de l'IA, et bientôt ces canaux passeront de groupes informels à des équipes formelles. Des milliers d'ingénieurs logiciels travaillent actuellement à la production d'API IA et de modèles OSS, que ce soit pendant les heures de bureau ou les soirs et week-ends, dans des Slacks d'entreprise ou des Discords indépendants, tous professionnalisés et centralisés sous un seul titre : Ingénieur IA.
Il s'agira probablement du travail d'ingénierie le plus demandé au cours de la prochaine décennie.
On trouvera des ingénieurs en IA partout, des géants de la technologie comme Microsoft et Google aux startups de premier plan comme Figma, Vercel et Notion, en passant par des développeurs indépendants comme Simon Willison, Pieter Levels et Riley Goodside. Ils gagnent 300 000 $ par an pour leur pratique d'ingénierie chez Anthropic et 900 000 $ par an pour créer des logiciels chez OpenAI. Ils passent leurs week-ends libres à réfléchir à des idées à AGI House et à partager des astuces sur le subreddit /r/LocalLLaMA sur Reddit.
Ce qu'ils ont tous en commun, c'est la capacité de traduire les progrès de l'intelligence artificielle en produits pratiques utilisés par des millions de personnes presque du jour au lendemain. Et dedans, vous ne voyez pas de titre de doctorat. Lorsque vous fournissez des produits d'IA, vous avez besoin d'ingénieurs, pas de chercheurs.
Le grand renversement des ingénieurs IA et des ingénieurs ML
Un ensemble de données sur le site Web Indeed montre que le nombre de postes d'ingénieurs en apprentissage automatique est 10 fois supérieur à celui des ingénieurs en IA, mais en comparaison, le taux de croissance dans le domaine de l'IA est plus rapide, et il est prévu que cela proportion sera d'ici cinq ans. L'inversion se produit et il y aura plusieurs fois plus d'ingénieurs en IA que d'ingénieurs en ML.
HN Who's Hiring (qui est une publication mensuelle sur Hacker News qui fournit une plate-forme permettant aux employeurs de publier des offres d'emploi) Tendances mensuelles de l'emploi par catégorie
Le débat sur les différences entre l'IA et le ML a été sans fin, mais prudent. Nous savons également que les logiciels d'IA peuvent être créés par des ingénieurs logiciels ordinaires. Récemment, cependant, les discussions ont tourné autour d'une autre question, à savoir, un fil populaire sur Hacker News "Comment entrer dans l'ingénierie de l'IA" a suscité un large intérêt. Ce message populaire illustre également les principes de limitation de base qui existent encore sur le marché, la distinction entre chaque position est toujours très fine.
*Capture d'écran d'un article de juin 2023 sur Hacker News : "Comment entrer dans l'ingénierie de l'IA" Réponses les plus votées. *
Jusqu'à présent, de nombreuses personnes considéraient l'ingénierie de l'IA comme une forme d'ingénierie ML ou d'ingénierie des données. Ainsi, lorsque quelqu'un demande comment entrer dans un domaine, il a tendance à recommander les mêmes conditions préalables, comme dans les réponses ci-dessus, de nombreuses personnes recommandent le Coursera d'Andrew Ng. cours. Mais aucun de ces ingénieurs en IA efficaces n'a suivi le cours de Wu Enda sur Coursera, ils ne connaissent pas PyTorch et ils ne connaissent pas la différence entre Data Lake et Data Warehouse.
Dans un avenir proche, personne ne vous suggérera de commencer à apprendre l'ingénierie de l'IA en lisant l'article de Transformer "L'attention est tout ce dont vous avez besoin", pas plus que vous ne commencez à apprendre à conduire en lisant les plans du Ford Model T. Bien sûr, il est utile de comprendre les principes fondamentaux et l'évolution historique de la technologie, ce qui peut vous aider à trouver des moyens d'améliorer votre réflexion et votre efficacité. Mais parfois, vous pouvez également utiliser des produits pour apprendre leurs caractéristiques grâce à une expérience pratique.
L'inversion des ingénieurs IA par rapport aux ingénieurs ML ne se produira pas du jour au lendemain, et pour quelqu'un ayant une bonne formation en science des données et en apprentissage automatique, l'ingénierie et l'ingénierie IA peuvent ne pas sembler bonnes pendant longtemps. Cependant, au fil du temps, l'économie de la demande et de l'offre prévaudra et l'opinion des gens sur l'ingénierie de l'IA changera.
** Pourquoi les ingénieurs en intelligence artificielle vont-ils augmenter ? **
Au niveau du modèle, de nombreux modèles de base sont désormais des apprenants à quelques coups avec de solides capacités d'apprentissage du contexte et de transfert à zéro coup Les performances du modèle dépassent souvent l'intention initiale du modèle de formation. En d'autres termes, les personnes qui créent ces modèles ne connaissent pas entièrement l'étendue des capacités des modèles. Et ceux qui ne sont pas experts en LLM (Large Language Model) peuvent découvrir et exploiter ces capacités en interagissant davantage avec le modèle et en l'appliquant à des domaines sous-estimés par la recherche.
Au niveau des talents, Microsoft, Google, Meta et les grands laboratoires de modèles de base ont monopolisé les rares talents de recherche et fournissent des API pour la "recherche IA en tant que service". Vous ne pourrez peut-être pas embaucher ce type de chercheur, mais vous pouvez louer leurs services. Il y a maintenant environ 5 000 chercheurs LLM et 50 millions d'ingénieurs en logiciel dans le monde. Cette contrainte d'offre dicte que les ingénieurs en IA de la catégorie "moyenne" augmenteront pour répondre à la demande de talents.
Au niveau matériel, les grandes entreprises et institutions technologiques ont thésaurisé les GPU en grande quantité, bien sûr OpenAI et Microsoft ont été les premiers à le faire, mais Stability AI a lancé la compétition GPU pour les startups en mettant l'accent sur leurs 4 000 clusters GPU.
De plus, certaines nouvelles startups telles que Inflection (1,3 milliard de dollars), Mistral (113 millions de dollars), Reka (58 millions de dollars), Poolside (26 millions de dollars) et Contextual (20 millions de dollars) ont généralement commencé à lever des sommes énormes. propres installations matérielles.
Le dirigeant et investisseur américain Nat Friedman a même annoncé son initiative Andromeda, un cluster GPU de 100 millions de dollars avec 10 exaflops de puissance de calcul dédié au soutien des startups dans lesquelles il investit. De l'autre côté du paysage des API, davantage d'ingénieurs en IA pourront utiliser des modèles, pas seulement les former.
En termes d'efficacité, au lieu d'exiger que les scientifiques des données et les ingénieurs en apprentissage automatique effectuent une collecte de données fastidieuse avant de former un seul modèle spécifique à un domaine et de le mettre en production, les chefs de produit et les ingénieurs en logiciel peuvent créer et vérifier des idées de produits en interagissant avec LLM.
Disons que ces derniers (données, ingénieurs ML) sont 100 à 1000 fois plus nombreux que les premiers (ingénieurs IA), et la façon dont vous travaillez en interagissant avec LLM vous rendra 10 à 100 fois plus rapide que l'apprentissage automatique traditionnel. En conséquence, les ingénieurs en IA pourront valider des produits d'IA 10 000 fois moins cher qu'auparavant.
Au niveau logiciel, il y aura des changements de Python à Java. Le monde des données et de l'IA est traditionnellement centré sur Python, tout comme les premiers outils d'ingénierie de l'IA tels que LangChain, LlamaIndex et Guardrails. Cependant, il devrait y avoir au moins autant de développeurs Java que de développeurs Python, donc les outils s'étendent de plus en plus dans cette direction, de LangChain.js et Transformers.js au nouveau AI SDK de Vercel. La taille globale du marché et les opportunités pour Java sont impressionnantes.
Chaque fois qu'un sous-groupe arrive avec un arrière-plan complètement différent, parle une langue complètement différente, fabrique un produit complètement différent, utilise un outil complètement différent, il finit par se scinder en son propre groupe.
Le rôle du code dans l'évolution du logiciel 2.0 vers le logiciel 3.0
Il y a 6 ans, Andrej Karpathy a écrit un article très influent décrivant le logiciel 2.0, opposant des piles classiques de langages de programmation écrits à la main qui modélisent avec précision la logique avec de nouvelles piles de réseaux de neurones d'apprentissage automatique à logique approximative. L'article montre que les logiciels peuvent résoudre beaucoup plus de problèmes que les humains ne peuvent en modéliser.
Cette année, Karpathy a poursuivi en postant que le nouveau langage de programmation le plus en vogue est l'anglais, car les indices de l'IA générative peuvent être compris comme un code conçu par l'homme, dans de nombreux cas en anglais, et interprété par des LLM, comblant finalement les lacunes de son graphique. zone grise.
*Remarque : La pile classique de Software 1.0 (Software 1.0) est écrite en Python, C++ et d'autres langages. Le logiciel 2.0 a été écrit en utilisant des poids de réseau neuronal, et personne n'a été impliqué dans le processus d'écriture de ce code car il y a beaucoup de poids. *
L'année dernière, l'ingénierie est devenue un sujet populaire et les gens ont commencé à appliquer GPT-3 et Stable Diffusion pour travailler. Les gens se moquent des startups d'IA en tant que wrappers OpenAI et s'inquiètent de la vulnérabilité des applications LLM à l'injection d'indices et à l'ingénierie d'indices inversés.
Mais un thème très important en 2023 concerne le rétablissement du rôle du code écrit par des humains, du géant Langchain avec plus de 200 millions de dollars américains au Voyager soutenu par Nvidia, montrant l'importance de la génération et de la réutilisation du code. L'ingénierie est à la fois surfaite et persistante, mais la réémergence du paradigme Software 1.0 dans les applications Software 3.0 est à la fois une énorme opportunité et un nouvel espace pour une pléthore de startups :
Alors que les ingénieurs humains apprennent à utiliser l'IA et que l'IA prend de plus en plus le contrôle des travaux d'ingénierie, à l'avenir, quand nous regarderons en arrière, il sera difficile de faire la différence entre les deux.
Contenu de référence :
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Ne m'appelez pas un programmeur, je suis un "ingénieur IA", Musk : Commencez à lancer la programmation en langage naturel
Source : Cœur de la machine
Après l'émergence de ChatGPT, les gens ont prédit que "toutes les industries seront remodelées par l'IA", certains emplois seront remplacés et certains emplois changeront de forme. À quoi ressembleront leurs carrières en tant que programmeurs qui construisent l'IA ?
Récemment, les choses semblent être sur le spectre. Un groupe d'ingénieurs et d'universitaires a lancé le concept d'"ingénieur IA" et a reçu de nombreuses réponses :
On dit que cet "ingénieur IA" se situe entre l'ingénieur full-stack et l'ingénieur machine learning, occupant une partie de l'ingénieur back-end et se concentrant sur la construction de grands modèles. Maintenant, il en est encore au stade de la définition, mais à en juger par les discussions animées, il ne devrait pas être loin d'atterrir, après tout, la vitesse de la révolution ChatGPT est si rapide.
Dès que l'idée est sortie, les grands V du domaine de l'IA ont rapidement commenté. Andrej Karpathy, scientifique OpenAI et ancien responsable de l'IA et de la conduite autonome chez Tesla, est d'accord. "Les grands modèles créent une toute nouvelle couche d'abstraction et de spécialisation, jusqu'à présent, je l'ai appelé" ingénieurs d'allusion ", mais maintenant ce n'est plus seulement une question d'allusion."
En outre, il a souligné quatre points principaux :
Au cours de la discussion, certaines personnes ont également proposé des noms tels que "ingénieur cognitif" et "ingénieur système IA" comme candidats. Jim Fan, scientifique de Nvidia AI, estime que cette profession émergente devrait être appelée "ingénieur sans gradient" - des outils traditionnels 1.0 , à réseau de neurones 2.0, puis à 3.0 sans architecture de gradient, nous avons finalement attendu la version 4.0 de la série GPT d'auto-formation.
Beaucoup de noms et de définitions ont été donnés, voyons quel genre de poste est cet "ingénieur IA" ?
Nous assistons à un changement unique en une décennie dans l'IA appliquée, alimenté par les capacités révolutionnaires des modèles fondamentaux et des grands modèles et API open source.
Les tâches d'IA qui ont pris cinq ans et une équipe de recherche à accomplir en 2013 ne nécessitent désormais que des API, de la documentation et un après-midi libre en 2023.
Si cette situation est prise au sérieux, elle doit être considérée comme un emploi à temps plein. En conséquence, le génie logiciel engendrera une nouvelle sous-discipline dédiée à l'application de l'intelligence artificielle et à l'utilisation efficace de la pile émergente, comme les "Site Reliability Engineers" (SRE), les "DevOps Engineers", les "Data Engineers" et il en va de même pour l'émergence des "ingénieurs analytiques".
La toute nouvelle version (et la moins géniale) de ce rôle semble être : ingénieur en intelligence artificielle.
Nous savons que chaque startup dispose d'une sorte de canal Slack pour discuter de l'utilisation de l'IA, et bientôt ces canaux passeront de groupes informels à des équipes formelles. Des milliers d'ingénieurs logiciels travaillent actuellement à la production d'API IA et de modèles OSS, que ce soit pendant les heures de bureau ou les soirs et week-ends, dans des Slacks d'entreprise ou des Discords indépendants, tous professionnalisés et centralisés sous un seul titre : Ingénieur IA.
Il s'agira probablement du travail d'ingénierie le plus demandé au cours de la prochaine décennie.
On trouvera des ingénieurs en IA partout, des géants de la technologie comme Microsoft et Google aux startups de premier plan comme Figma, Vercel et Notion, en passant par des développeurs indépendants comme Simon Willison, Pieter Levels et Riley Goodside. Ils gagnent 300 000 $ par an pour leur pratique d'ingénierie chez Anthropic et 900 000 $ par an pour créer des logiciels chez OpenAI. Ils passent leurs week-ends libres à réfléchir à des idées à AGI House et à partager des astuces sur le subreddit /r/LocalLLaMA sur Reddit.
Ce qu'ils ont tous en commun, c'est la capacité de traduire les progrès de l'intelligence artificielle en produits pratiques utilisés par des millions de personnes presque du jour au lendemain. Et dedans, vous ne voyez pas de titre de doctorat. Lorsque vous fournissez des produits d'IA, vous avez besoin d'ingénieurs, pas de chercheurs.
Le grand renversement des ingénieurs IA et des ingénieurs ML
Un ensemble de données sur le site Web Indeed montre que le nombre de postes d'ingénieurs en apprentissage automatique est 10 fois supérieur à celui des ingénieurs en IA, mais en comparaison, le taux de croissance dans le domaine de l'IA est plus rapide, et il est prévu que cela proportion sera d'ici cinq ans. L'inversion se produit et il y aura plusieurs fois plus d'ingénieurs en IA que d'ingénieurs en ML.
Le débat sur les différences entre l'IA et le ML a été sans fin, mais prudent. Nous savons également que les logiciels d'IA peuvent être créés par des ingénieurs logiciels ordinaires. Récemment, cependant, les discussions ont tourné autour d'une autre question, à savoir, un fil populaire sur Hacker News "Comment entrer dans l'ingénierie de l'IA" a suscité un large intérêt. Ce message populaire illustre également les principes de limitation de base qui existent encore sur le marché, la distinction entre chaque position est toujours très fine.
Jusqu'à présent, de nombreuses personnes considéraient l'ingénierie de l'IA comme une forme d'ingénierie ML ou d'ingénierie des données. Ainsi, lorsque quelqu'un demande comment entrer dans un domaine, il a tendance à recommander les mêmes conditions préalables, comme dans les réponses ci-dessus, de nombreuses personnes recommandent le Coursera d'Andrew Ng. cours. Mais aucun de ces ingénieurs en IA efficaces n'a suivi le cours de Wu Enda sur Coursera, ils ne connaissent pas PyTorch et ils ne connaissent pas la différence entre Data Lake et Data Warehouse.
Dans un avenir proche, personne ne vous suggérera de commencer à apprendre l'ingénierie de l'IA en lisant l'article de Transformer "L'attention est tout ce dont vous avez besoin", pas plus que vous ne commencez à apprendre à conduire en lisant les plans du Ford Model T. Bien sûr, il est utile de comprendre les principes fondamentaux et l'évolution historique de la technologie, ce qui peut vous aider à trouver des moyens d'améliorer votre réflexion et votre efficacité. Mais parfois, vous pouvez également utiliser des produits pour apprendre leurs caractéristiques grâce à une expérience pratique.
L'inversion des ingénieurs IA par rapport aux ingénieurs ML ne se produira pas du jour au lendemain, et pour quelqu'un ayant une bonne formation en science des données et en apprentissage automatique, l'ingénierie et l'ingénierie IA peuvent ne pas sembler bonnes pendant longtemps. Cependant, au fil du temps, l'économie de la demande et de l'offre prévaudra et l'opinion des gens sur l'ingénierie de l'IA changera.
** Pourquoi les ingénieurs en intelligence artificielle vont-ils augmenter ? **
Au niveau du modèle, de nombreux modèles de base sont désormais des apprenants à quelques coups avec de solides capacités d'apprentissage du contexte et de transfert à zéro coup Les performances du modèle dépassent souvent l'intention initiale du modèle de formation. En d'autres termes, les personnes qui créent ces modèles ne connaissent pas entièrement l'étendue des capacités des modèles. Et ceux qui ne sont pas experts en LLM (Large Language Model) peuvent découvrir et exploiter ces capacités en interagissant davantage avec le modèle et en l'appliquant à des domaines sous-estimés par la recherche.
Au niveau des talents, Microsoft, Google, Meta et les grands laboratoires de modèles de base ont monopolisé les rares talents de recherche et fournissent des API pour la "recherche IA en tant que service". Vous ne pourrez peut-être pas embaucher ce type de chercheur, mais vous pouvez louer leurs services. Il y a maintenant environ 5 000 chercheurs LLM et 50 millions d'ingénieurs en logiciel dans le monde. Cette contrainte d'offre dicte que les ingénieurs en IA de la catégorie "moyenne" augmenteront pour répondre à la demande de talents.
Au niveau matériel, les grandes entreprises et institutions technologiques ont thésaurisé les GPU en grande quantité, bien sûr OpenAI et Microsoft ont été les premiers à le faire, mais Stability AI a lancé la compétition GPU pour les startups en mettant l'accent sur leurs 4 000 clusters GPU.
Le dirigeant et investisseur américain Nat Friedman a même annoncé son initiative Andromeda, un cluster GPU de 100 millions de dollars avec 10 exaflops de puissance de calcul dédié au soutien des startups dans lesquelles il investit. De l'autre côté du paysage des API, davantage d'ingénieurs en IA pourront utiliser des modèles, pas seulement les former.
En termes d'efficacité, au lieu d'exiger que les scientifiques des données et les ingénieurs en apprentissage automatique effectuent une collecte de données fastidieuse avant de former un seul modèle spécifique à un domaine et de le mettre en production, les chefs de produit et les ingénieurs en logiciel peuvent créer et vérifier des idées de produits en interagissant avec LLM.
Au niveau logiciel, il y aura des changements de Python à Java. Le monde des données et de l'IA est traditionnellement centré sur Python, tout comme les premiers outils d'ingénierie de l'IA tels que LangChain, LlamaIndex et Guardrails. Cependant, il devrait y avoir au moins autant de développeurs Java que de développeurs Python, donc les outils s'étendent de plus en plus dans cette direction, de LangChain.js et Transformers.js au nouveau AI SDK de Vercel. La taille globale du marché et les opportunités pour Java sont impressionnantes.
Chaque fois qu'un sous-groupe arrive avec un arrière-plan complètement différent, parle une langue complètement différente, fabrique un produit complètement différent, utilise un outil complètement différent, il finit par se scinder en son propre groupe.
Le rôle du code dans l'évolution du logiciel 2.0 vers le logiciel 3.0
Il y a 6 ans, Andrej Karpathy a écrit un article très influent décrivant le logiciel 2.0, opposant des piles classiques de langages de programmation écrits à la main qui modélisent avec précision la logique avec de nouvelles piles de réseaux de neurones d'apprentissage automatique à logique approximative. L'article montre que les logiciels peuvent résoudre beaucoup plus de problèmes que les humains ne peuvent en modéliser.
Cette année, Karpathy a poursuivi en postant que le nouveau langage de programmation le plus en vogue est l'anglais, car les indices de l'IA générative peuvent être compris comme un code conçu par l'homme, dans de nombreux cas en anglais, et interprété par des LLM, comblant finalement les lacunes de son graphique. zone grise.
L'année dernière, l'ingénierie est devenue un sujet populaire et les gens ont commencé à appliquer GPT-3 et Stable Diffusion pour travailler. Les gens se moquent des startups d'IA en tant que wrappers OpenAI et s'inquiètent de la vulnérabilité des applications LLM à l'injection d'indices et à l'ingénierie d'indices inversés.
Mais un thème très important en 2023 concerne le rétablissement du rôle du code écrit par des humains, du géant Langchain avec plus de 200 millions de dollars américains au Voyager soutenu par Nvidia, montrant l'importance de la génération et de la réutilisation du code. L'ingénierie est à la fois surfaite et persistante, mais la réémergence du paradigme Software 1.0 dans les applications Software 3.0 est à la fois une énorme opportunité et un nouvel espace pour une pléthore de startups :
Contenu de référence :