La PNL open source alimente une nouvelle vague de startups

décembre 23, 2021 Par admin 0
La PNL open source alimente une nouvelle vague de startups

Crédit d'image: raindrop74 / Shutterstock


Écoutez les DSI, les CTO et d'autres cadres supérieurs et cadres supérieurs sur les stratégies de données et d'IA lors du Sommet sur l'avenir du travail du 12janvier , 2022. En savoir plus

Laisse le Newsletter OSS Entreprise

guidez votre

ouvert la source périple!


Inscrivez-vous ici.

Grands modèles linguistiques capables de écrire des poèmes, des résumés et du code informatique stimule la demande de «traitement du langage naturel (PNL) en tant que service». Au fur et à mesure que ces modèles deviennent plus performants – et accessibles, relativement parlant – l'appétit de l'entreprise pour eux augmente. Selon une enquête réalisée en 2021 par John Snow Labs et Gradient Flow, 60% des leaders technologiques ont indiqué que leurs budgets PNL avaient augmenté d'au moins 10% par rapport à 2020, tandis qu'un tiers – 33% – ont déclaré que leurs dépenses avaient augmenté de plus de 30%. .

Des fournisseurs dotés de ressources suffisantes comme OpenAI, Cohere et AI21 Labs en récoltent les fruits. En mars, OpenAI a déclaré que GPT-3 était utilisé dans plus de 300 applications différentes par « des dizaines de milliers » de développeurs et produisait 4,5 milliards de mots par jour. Historiquement, la formation et le déploiement de ces modèles étaient hors de portée des startups sans capital important, sans parler des ressources de calcul. Mais l'émergence de modèles, d'ensembles de données et d'infrastructures NLP open source démocratise la technologie de manière surprenante.

Open source PNL

Les obstacles au développement d'un modèle de langage de pointe sont importants. Ceux qui ont les ressources pour les développer et les former, comme OpenAI, choisissent souvent de ne pas ouvrir leurs systèmes au profit de leur commercialisation (ou de leur licence exclusive). Mais même les modèles qui sont open source nécessitent d'immenses ressources de calcul pour être commercialisés.

Prenez, par exemple, Megatron 530B, qui a été créé et publié conjointement par Microsoft et Nvidia. Le modèle a été initialement formé sur 560 serveurs Nvidia DGX A100, chacun hébergeant 8 GPU Nvidia A100 de 80 Go. Microsoft et Nvidia disent avoir observé entre 113 et 126 téraflops par seconde par GPU lors de l'entraînement du Megatron 530B, ce qui représenterait le coût de la formation en millions de dollars. (Une note de téraflop mesure les performances du matériel, y compris les GPU.)

L'inférence – exécutant réellement le modèle entraîné – est un autre défi. Obtenir un temps d'inférence (par exemple, l'auto-complétion de phrases) avec Megatron 530B jusqu'à une demi-seconde nécessite l'équivalent de deux systèmes Nvidia DGX A100 à 199 000 $. Bien que les alternatives au cloud soient peut-être moins chères, elles ne le sont pas considérablement: une estimation fixe le coût d'exécution de GPT-3 sur une seule instance Amazon Web Services à un minimum de 87000$ par an.

Récemment, cependant, des efforts de recherche ouverts comme EleutherAI ont abaissé les barrières à l'entrée. Une collection de base de chercheurs en IA, EleutherAI vise à fournir à terme le code et les ensembles de données nécessaires pour exécuter un modèle similaire (mais pas identique) à GPT-3. Le groupe a déjà publié un ensemble de données appelé The Pile, conçu pour entraîner de grands modèles de langage pour compléter du texte, écrire du code, etc. (Incidemment, Megatron 530B a été formé sur The Pile.) Et en juin, EleutherAI a rendu disponible sous la licence Apache 2.0 GPT-Neo et son successeur, GPT-J, un modèle de langage qui fonctionne presque au même niveau qu'un GPT- de taille équivalente. 3 model.

L'une des startups servant les modèles d'EleutherAI en tant que service est NLP Cloud, qui a été fondée il y a un an par Julien Salinas, un ancien ingénieur logiciel. chez Hunter.io et le fondateur du service de prêt d'argent StudyLink.fr. Salinas dit que l'idée lui est venue lorsqu'il s'est rendu compte qu'en tant que programmeur, il devenait de plus en plus facile d'exploiter des modèles NLP open source pour les applications commerciales, mais plus difficile de les faire fonctionner correctement en production.

Ci-dessus: Tableau de bord du modèle de NLP Cloud.

Image Crédit: Nuage PNL

NLP Cloud – qui compte cinq employés – n'a pas levé d'argent auprès d'investisseurs externes, mais prétend être rentable.

« Notre clientèle augmente rapidement et nous voyons des clients très divers utiliser NLP Cloud – des indépendants aux startups et aux plus grandes entreprises technologiques », a déclaré Salinas à VentureBeat par e-mail. «Par exemple, nous aidons actuellement un client à créer une IA experte en programmation qui ne code pas pour vous, mais – plus important encore – vous donne des informations avancées sur des domaines techniques spécifiques que vous pouvez exploiter lors du développement de votre application (par exemple, en tant que Allez développeur, vous voudrez peut-être apprendre à utiliser les goroutines). Nous avons un autre client qui a peaufiné sa propre version de GPT-J sur NLP Cloud afin de faire des résumés médicaux des conversations entre médecins et patients. )NLP Cloud est en concurrence avec Neuro, qui sert des modèles via une API comprenant le GPT-J d'EleutherAI sur une base de paiement à l'utilisation. Poursuivant une plus grande efficacité, Neuro dit qu'il exécute une version plus légère de GPT-J qui produit toujours des «résultats solides» pour des applications telles que la génération de textes marketing. Dans une autre mesure de réduction des coûts, Neuro a également des clients qui partagent des GPU cloud, dont la consommation d'énergie est plafonnée en dessous d'un certain niveau.

«Croissance de la clientèle a été bon. De nombreux utilisateurs nous ont mis dans leur environnement de production sans leur avoir parlé, ce qui est incroyable pour un produit d'entreprise », a déclaré le PDG Paul Hetherington à VentureBeat par e-mail. «Certaines personnes ont dépensé plus de 1000$ au cours de leur premier jour d'utilisation avec des temps d'intégration de quelques minutes dans de nombreux cas. Nous avons des clients qui utilisent GPT-J… de diverses manières, y compris la copie de marché, la génération d'histoires et d'articles, et la génération de dialogues pour les personnages dans les jeux ou les chatbots. Neuro, qui prétend exécuter tous ses calculs en interne, dispose d'une équipe de 11 personnes et a récemment obtenu son diplôme de la cohorte hiver 2021 de Y Combinator. Hetherington dit que le plan est de continuer à développer son réseau cloud et à développer sa relation avec EleutherAI.

Un autre adoptant du modèle EleutherAI est CoreWeave, qui travaille également en étroite collaboration avec EleutherAI pour former les plus grands modèles du groupe. CoreWeave, un fournisseur de services cloud qui s'est initialement concentré sur l'extraction de crypto-monnaie, déclare que servir des modèles NLP est son « cas d'utilisation le plus important à ce jour » et travaille actuellement avec des clients dont Novel AI, dont la plate-forme basée sur l'IA aide les utilisateurs à créer des histoires et à se lancer dans du texte. aventures basées.

« Nous nous sommes penchés sur la PNL en raison de la taille du marché et du vide que nous comblons en tant que fournisseur de cloud », cofondateur et cofondateur de CoreWeave. Le directeur technique Brian Venturo a déclaré à VentureBeat par e-mail. «Je pense que nous avons vraiment réussi ici en raison de l'infrastructure que nous avons construite et des avantages de coût que nos clients voient sur CoreWeave par rapport à nos concurrents.»

Problèmes de biais

Aucun modèle de langage n'est à l'abri des biais et de la toxicité, comme la recherche l'a montré à plusieurs reprises. Les plus grands fournisseurs de PNL en tant que service ont adopté une gamme d'approches pour tenter d'atténuer les effets, de la consultation de conseils consultatifs externes à la mise en œuvre de filtres qui empêchent les clients d'utiliser les modèles pour générer certains contenus, comme celui concernant l'automutilation.

Au niveau de l'ensemble de données, EleutherAI prétend avoir effectué une «analyse approfondie des biais» sur The Pile et pris des «décisions éditoriales difficiles» pour exclure les données qu'ils pensaient étaient «inacceptablement biaisés négativement» envers certains groupes ou points de vue.

NLP Cloud permet aux clients de télécharger une liste noire de mots pour réduire le risque de générer du contenu offensant avec ses modèles hébergés. Afin de préserver l'intégrité des modèles d'origine, les défauts et tout le reste, la société n'a déployé de filtres ni tenté de détoxifier aucun des modèles qu'elle sert. Mais Salinas dit que si NLP Cloud apporte des modifications à l'avenir, il sera transparent sur le fait qu'il l'a fait.

« Le plus Un risque important de toxicité vient de GPT-J car il s'agit d'un modèle d'IA puissant pour la génération de texte, il doit donc être utilisé de manière responsable », a déclaré Salinas.

Ni NLP Cloud ni Neuro n'interdisent explicitement aux clients d'utiliser des modèles pour des cas d'utilisation potentiellement problématiques, bien que tous deux se réservent le droit de révoquer l'accès aux modèles pour quelque raison que ce soit. CoreWeave, pour sa part, estime que ne pas contrôler les applications de ses clients est un argument de vente de son service – mais plaide pour une « sécurité de l'IA » générale.

 » Nos clients peaufinent régulièrement les modèles [to, for instance, reduce toxicity]. Cela leur permet de « ré-entraîner » de grands modèles de langage sur un ensemble de données relativement petit pour rendre le modèle plus pertinent pour leur cas d'utilisation », a poursuivi Venturo. «Nous n'avons pas actuellement de solution prête à l'emploi pour que les clients puissent le faire, mais je m'attends à ce que cela change dans les semaines à venir.»

Hetherington note que Neuro offre également des capacités de réglage fin «avec peu ou pas d'expertise en programmation requise.»

La voie à suivre

Bien que l'approche non interventionniste de la modération des modèles puisse ne pas convenir à tous les clients, des startups comme NLP Cloud, Neuro et CoreWeave affirment qu'elles rendent la technologie NLP plus accessible que leurs rivaux mieux financés.

Par exemple, sur NLP Cloud, le forfait de trois requêtes par minute en utilisant GPT-J coûte 29 $ par mois sur un CPU cloud ou 99 $ par mois sur un GPU — peu importe le nombre de jetons (c'est-à-dire de mots). En revanche, OpenAI facture par jeton. Towards Data Science a comparé les offres d'OpenAI et de NLP Cloud et a constaté qu'un client proposant une application générant des essais qui reçoit 10 demandes par minute devrait payer environ 2 850 $ par mois s'il utilisait l'un des modèles les moins performants d'OpenAI (Curie) contre 699 $ avec NLP Cloud.

Les startups basées sur des modèles open source comme EleutherAI pourraient conduire la prochaine vague d'adoption de la PNL. La société de conseil Mordor Intelligence prévoit que le marché de la PNL va plus que tripler ses revenus d'ici 2025, à mesure que l'intérêt des entreprises pour l'IA augmente. nous pouvons maintenir une tarification abordable, tout en les rendant fiables sans aucune interruption, est un défi. [But the goal is to provide] un moyen pour les développeurs et les data scientists de tirer le meilleur parti de la PNL en production sans se soucier du DevOps », a déclaré Salinas.

  • VentureBeat

    La mission de VentureBeat est d'être une place de ville numérique pour que les décideurs techniques acquièrent des connaissances sur la technologie transformatrice et effectuent des transactions. Notre site fournit des informations essentielles sur les technologies et les stratégies de données pour vous guider dans la gestion de vos organisations. Nous vous invitons à devenir membre de notre communauté, pour accéder à :

    informations à jour sur les sujets qui vous intéressent nos newsletters pensée fermée -contenu leader et accès à prix réduit à nos événements prisés, tels que Transformer 2021: En savoir plus

  • fonctionnalités de mise en réseau , et plus

    Devenir membre