McKinsey fait don de l'outil de pipeline d'apprentissage automatique Kedro à la Fondation Linux

janvier 20, 2022 Par admin 0
McKinsey fait don de l'outil de pipeline d'apprentissage automatique Kedro à la Fondation Linux

Crédit d'image: Getty Images

Avez-vous manqué une session du Sommet sur l'avenir du travail? Rendez-vous sur notre bibliothèque à la demande Future of Work Summit pour diffuser.


Laissez le bulletin d'information OSS Enterprise guidez votre parcours open source! Inscrivez-vous .

La Fondation Linux, le consortium à but non lucratif qui fournit un hub indépendant du fournisseur pour les projets open source. a annoncé aujourd'hui que QuantumBlack de McKinsey fera don de Kedro, un outil de pipeline d'apprentissage automatique, à la communauté open source. La Linux Foundation maintiendra Kedro sous Linux Foundation AI & Data (LF AI & Data), une organisation faîtière fondée en 2018 pour soutenir l'innovation dans l'IA en soutenant les projets techniques, les communautés de développeurs et les entreprises.

« Nous sommes ravis d'accueillir le projet Kedro au sein de LF AI & Data. Il répond aux nombreux défis qui existent aujourd'hui dans la création de produits d'apprentissage automatique et c'est un complément fantastique à notre portefeuille de projets techniques hébergés », a déclaré Ibrahim Haddad, directeur exécutif de LF AI & Data. « Nous sommes impatients de travailler avec la communauté pour développer l'empreinte du projet et créer de nouvelles opportunités de collaboration avec nos membres, les projets hébergés et la communauté open source plus large. »

L'importance des pipelines

Un pipeline d'apprentissage automatique est une construction qui orchestre le flux de données entrant et sortant d'un modèle d'apprentissage automatique. Les pipelines englobent les données brutes, le traitement des données, les prédictions et les variables qui ajustent le comportement du modèle dans le but de codifier le flux de travail afin qu'il puisse être partagé au sein d'une organisation.

De nombreux outils de création de pipeline d'apprentissage automatique existent, mais Kedro est relativement nouveau sur la scène. Lancé en 2019 par McKinsey, il s'agit d'un framework écrit en Python qui emprunte des concepts au génie logiciel et les amène au monde de la science des données, jetant les bases pour faire passer un projet d'une idée à un produit fini.

Selon Yetunde Dada, chef de produit sur Kedro, Kedro a été développé pour combler les principales lacunes des scripts ponctuels et du «glue-code» en se concentrant sur la création d'un code de science des données maintenable et efficace. En intégrant la modularité, l'un des objectifs était d'inspirer la création de code d'analyse réutilisable et d'améliorer la collaboration d'équipe.

Au cours des deux ans et demi que Kedro a était disponible sur GitHub, la communauté et la base d'utilisateurs ont atteint plus de 200 000 téléchargements mensuels et plus de 100 contributeurs. Telkomsel, le plus grand fournisseur de réseau sans fil d'Indonésie, utilise Kedro comme norme dans toute son organisation de science des données.

« C'est le seul moyen peut croître à ce stade – s'il est amélioré par les meilleures personnes du monde », a déclaré Dada dans un communiqué. « Notre équipe interdisciplinaire de 15 personnes obtient son propre développement et validation accrus de Kedro avec cette étape importante. C'est également une marque de validation importante pour Kedro en tant qu'outil industriel de facto, rejoignant une collection d'autres projets open source de pointe tels que Kubernetes offert par Google, GraphQL par Facebook ou MLFlow et Delta Lake par Databricks.

Utilisation future

Les logiciels open source sont devenus omniprésents dans l'entreprise, où ils sont désormais utilisés même dans des environnements critiques. Alors que l'intégrité du logiciel est en cause – en particulier à la lumière des événements récents – 79% des entreprises s'attendent à ce que leur utilisation de logiciels open source pour les technologies émergentes augmente au cours des deux prochaines années, selon une enquête Red Hat de 2021.

Selon Schwarzmann, après son open source, Kedro continuera d'être la base des projets d'analyse au sein de McKinsey. « Les idées et les garde-fous qui existent dans Kedro sont le reflet de cette expérience et sont conçus pour aider les développeurs à éviter les pièges courants et à suivre les meilleures pratiques », a déclaré le chef de produit Joel Schwarzmann dans un article de blog.

Un porte-parole a ajouté par e-mail: « Kedro se concentrera sur la recherche d'une API stable, ou d'une version 1.0, d'intégrations formelles avec des outils de développement et des plates-formes cloud et sur la poursuite des travaux sur notre fonctionnalité de suivi des expériences. Nous voulons également que nos utilisateurs aient la certitude qu'il est facile de mettre à niveau les versions de Kedro et de bénéficier de nouvelles fonctionnalités. À l'heure actuelle, Kedro prend en charge les intégrations élémentaires avec différents fournisseurs de cloud, et nous souhaitons travailler avec les fournisseurs de cloud pour créer des intégrations transparentes. Le suivi des expériences, un moyen pour les scientifiques de données de suivre les expériences de science des données, a ouvert la voie aux utilisateurs pour trouver et promouvoir des modèles de production. Nous étendrons cette fonctionnalité avec de nombreuses autres fonctionnalités en fonction des problèmes des utilisateurs. »

Kedro rejoint un autre outil de pipeline open source publié par Microsoft en novembre : SynapseML. Avec SynapseML, comme avec Kedro, les développeurs peuvent créer des systèmes pour résoudre des problèmes dans des domaines tels que l'analyse de texte, la traduction et le traitement de la parole.

VentureBeat

La mission de VentureBeat est d'être une place publique numérique permettant aux décideurs techniques d'acquérir des connaissances sur la technologie transformatrice et d'effectuer des transactions. Notre site fournit des informations essentielles sur les technologies et les stratégies de données pour vous guider dans la direction de vos organisations. Nous vous invitons à devenir membre de notre communauté, pour accéder à :

des informations à jour sur les sujets qui vous intéressent

nos newsletters

  • contenu de leader d'opinion fermé et accès à prix réduit à nos événements prisés, tels que Transformer 2021 : En savoir plus

      fonctionnalités de mise en réseau, et plus

      Devenir membre