La plate-forme de gestion des données Bigeye dévoile un outil de validation rapide des ensembles de données

novembre 17, 2021 Par admin 0
La plate-forme de gestion des données Bigeye dévoile un outil de validation rapide des ensembles de données

La plate-forme de données Bigeye a publié Deltas, une nouvelle fonctionnalité qui permet aux équipes de données de comparer et de valider automatiquement les ensembles de données. Deltas remplace les requêtes SQL, la correspondance manuelle des feuilles de calcul et les scripts Python uniques par des comparaisons automatisées et une validation instantanée. Cela ajoute de la vitesse et de la fiabilité aux éléments clés du processus de gestion des données, qu'il s'agisse de migrer des données vers le cloud (ou entre des clouds), de répliquer des données ou de promouvoir les données de la mise en scène à la production.

Les fondateurs de Bigeye, Kyle Kirwan et Egor Gryaznov, ont géré le premier entrepôt de données d'Uber pour le reporting et l'analyse des données. Kirwan et Gryaznov sont passés au thon obèse en 2019 avec l'intention de résoudre ce qu'ils ont observé être un problème à l'échelle de l'industrie – la fiabilité des données.

Lors du déplacement de données, toutes sortes de problèmes peuvent se produisent, y compris l'ingestion retardée, les enregistrements supprimés ou dupliqués et les valeurs mutées. La comparaison des ensembles de données est une étape cruciale pour de nombreux projets d'ingénierie des données, mais elle est souvent difficile et longue en raison du besoin de requêtes SQL personnalisées, de feuilles de calcul complexes et surchargées ou de scripts Python sur mesure.

«Nous avons conçu Bigeye pour qu'il soit un cadre extensible, qui nous permet d'appliquer l'observabilité des données à toutes sortes de cas d'utilisation passionnants. Nous avons commencé par permettre aux équipes de données de détecter automatiquement les problèmes de qualité des données et de pipeline de données. Désormais, avec Deltas, les clients peuvent facilement comparer et valider des ensembles de données », a déclaré Gryaznov.

Une comparaison précise des données signifie une migration précise des données

Udacity, une entreprise américaine à but lucratif proposant des cours en ligne, utilise Bigeye pour automatiser la surveillance et la détection des anomalies et créer des SLA pour garantir la qualité des données et des pipelines de données fiables. « Udacity a une forte culture des données, et nous avons des centaines d'ensembles de données avec de nouveaux ajouts et améliorations publiés chaque semaine. La possibilité de comparer automatiquement les ensembles de données avant de les promouvoir en production permet à notre équipe d'appliquer les meilleures pratiques d'ingénierie logicielle, d'avoir une plus grande confiance dans nos données, de détecter les problèmes que nous aurions autrement manqués et d'accélérer notre processus de développement », a déclaré Simon Dong, responsable des données. l'ingénierie chez Udacity.

Les utilisateurs de Bigeye peuvent désormais identifier les écarts entre des ensembles de données même complexes en quelques secondes. Deltas utilise la génération de requêtes à l'exécution de Bigeye pour appliquer la même configuration d'observabilité aux deux ensembles de données, quels que soient les dialectes SQL de leurs sources, et détecte les différences entre eux. Bigeye promet que Deltas alertera les clients de tout problème survenant lors du transfert de données de A à B.

La demande du marché pour une gestion sécurisée des données

    Après avoir annoncé le 23 septembre que Bigeye clôturait un tour de série B de 45 millions de dollars dirigé par Coatue, la société n'a pas perdu de temps pour faire ses preuves. Bigeye propose désormais une validation instantanée des ensembles de données en plus de ses autres produits complémentaires: métriques automatiques, seuils automatiques et intégrations. La fiabilité combinée à la vitesse donnera-t-elle à Bigeye un avantage sur les autres plateformes d'observabilité des données? MonteCarlo propose des analyses opérationnelles et WhyLabs semble se positionner pour montrer la voie en matière d'innovation en matière d'IA en matière d'observabilité des données. Cependant, des entreprises comme Instacart, Clubhouse et Udacity choisissent Bigeye pour automatiser la surveillance et la détection des anomalies et créer des SLA pour garantir la qualité des données et des pipelines de données fiables.

    Deltas étend la plate-forme d'observabilité des données de Bigeye. , ce qui facilite la cartographie d'une source et d'une cible, applique intelligemment des mesures de qualité des données et détecte rapidement les dérives et les écarts. Gryaznov a ajouté: «Nous sommes impatients de permettre des flux de travail d'utilisateurs plus révolutionnaires grâce à l'observabilité des données dans un avenir proche.»

      VentureBeat

        La mission de VentureBeat est d'être une place de ville numérique pour décideurs techniques pour acquérir des connaissances sur la technologie transformatrice et effectuer des transactions. Notre site fournit des informations essentielles sur les technologies et les stratégies de données pour vous guider dans la gestion de vos organisations. Nous vous invitons à devenir membre de notre communauté, pour accéder à :

        • informations à jour sur les sujets qui vous intéressent
        • nos newsletters
          contenu de leader d'opinion et accès à prix réduit à nos événements prisés, tels que Transformer 2021: Apprendre Suite
        • fonctionnalités de mise en réseau, et plus

        Devenir membre