Chapitre 2 par Applitools
Métier ●●●○○
Technique ●●○○○
Dans ce chapitre, nous abordons la valeur de Visual AI dans le cycle de développement. Visual AI permet de réduire l'écart entre le check-in et la validation du code, et de minimiser les perturbations
Visual AI (IA visuelle) ressemble à quelque chose que l'on pourrait lire dans un roman de science-fiction : des algorithmes de Machine Learning et de Deep Learnign qui imitent les fonctions cognitives d'un être humain pour résoudre des problèmes complexes en quelques secondes et avec des niveaux de précision extrêmes. Eh bien, c'est réel, c'est ici aujourd'hui et des entreprises de premier plan utilisent déjà l'IA visuelle pour débloquer une nouvelle génération de tests fonctionnels, visuels et inter-navigateurs/appareils, éliminant ainsi les goulots d'étranglement des tests et tenant la promesse d'une expérience utilisateur sans compromis.
Dans le cadre de l'utilisation de l'intelligence artificielle (IA) dans l'ingénierie de la qualité, la comparaison d'images peut sembler ne pas être une application efficace de l'IA. La validation visuelle peut sembler n'être qu'un moyen d'améliorer l'efficacité des tests automatisés de bout en bout à la fin de l'itération de développement. C'est faux. La vraie valeur vient de la validation de l'interface utilisateur "in-sprint" pendant le développement Agile. L'intégration dans les tests fonctionnels automatisés existants et la réalisation d'une validation visuelle parallèlement à la validation des données permettent d'obtenir une couverture de test complète qui capture à la fois les changements attendus de l'interface utilisateur et les régressions visuelles au moment de la vérification. Les approches traditionnelles ne permettent de découvrir que partiellement ces erreurs lors des tests de bout en bout en fin de cycle, ce qui ralentit la vitesse de publication et augmente le nombre de bogues qui s'échappent dans les étapes ultérieures (voir la figure ci-dessous).
Figure: Les tests visuels automatisés réduisent les taux de non-détection d'anomalies.
Imaginez ce scénario : votre équipe construit une application web réactive conçue pour fonctionner sur n'importe quel navigateur, avec une taille de fenêtre d'affichage allant du 4K au mobile. Dans le cadre du processus, votre équipe développe des tests fonctionnels pour valider les différents comportements de l'application. Cela commence par des tests unitaires pour les composants individuels au niveau du code, des tests au niveau des systèmes pour la structure des données et le comportement du réseau, et des tests d'interface utilisateur pour valider l'interaction et le flux de travail des utilisateurs. Ensuite, ils automatisent ces tests afin de les utiliser pour la validation de la production et les tests de régression à exécuter pendant le développement continu.
À partir de la version initiale, votre équipe a maintenant deux tâches. Premièrement, lorsqu'elle modifie ou ajoute un nouveau comportement, chaque changement ou ajout nécessite son propre test. Deuxièmement, elle doit s'assurer qu'aucun changement involontaire n'a lieu. Elle doit donc maintenir et mettre à jour les tests de régression (composés de tests d'unité, de système et d'interface utilisateur) pour le comportement existant.
Le code sous-jacent peut être validé par des tests unitaires et les scénarios fonctionnels par des tests de niveau de service ou d'interface utilisateur de bout en bout, mais qu'en est-il de l'interface utilisateur rendue ? Quand savons-nous si l'interface utilisateur a vraiment l'air correcte ? Comment savons-nous que l'interface utilisateur fonctionne réellement et est utilisable ?
Historiquement, les tests manuels ont été le principal mécanisme de validation de l'interface utilisateur. Quoi de mieux qu'un véritable utilisateur pour tester l'interface utilisateur ?
Cependant, les tests de l'interface utilisateur de bout en bout sont compliqués à orchestrer et la plupart des équipes de développement laissent les tests de l'interface utilisateur et de l'intégration à la fin du cycle de développement. Si les tests du comportement sous-jacent peuvent être effectués en milieu de cycle, il est impossible de garantir que les modifications de l'interface utilisateur sont dans un état correct tant que toutes les fonctionnalités n'ont pas été réalisées.
En outre, avec l'augmentation de la complexité de l'application (c'est-à-dire le nombre de pages), la multiplicité des fenêtres d'affichage (y compris les combinaisons de dispositifs et de navigateurs) et l'augmentation de la fréquence des versions (qui accompagne Agile/DevOps), il devient impossible pour les tests manuels d'obtenir la couverture souhaitée dans le temps imparti (voir la figure ci-dessous).
Figure: Le nombre total d'écrans ne permet pas aux tests manuels d'atteindre la couverture souhaitée dans le temps imparti.
L'un des plus grands défis auxquels est confrontée toute équipe de développement logiciel Agile provient du délai entre la vérification du code et la détection des défauts. Les équipes peuvent rapidement réparer tout défaut découvert lors de l'archivage, mais tout écart entre l'archivage et la détection des défauts entraîne des frictions pour les développeurs. Il est probable que les développeurs soient déjà à la tâche suivante lorsque le défaut est découvert et qu'ils doivent revenir à la tâche précédente pour résoudre le défaut, ce qui ralentit les activités de développement en cours.
La nécessité d'attendre l'achèvement de l'interface utilisateur entraîne un retard évident pour les tests et un risque pour le calendrier en raison des défauts découverts tardivement dans le cycle de développement. Mais comment les équipes peuvent-elles tester une interface utilisateur en constante évolution ? Comment valident-elles l'interface utilisateur si toutes les modifications n'ont pas encore été enregistrées ?
Grâce à l'intelligence artificielle, il est possible d'intégrer de nombreux éléments intelligents dans les logiciels de test afin de faciliter le test des applications. Applitools utilise des algorithmes avancés de Machine Learning pour repérer les défauts visuels de vos produits qui, autrement, passeraient inaperçus à l'œil nu.
-Responsable de l'ingénierie de la plateforme de Machine Learning, banque d'investissement et société de services financiers multinationale du top 5.
Les outils de test visuel permettent de comparer et de mettre en évidence les différences entre deux instantanés de l'interface utilisateur. Pour exploiter efficacement les tests visuels, il faut relever trois défis fondamentaux.
Défi n° 1 : Création de références
Il faut créer des références (élément originel correct) pour chaque combinaison de navigateur/appareil mobile et de fenêtre d'affichage, afin d'effectuer une véritable comparaison. Étant donné que le nombre typique de navigateurs et de combinaisons de dispositifs mobiles pris en charge est important, la création de références uniques devient rapidement une priorité élevée lors de l'exécution d'une stratégie de test visuel.
Défi n° 2 : Évolution / mise à jour des lignes de base
Les applications sur lesquelles nous travaillons aujourd'hui sont des "produits vivants". Elles évoluent en fonction des exigences de l'entreprise, du produit et de l'utilisateur. Cela signifie que l'équipe devra continuer à mettre à jour les lignes de base à des fins de comparaison à intervalles réguliers et si les lignes de base sont créées et gérées manuellement, leur mise à jour régulière n'est pas un effort trivial.
En outre, un changement de marque même mineur de l'application (par exemple, la modification de l'en-tête et du pied de page de l'application web) invaliderait toutes les lignes de base, ce qui nécessiterait soit une révision complète, qui prendrait beaucoup de temps, soit une acceptation aveugle des nouveaux changements, au risque de manquer de véritables régressions.
Défi n°3 : Précision de la comparaison, telle qu'elle compte pour vos utilisateurs
Alors que la plupart des outils commerciaux de test visuel cherchent à relever les défis ci-dessus (c'est-à-dire la création et la mise à jour des lignes de base), le plus grand défi, et le facteur décisif, est l'algorithme utilisé pour donner la précision de la comparaison.
Pendant des années, la validation visuelle a été en proie à des faux positifs, introduisant trop de problèmes dans le flux de travail des tests. La différence de pixels, l'approche traditionnelle, compare les images d'écran pour les différences de rendu de pixels. Mais les problèmes de rendu peuvent provoquer des différences de pixels sans que ces différences soient de véritables erreurs. Un pixel rendu en couleur 24 bits à partir d'une capture d'écran peut différer d'une autre capture d'écran d'un bit. Cette différence constitue-t-elle une erreur ? Un autre exemple, le lissage des polices, peut changer d'une version de navigateur à l'autre (voir la figure ci-dessous).
En fin de compte, au fil du temps, les ingénieurs ont conclu que la technologie de la différence de pixels donne lieu à un trop grand nombre d'anomalies faussement positifs nécessitant une résolution manuelle.
Figure : La comparaison basée sur les pixels montre un faux positif dû au lissage de la police de "Total Balance".
Pour résoudre ce problème, Applitools a inventé Visual AI. En reproduisant le fonctionnement de l'œil et du cerveau humains, Visual AI ne met en évidence que les différences qu'un être humain remarquerait.
Figure: Entraînée sur un milliard d'images, l'IA visuelle d'Applitools est précise à 99,9999 % et ne se laisse pas tromper par les mises à jour du navigateur.
Visual AI peut analyser un écran, un composant d'interface utilisateur ou même une page Web entière (en assemblant des images capturées en faisant défiler l'interface utilisateur). Elle abstrait ensuite l'instantané de l'interface utilisateur en régions identifiables à analyser, en comparant la taille et les dimensions relatives, les couleurs et le contenu des objets sur une page. Entraînée sur plus d'un milliard d'images, Visual AI offre une précision de 99,9999 % et rend possible la validation visuelle automatisée, ce qui permet aux équipes d'obtenir une couverture complète de l'ensemble de l'interface utilisateur à partir d'un seul instantané, et de trouver des défauts qui ne pourraient pas être trouvés autrement (voir la figure ci-dessous).
Figure: L'IA visuelle trouve des anomalies fonctionnelles ainsi que des bogues qu'aucune autre technologie ne peut détecter.
-Joe Colantonio, Test Guild and Guild Conferences
Lorsqu'on examine l'interface utilisateur, toutes les pages ne peuvent pas être traitées de la même manière. Pour cela, nous devons être en mesure de combiner différents algorithmes, ou modes de comparaison, afin d'identifier le bon type de différence visuelle entre le point de contrôle et la ligne de base.
Pour les rendre attrayantes et significatives pour leurs utilisateurs, la plupart des applications sont dynamiques par nature. Il y a du contenu dynamique, des options pour sélectionner différentes mises en page et expériences utilisateur (par exemple, le mode sombre). Nous avons besoin de moyens pour vérifier visuellement le contenu "statique", le contenu "dynamique" et, surtout, les combinaisons de ces contenus sur les mêmes pages/écrans mobiles.
Certaines pages ne doivent pas changer d'une version à l'autre. En utilisant un mode de comparaison "Strict", Visual AI capture tous les éléments de la page ou de l'écran et compare le point de contrôle à la ligne de base. Toutes les différences qu'un humain pourrait détecter sont signalées (voir figure ci-dessous).
Figure: Le mode de comparaison "strict" met en évidence les différences visuelles qu'un humain pourrait détecter.
Si la page, ou les régions d'une page, présentent un contenu changeant ou dynamique, comme les "produits vedettes" dans le commerce de détail, les "sujets d'actualité" sur les sites d'information ou les "cours des actions" dans une application financière (voir l'image ci-dessous), le mode "Mise en page" valide la structure de la page pour identifier les régressions, même avec un contenu dynamique.
Figure: Le mode de comparaison "Mise en page" ignore le contenu dynamique et ne met en évidence que les régressions structurelles.
Les schémas de couleurs peuvent également changer (par exemple, mode sombre ou préférences de marque), auquel cas le mode "Contenu" peut être utilisé pour valider le texte et les images de la page tout en ignorant les changements de couleurs.
Nous gagnons 4 jours de travail par mois avec Applitools. Dans mon livre, cela signifie 2 mois supplémentaires d'heures de travail disponibles.
-Nir Pinchas, ingénieur principal en automatisation, WalkMe
Jusqu'à présent, notre équipe qualité avait du mal à automatiser les tests pour les pages avec des tests A/B - nous rencontrions des faux positifs et le temps d'écrire une logique de test conditionnelle complexe, le test A/B était terminé. L'implémentation des tests A/B par Applitools est incroyablement facile à mettre en place et précise. Elle a permis à notre équipe de qualité de s'aligner et de se rallier aux besoins de l'entreprise et de garantir la meilleure expérience pour nos utilisateurs finaux.
-Priyanka Halder, directrice principale, ingénierie de la qualité, GoodRx
Lorsque nous avons ajouté Applitools Visual AI + Ultrafast Grid à notre cadre de génération de tests, nous avons pu réduire le temps de création des tests à moins de 5 minutes par test, tout en augmentant la couverture des tests, en réduisant le temps de construction et en obtenant un taux de réussite de 99 %.
-Greg Sypolt, VP Assurance Qualité, EVERFI
L'un des principaux avantages de l'utilisation des tests visuels est l'efficacité du codage.
Tous les tests impliquent la mise en place de conditions de test, l'exécution du test, puis la mesure des résultats. Pour le comportement validé par l'interface utilisateur, le test typique valide le comportement en interrogeant le modèle d'objet du document (DOM) de la page Web. À l'aide de localisateurs d'éléments, des valeurs sont extraites et utilisées pour les assertions. Chaque assertion implique son propre identifiant unique et chacune doit être codée, validée et, en raison de la nature fragile des localisateurs d'éléments, maintenue. En raison du nombre d'éléments qui peuvent exister sur une page donnée, et de l'effort nécessaire pour créer et maintenir ces assertions, les développeurs et les testeurs sont généralement très sélectifs sur ce qu'ils doivent valider et se concentrent sur le plus petit nombre d'assertions pour valider le comportement fonctionnel.
Grâce à Visual AI, le développeur ou le testeur est en mesure d'effectuer une régression visuelle complète à l'aide d'un seul instantané ou d'une seule ligne de code, sans avoir à utiliser des localisateurs d'éléments instables ou fragiles. Cela réduit donc l'effort de création, de maintenance et de couverture de test complète, en supprimant la nécessité de vérifier ponctuellement les éléments de l'interface utilisateur ou d'effectuer une révision manuelle (voir la figure ci-dessous).
Figure: Key Benefits of Visual AI for Test Automation
Au début, nos développeurs ne croyaient pas à l'automatisation visuelle. Maintenant, ils complimentent Applitools parce qu'ils identifient et corrigent des anomalies critiques.
- Greg Sypolt, Director, Quality Engineering - Gannett
La plupart des utilisateurs commencent par appliquer l'IA visuelle d'Applitools à leurs tests de bout en bout et découvrent rapidement plusieurs choses sur Applitools. Tout d'abord, il est très précis, ce qui signifie qu'il trouve des différences réelles - pas des différences de pixels. Deuxièmement, les modes de comparaison offrent la flexibilité nécessaire pour gérer les différences attendues, quel que soit le type de page testé. Et troisièmement, l'application de l'IA va au-delà de la vérification visuelle et inclut des capacités telles que l'auto-maintenance et l'analyse des causes profondes.
Reprenons notre exemple précédent, où un changement de marque modifie l'en-tête et le pied de page de l'application Web. Ce seul changement affectera chaque page et nécessitera donc la révision de chaque instantané. Il sera très facile pour un réviseur de manquer toute régression involontaire introduite dans le cadre du rebranding. Avec Applitools, l'IA visuelle ne se contente pas d'identifier les régressions visuelles, mais les regroupe et les catégorise pour rationaliser les efforts de révision et la gestion de la ligne de base (voir la figure ci-dessous).
Figure: L'auto-maintenance catégorise 76 régressions visuelles et les organise en deux groupes (40 et 36)
En outre, comme Visual AI fournit des informations très précises sur les différences découvertes, Applitools peut également réduire le temps de remédiation en fournissant aux développeurs le code de la cause première dans l'application d'où provient le comportement (voir la figure ci-dessous).
Figure: L'analyse des "root causes" d'Applitools met en corrélation les régressions visuelles avec les modifications apportées au HTML et au CSS sous-jacents.
L'application de l'IA visuelle aux tests de bout en bout garantit que l'application terminée est exempte de défauts visuels, mais les bogues capturés tardivement entraînent toujours des changements de contexte pour les développeurs. Heureusement, l'IA visuelle d'Applitools peut également être appliquée lors de la vérification du code.
L'intégration d'Applitools avec GitHub fusionne deux produits essentiels qui permettent à notre équipe de livrer en permanence. Cette collaboration a débloqué de nouvelles efficacités sans aucun changement dans notre flux de travail. Après l'avoir utilisé pendant un certain temps maintenant, je ne peux pas imaginer notre équipe se passer du contrôle de version de l'interface utilisateur et de la mise à jour automatique de la base lors de la fusion.
-Priyanka Halder, directrice principale de l'ingénierie de la qualité, GoodRx
Quelle est la différence réelle entre la validation de bout en bout à la fin d'un cycle de développement et la validation du code fonctionnel à l'enregistrement pendant un cycle de développement actif ? Le code de bout en bout a une interface utilisateur complète qui peut être testée par un opérateur ou un système de test automatisé. Personne ne s'attend à ce que le code de l'interface utilisateur soit terminé au moment du check-in, et tout le monde s'attend à ce qu'il n'y ait pas d'erreur de régression pour un code inchangé.
Applitools aide les équipes à identifier le comportement approprié lors de l'enregistrement, même lorsque l'interface utilisateur ne semble pas complète pour l'utilisateur final, en appliquant différents modes de comparaison à une région spécifique par rapport au reste de la page.
Imaginez un instant que la page en question concerne les prochaines occasions d'observer la Station spatiale internationale dans le ciel obscur. Les développeurs viennent d'ajouter une fonction qui permet à l'utilisateur de filtrer pour n'obtenir que les résultats du soir ou du matin. Cette fonctionnalité, ainsi que les résultats filtrés, nécessiteront une nouvelle validation visuelle. Une deuxième équipe continue à développer une image cartographique pour montrer où l'ISS apparaîtra. Cette fonctionnalité reste incomplète, et l'équipe a codé un espace réservé sur la page. Le reste de la page - y compris la mise en page, le menu, le bas de page et le schéma de couleurs - ne doit pas changer par rapport à la dernière base de référence.
Ainsi, lors de l'enregistrement, les tests doivent valider le comportement de la nouvelle fonctionnalité, le comportement de la région avec l'espace réservé, et le reste de la page en tant que régions distinctes. En choisissant différents modes de comparaison pour chacune d'entre elles (c'est-à-dire "Layout" pour la région avec l'espace réservé et "Strict" pour la région du reste de la page), le comportement visuel de la nouvelle fonctionnalité peut être entièrement validé. Une fois que les tests sont terminés, et qu'aucun changement n'a été noté dans le reste de la page, le check-in peut se terminer et la ligne de base est automatiquement mise à jour lors de la fusion.
En utilisant Applitools lors du check-in, les développeurs obtiennent un retour immédiat sur le comportement visuel de leur code, même si le reste de l'interface utilisateur est incomplet. Les développeurs peuvent alors réparer rapidement tout défaut au moment de l'enregistrement, éliminant ainsi les défauts découverts tardivement dans le cycle de livraison du logiciel et réduisant la rotation des ingénieurs et les perturbations.
Toutefois, si nous sommes désormais en mesure d'obtenir un retour d'information immédiat au moment de l'enregistrement, la validation d'un navigateur à une taille d'écran donnée est insuffisante pour les applications web réactives d'aujourd'hui. D'où la nécessité d'effectuer des tests multi-navigateurs, mais les approches traditionnelles sont tout simplement trop lentes pour effectuer une validation complète au moment de l'enregistrement. Heureusement, grâce à sa précision et à sa rapidité, l'IA visuelle ouvre la voie à une autre approche du problème.
Les tests multiplateformes sont difficiles, il n'est pas étonnant que tant d'entreprises les ignorent, les efforts pour mettre en œuvre une stratégie complète en utilisant les approches traditionnelles sont astronomiques. Ce qui m'a pris des jours de travail avec d'autres approches n'a pris que quelques minutes avec Applitools Ultrafast Grid ! Non seulement c'était plus facile, mais c'est plus intelligent, plus rapide et fournit plus de couverture que toute autre solution existante.
-Oluseun Olugbenga Orebajo, Lead Test Practitioner, Fujitsu
Les bogues que j'ai manqués (et il y en a eu beaucoup !) sur différents navigateurs et fenêtres d'affichage ont été facilement détectés sans affecter le temps nécessaire à l'exécution de mes tests.
-Marie Drake, ingénieur principal en automatisation des tests, News UK
Alors que les plateformes cloud traditionnelles sont sujettes aux faux positifs et à une exécution lente, la capacité unique d'Applitools à exécuter Visual AI dans des conteneurs parallèles peut donner à votre équipe l'avantage injuste de la stabilité, de la vitesse et d'une couverture améliorée.
-Igor Draskovic - VP Developer Specialist, BNY Mellon
Comme les applications d'aujourd'hui s'exécutent sur plusieurs navigateurs, appareils et tailles de fenêtres, les ingénieurs doivent tenir compte de la nécessité de valider le comportement sur différentes plateformes de test. Cependant, les grilles d'exécution traditionnelles en nuage, ou nuages de dispositifs, sont lentes, coûteuses et souvent peu fiables.
Mais que se passerait-il si les tests inter-navigateurs n'avaient aucun coût d'installation ?
Figure: Applitools Ultrafast Grid - 18,2x plus rapide pour compléter un cycle de test complet
L'Applitools Ultrafast Grid (qui fait partie de l'Applitools Ultrafast Test Cloud - voir la figure ci-dessous) est une approche révolutionnaire des tests multi-navigateurs et multi-dispositifs. Des instantanés de l'interface utilisateur rendue sont capturés sous la forme d'un modèle de la page rendue (c'est-à-dire HTML + CSS) pendant l'exécution fonctionnelle et téléchargés sur l'Ultrafast Grid pour être rendus sur plusieurs navigateurs, appareils et fenêtres sans avoir à réexécuter le scénario fonctionnel. Cette approche réduit la complexité de la gestion des données de test et de l'environnement de test, simplifie les exigences de sécurité et accélère la validation visuelle sur tous les écrans à des niveaux bien supérieurs à ceux des grilles d'exécution traditionnelles - ce qui permet aux organisations de voir les cycles de test complets fonctionner 18,2x plus vite (voir figure ci-dessus).
De plus, comme la grille Ultrafast Grid s'exécute si rapidement, les ingénieurs peuvent l'utiliser pour valider à l'enregistrement sur toutes les plateformes en quelques secondes contre des minutes ou des heures avec les problèmes d'exécution traditionnels du cloud.
L'Ultrafast Grid élimine le coût, la complexité, le temps et l'effort des tests inter-filières et inter-appareils - ce qui permet une plus grande couverture, une meilleure qualité et une mise sur le marché plus rapide.
Figure: The Applitools Ultrafast Test Cloud
Notre environnement CI exécute chaque mois des dizaines de milliers de tests alimentés par Visual AI contre la grille. Depuis sa mise en œuvre, nous avons pu éliminer les tests fonctionnels fragiles de notre écosystème et atteindre un pourcentage de réussite de 99,8 %. Nous sommes plus rapides, plus stables, et nous expédions en toute confiance avec Visual AI d'Applitools fonctionnant sur la grille Ultrafast.
-Mile Millgate, Technical Quality Architect, Gannet
Comme toutes les technologies d'IA, Visual AI aide les humains à devenir plus rapides et plus efficaces. Entraînée sur +1B images, et avec une précision de 99,9999%, l'IA visuelle d'Applitools transforme la façon dont les plus grandes marques mondiales (9 des 10 plus grandes entreprises de logiciels, 7 des 10 plus grandes banques en Amérique du Nord, 2 des 3 plus grands détaillants en Amérique du Nord, etc.) accélèrent la livraison de l'innovation à leurs clients, tout en protégeant leur marque et en s'assurant que les initiatives numériques ont les résultats commerciaux souhaités.
L'IA visuelle a progressé de manière significative au cours des dernières années et fait avancer le secteur vers de véritables tests autonomes, la prochaine innovation la plus importante pour l'ingénierie de la qualité. Aujourd'hui, nous nous efforçons de faire en sorte que l'IA supprime les tâches répétitives et banales, libérant ainsi l'humain pour qu'il puisse se concentrer sur les tâches créatives/complexes qui requièrent son intelligence. À mesure que nous nous dirigeons vers les tests autonomes, le rôle des développeurs et des testeurs va changer de manière significative : il s'agira de former l'IA à l'utilisation de l'application, de la laisser réaliser les activités de test, puis d'examiner les résultats. Ce changement entraînera une augmentation fondamentale de l'efficacité des équipes, réduisant le coût global de la qualité et permettant aux entreprises d'établir des pratiques d'ingénierie de la qualité évolutives.
L'avenir est passionnant - et il est probablement plus proche que vous ne le pensez.
Mark Lambert
Mark Lambert is the Vice President of Product Marketing at Applitools. Mark is passionate about improving software quality through innovation and over the last 16 years has been invited to speak at industry events and media such as SDTimes, DZone, QAFinancial, JavaOne, AgileDevDays, Software Test and Performance, TestGuild and StarEast/StarWest. Mark holds both a Bachelor’s and a Master’s degrees in Computer Science from Manchester University, UK.
Applitools delivers the next generation of test automation platform for cross browser and device testing powered by AI assisted computer vision technology known as Visual AI. Visual AI helps Developers, Test Automation Engineers and QA professionals release high-quality web and mobile apps enabling CI/CD.
Hundreds of companies, including industries such as Technology, Banking, Insurance, Retail, Pharmaceuticals, and Media - including 50 of the Fortune 100 - use Applitools to deliver the best possible digital experiences to millions of customers across all screens.
Visit us at www.applitools.com
