Efficiënt zicht op falen web-applicaties? Lumos is nu open source

In een technisch artikel - gepubliceerd op arXiv.org (pdf) - zetten de auteurs van Microsoft uiteen hoe het best lastig kan zijn mogelijke problemen met releases van een webapplicatie te volgen en te beoordelen wanneer er soms dagelijks nieuwe updates worden uitgebracht. Om ergernis bij gebruikers te voorkomen, is het zaak zo snel mogelijk te ontdekken wanneer de gebruiksstatistieken afwijkingen vertonen. Maar die statistieken kunnen om vele redenen afwijkingen vertonen. Er kan sprake zijn van een bug in de software, maar veel voorkomende oorzaken zijn ook bijvoorbeeld veranderingen in de gebruikerspopulatie doordat telemetriegegevens niet doorkomen of dat er een scheve verhouding (bias) is in de groep waarvan de telemetriegegevens afkomstig zijn.

Bij elke afwijking alarm slaan, kost de technici veel tijd om achter de kern van het probleem te komen. Microsoft heeft daarom een hulpmiddel in Python ontwikkeld dat geautomatiseerd de statistieken analyseert op basis van de principes van een A/B-test. De tool - genaamd Lumos - is door Microsoft zelf al miljoenen keren toegepast door de ontwikkel- en beheergroepen achter Microsoft Teams en Skype. Volgens de auteurs zorgde dat ervoor dat een de tijd die aan het bestuderen en evalueren van de statistieken werd besteed, met 95 procent afnam.

Vals positieven vermijden

Lumos draait op Azure Databricks, Microsofts dienstverlening voor big data analytics gebaseerd op Apache Spark. Wanneer er een uitzonderlijk voorval is wordt de Lumos workflow gestart. Als uit de geautomatiseerd analyse blijkt dat er sprake is van een probleem waar ontwikkelaars of beheerders aandacht aan moeten besteden, maakt Lumos automatisch een ticket aan. Zo konden vele duizenden vals positieve meldingen worden genegeerd en enkele honderden daadwerkelijke problemen snel worden opgemerkt

Microsoft doneert nu de Python library Lumos aan de opensource-gemeenschap zodat ook anderen er gebruik van kunnen maken en het gereedschap verder te ontwikkelen.