appareto.T^up

Wed, 01 Sep 2021 00:00:00 +0000

Algemeen

De appareto.T^up is een combinatie van:

een virtual appliance in uw netwerk gebouwd met moderne container technologie zoals docker, kubernetes en open source componenten.
bijbehorende on demand diensten via een strippenkaart abonnement:

Met appareto.T^up stelt u niet langer uit, maar kunt starten met:

intelligent gebruik van uw data
ontwikkelen van data gedreven applicaties
een oprit naar Azure cloud toekomstige schaling

Focus appareto.T^up Roadmap

Onderstaand een overzicht van de functionaliteit waarvoor gepland is om deze autonoom door te blijven ontwikkelen als platform voor het aanbod van de diensten

Orchestratie

De orchestratie component is een belangrijk onderdeel en hiermee worden processtappen periodiek, betrouwbaar en efficiënt uitgevoerd. De gebruikte open source component is zo ontworpen dat processtappen op een wijze ontwikkeld worden dat ze lokaal of in de cloud kunnen worden uitgevoerd. Afhankelijk van de zwaarte van de taak kan dat dan weer of op een enkele computer of een cluster van computers.

Dataverwerking

Uit uw interne organisatie komt (micro)data, om dat verantwoord in de cloud te kunnen gebruiken o.a. het volgende nodig:

opschoning van de data om vervuiling in de verdere verwerking en de resultaten te voorkomen. Voor analyses en “intelligente dashboards” geldt Garbage in, Garbage out
transformeren naar de juiste formaten voor optimale verdere verwerking.
verrijken met b.v. (open) data van derden, denk hierbij landelijke voorzieningen zoals kadastrale of handelsregister informatie.
anonimiseren of pseudonimiseren met de juiste balans tussen privacy en analyse mogelijkheden.

Bias detectie

Bias is een breed begrip, in dit kader is het de systematisch vertekening van de data t.o.v. de werkelijkheid. Zo’n vertekening kan op verschillende manieren ontstaan, bv:

door systematische meetfouten
bewuste of onbewuste vooroordelen in de dataverzameling.
een toeval uit het verleden in combinatie met een bias versterkende feedbackloop

De appareto.T^up virtual appliance probeert op een aantal manieren de bias te achterhalen en inzichtelijk te maken, denk hierbij o.a. aan:

geautomatiseerde analyse om opvallende deelgroepen in data te bepalen
sampling i.c.m. feedback loop simulatie voor aantal standaard modellen

Simulatie

appareto.T^up bevat een groeiend aantal simulatie methoden om inzicht te geven in wat te verwachten van verschillende typen modellen voor ontwikkelingen in de data. Denk hierbij aan:

is een bepaalde type model “eerlijker”
wat is de performance van een aantal representatieve standaard modellen.
de gevolgen van de aanwezige bias bij een bepaald model; hoe “eerlijk” is een bepaald model.
wat gebeurt er door de tijd als een bepaald model herhaaldelijk op muterende data wordt toegepast (effect van een feedbackloop)

Transparantie

In de hierboven omschreven functionaliteit wordt een audit trail van de uitgevoerde bewerkingen opgeslagen zodat deze gebruikt kan worden in inzichtelijke rapportages en controle achteraf. Waar relevant wordt gebruik gemaakt van specifieke frameworks zoals MLops.

Rapportage

appareto.T^up bevat geautomatiseerde rapportage functionaliteit die ook op zich zelf gebruikt kan worden.

automatische rapporten genereren over de resultaten bovenstaande functionaliteiten
op maat gemaakte analyses automatisch periodiek gedraaid worden en de daaruit resulterende rapporten custom analyses en rapportages mogelijk.
de eerder beschreven audit trails t.b.v. de transparantie kunnen als bron voor rapportages gebruikt worden.

data engineering, virtual appliance | appareto

appareto.Tup.card .card-image {margin-bottom: -25px;}