In de afgelopen 25 jaar hebben we net pas een loopsnelheid kunnen bereiken met data-analyse (voor de meeste zijn de prestaties nog op het niveau van 5 km in 30 minuten), maar er gaat geen dag voorbij zonder een artikel over Machine Learning (ML) of Artificial Intelligence (AI) in de audit tegen te komen.
Ik geloof zeer zeker in de kracht van ML en statistiek gecombineerd met data-analyse. We hebben Product Launch – Discovering The Unknown gelanceerd.
Ik word hoopvol als ik de recente publicaties volg op het gebied van ML in de audit en het feit dat er spelers zijn op de markt die experimenteren met ML, zoals ML als deel van fraude opsporing.
Ik heb uitermate veel respect voor zulke ontwikkelingen. Niettemin vind ik dat ik een stem van rede moet geven betreft de weg vooruit, met AI als het meest verre(zinloze?) stip in de horizon.
De boodschap van het CTA rapport is niet: ‘Deep learning zal accountants vervangen’. Ook zouden we opkomende generatie studenten die accountancy overwegen (met Coney Minds die ongeveer 20 vragen ontvangen per maand) niet de indruk moeten geven dat ze overbodig zijn (of zullen worden).
Al dit overdreven geklets is mij op mijn zenuwen gaan werken. Nu ben ik even eerlijk, ik begin langzamerhand meer overtuigd te worden van het feit dat er weinig vooruitgang is op het gebied van toepassing AI in de audit. Ons werkveld is simpelweg niet zo gecompliceerd. Waarom denken wij überhaupt dat AI technologie onze verificatie methodes zal doen verbeteren? Of ze sneller maken? Slimmer? Effectiever? Beter? Huidige data-analyse technologie (feitelijke data, gebaseerd op statistiek, gecontroleerd op compliance) voldoet al aan de eisen, is meet van voldoende beschikbaar op de markt, hoewel wij het ook (grotendeels) negeren.
‘Kunstmatige intelligentie leert door het verkrijgen van kennis en door het leren van het toepassen van deze kennis’. AI als het ultieme doel, de uiteindelijke vervanging van mijzelf als persoon, als audit accountant. Ikzelf die verplaatst wordt door een neuraal netwerk. Ik zou iedereen met een interesse voor AI en ML aanraden om dit ARTIKEL te lezen. Er is een wereld van neurale netwerken en neutronen die jouw Spotify lijst vaststellen. Er is een groot verschil tussen AI en ML.
Echter, er is zelfs een groter verschil met data-analyse.
We zien meer en meer voortreffelijke voorbeelden van ML in de wereld om ons heen. Overweeg maar eens je Netlix-algoritme. Denk eens aan Siri op je Apple apparaat. Of ga eens de indrukwekkende ontwikkelingen na in de zorg waar neurale netwerken gebruikt worden om tumoren te herkennen tijdens het gebruik van MRI scans met de hoogste mate van nauwkeurigheid.
Indrukwekkende technologie, van potentieel onschatbare waarde.
Machine Visie
Begrijp me alsjeblieft niet verkeerd. Ik ben onder de indruk van ML. Om precies te zijn ben ik onder de indruk van ontwikkelingen op het gebied van de zelfrijdende auto. Hier wordt de technologie dat gebruikt wordt door feitelijke experts ‘Machine vision’ genoemd. Dit is een technologie dat een grote en belangrijke rol zal spelen in het verkeerd, in zelfrijdende auto’s. Natuurlijk zijn er enkele belangrijke factoren te overwegen. Het systeem moet op correcte wijze in staat zijn om objecten, mensen, en situaties te classificeren in een hoog tempo. Aan deze herkenningsproces liggen ongelofelijk complexe neurale netwerken ten grondslag. Hebben we echt al deze neurale netwerken nodig in de audit om bedrijfstransacties en interne controleraamwerken te verifiëren als deel van de audit van de jaarrekening?
Houd in gedachte dat we nog steeds refereren naar ML. We refereren nog steeds naar neurale netwerken die specifiek zijn ontworpen voor een specifieke taak. Het ontwerp en de algoritmes zijn gekalibreerd volgens de taak, en het neurale netwerk wordt getraind door middel van data. Hierna kan het ingezet worden voor echte steekproeven.
Met Spofity of Netflix bestaat de training data uit het kijk- en luistergedrag van alle andere leden en wordt het uitgangssignaal/resultaat van de neurale netwerken aan jou voorgelegd. Hoe groot is de kans dat een film als ‘The Accountant’ zich bevindt onder de favorieten in jouw kijkprofiel?
Spoiler alert. Een van de grootste uitdagingen in 2021 en verder is het trainen van het neuraal netwerk. De trainmethodes die tot nu toe ontwikkeld zijn vergen enorme, correct gelabelde datasets die het mogelijk maken om continu de parameters aan te passen en het neuraal netwerk te verbeteren. Het ontwikkelen van ML applicaties op het kantoor of client pakket niveau vergt informatie in bulk.
Om het idee van ML verder te substantiëren volgt nu een overdreven voorbeeld vanuit het perspectief van een auditkantoor. Beeld nu eens mijn verplaatsing in. Wat zouden de minimale bekwaamheden moeten zijn van het neurale netwerk om mij zodanig onder de indruk te krijgen om data-analyse en statistiek voorgoed opzij te schuiven? Nou, dit neurale ML netwerk zou in staat moeten zijn om data te scannen van verschillende bronnen, deel uitmaken van een team-planning evenement, in staat zijn complete initial risk assessments uit te voeren met het team, en het meest belangrijke, getrainde datasets gebruiken om deviaties te detecteren die ik op het moment niet kan identificeren door middel van data-analyse of statistiek.
Als het aan mij ligt zijn relaties (Starreveld) niet iets dat het neurale netwerk hoeft te identificeren (BETA-formules zijn nog steeds data-analyse). Nee, waar ik naar op zoek ben is een verbetering in de sensoren zodat deviaties gedetecteerd kunnen die wij op het op het moment niet kunnen opsporen in verticale transactiestromen (omzet, compensatie, inventaris etc).
Bijvoorbeeld: de Waffle uitzendbureau heeft 100,000 personeelsleden verdeeld over tien sectoren met 25 verschillende Cao’s die de lonen bepalen. Een ML oplossing analyseert 1,300,000 compensatiegevallen (13 periodes van vier weken) en vindt de deviaties gebaseerd op getrainde datasets. Dit is ML, geen scripting (old school data-analyse) maar een analyse gebaseerd op een algoritme (supervised learning), getraind door een audit team in een tijdsbestek van drie jaar.
Dus, als het neurale netwerk geautomatiseerde gedetailleerde steekproef testen zou kunnen gebruiken om de betrouwbaarheid van datavariabelen vast te stellen, en de deviaties zou kunnen vinden, analyseren, documenteren en discussiëren met de client, dan zou ik zo goed als om zijn wat ML betreft.
Als al het bovengenoemde zou leiden tot de conclusies dat adequate audit informatie verwerft zou worden door vooraf bepaalde audit assertie, en dat de jaarrekening gecontroleerd zou worden door middel van GAAP in milliseconden, zou ik al mijn personeel op staande voet ontslaan.
Maar om op dat niveau te komen voor een auditkantoor met laten we zeggen, tien typologieën, zou ik algoritmes moeten trainen met data science voor vele jaren. Ik ben bereid om deze stap te nemen, maar hoe zit het met anderen in mijn beroepenveld? Zou dit iets moeten zijn waar wij allen deel van uitmaken?
Unsupervised machine learning
Nog even ter herhaling, de bovengenoemde activiteiten vergen een getrainde ML neuraal netwerk. Eentje die een miljoen keer is getest. Veel geluk daarmee. Nee, ik denk dat het beter zou zijn om in te zetten op wat bekend staat als ‘unsupervised machine learning’.
In een unsupervised machine learning omgeving, zijn er niet meer dan een enkele algemene regels gedefinieerd, en de taak van het gebruiken van de gepresenteerde data om te identificeren wat wel en niet wenselijk is wordt overgelaten aan het algoritme.
Een frequent gehoord voorbeeld is die van Alpha Go Zero, die zichzelf heeft geleerd om te schaken door met zichzelf te spelen, zonder enige input los van de basale regels. Na enkele uren van reinforcement learning, was Alpha Go Zero in staat om een van de hoogst gerangschikte schaakprogramma’s te verslaan. Als we nou eens zo een soort Google-accountant konden produceren, zou het wel eens wat perspectief kunnen bieden!
De stap van ML naar AI is zelfs nog een grotere. AI neurale netwerken zijn in staat om voor onbepaalde tijd te leren, dit geeft ze de gelegenheid om nieuwe situaties aan te kunnen op een voortdurende manier. Dit maakt ze zelfs nog vergelijkbaarder met de manier waarop het menselijke brein opereert. Op deze manier zouden recurrent neural networks ingezet kunnen worden om maar te blijven leren. Het uiteindelijke doel.
Een ander voorbeeld: jouw audit client heeft een concurrent overgenomen. Dit betekent (conventionele gezien) dat de audit cyclus herhaald zou moeten worden. Dit is niet het geval als je gebruik maakt van een AI neuraal netwerk, want met gepaste ijver leert het AQI netwerk welke onderdelen van het bedrijf anders zijn georganiseerd, en wordt het werkprogramma automatisch geüpdatet. Op een dag AI. Of niet. Want: is dit iets dat we zouden moeten willen, biedt het toegevoegde waarde?
Natuurlijk zal de technologie zich blijven ontwikkelen. Het AFM vraagt zich stilletjes af of er nog een waakhond nodig is als ML/AI de voornaamste kracht zal worden in auditing.
Voor nu is het voornamelijk science fiction. Maar dat zou niet moeten betekenen dat ML en AI nog geen deel uitmaken van het audit domein. Op LinkedIn zie ik vaak posts over ML en AI in de audit.
Dit doet me altijd glimlachen. Soms vraag ik me af wat een AI applicatie een AI applicatie maakt, los van dat de applicatie ‘XX.Ai’ heet. Rellen neigen zich te ontknopen, omdat AI marketing simpelweg door dobbert; zelfs een tamelijk simpele data-analyse script wordt geprezen als AI vandaag de dag.
Vaak hengel ik naar een uitnodiging om eens in de AI keuken te kijken. Maar tevergeefs, deze uitnodigingen zijn zeldzaam tot niet voorkomend.
Er is geen AI in auditing. Niet in Nederland, niet in de VS en ook niet in China. Er zijn kleine ML-gerelateerde ontwikkelingen, er zijn een beperkt aantal ‘plug and play’ ML gebaseerde script die ontdekt worden. Ook in mijn team. We zijn gaan werken met GO (www.globalorange.nl) tijdens de laatste twaalf maanden. We hebben een routekaart, maar geen miljoenen in de bank die nodig zijn voor grootschalige ontwikkelingen. We hebben Product ML Launch gelanceerd, we hopen dat andere auditkantoren zich zullen aansluiten bij onze reis.
Uitdaging
De daadwerkelijke uitdaging van auditing blijft hetzelfde als 30 jaar gelezen; de juiste toepassing van het oude vertrouwde data-analyse binnen de audit.
Het vergelijken van data-analyse met ML en AI is alsof je Captain Caveman vergelijkt met Captain America. Alsof je een opgevoerde driewieler vergelijkt met een F1 wagen. In technische termen is data-analyse niet bepaald indrukwekkend, maar het accountantsberoep moet deze technologie nog volledig zien te omarmen en/of toepassen.
Laten we een positieve maar tegelijkertijd een kritische houding hebben tegenover ontwikkelingen en voornamelijk ons bezig houden met het werken aan verbeteringen in de financiële audit die vandaag de dag mogelijk zijn.
