Δελτίο Τύπου - «SARS-CoV-2: Διευκρινίσεις σχετικά με τον αλγόριθμο EVA και τα ερωτήματα που παραμένουν»

Στις 9/11 ως Ένωση Πληροφορικών Ελλάδας δημοσιεύσαμε ανακοίνωση-επιστολή στην οποία θέτουμε δέκα κρίσιμα ερωτήματα σχετικά με τον περίφημο αλγόριθμο EVA που εφαρμόστηκε το καλοκαίρι για την κατηγοριοποίηση προφίλ επικινδυνότητας των ξένων τουριστών, καθώς και τη διαθεσιμότητα των αναλυτικών επιδημιολογικών δεδομένων από τον ΕΟΔΥ.

Προς: Γενική Γραμματεία Πολιτικής Προστασία, Υπουργείο Υγείας, Υπουργείο Ψηφιακής Διακυβέρνησης

Κοιν: Γραφεία Τύπου πολιτικών κομμάτων, ΜΜΕ

Αθήνα, 14/11/2020

Δελτίο Τύπου - «SARS-CoV-2: Διευκρινίσεις σχετικά με τον αλγόριθμο EVA και τα ερωτήματα που παραμένουν»

Αξιότιμοι Κύριοι,

Στις 9/11 ως Ένωση Πληροφορικών Ελλάδας δημοσιεύσαμε ανακοίνωση-επιστολή1 στην οποία θέτουμε δέκα κρίσιμα ερωτήματα σχετικά με τον περίφημο αλγόριθμο EVA που εφαρμόστηκε το καλοκαίρι για την κατηγοριοποίηση προφίλ επικινδυνότητας των ξένων τουριστών, καθώς και τη διαθεσιμότητα των αναλυτικών επιδημιολογικών δεδομένων από τον ΕΟΔΥ.

Από την ερευνητική ομάδα που ανέπτυξε τον αλγόριθμο λάβαμε την απάντηση που υπάρχει στο Παράρτημα του παρόντος. Κάποια άλλη απάντηση εκ μέρους των συναρμόδιων υπουργείων ή της Γενικής Γραμματείας Πολιτικής Προστασίας δεν έχουμε λάβει μέχρι και σήμερα.

Από την απάντηση του κ. Δρακόπουλου εκ μέρους της ερευνητικής ομάδας προκύπτουν τα παρακάτω:

  • Ο αλγόριθμος EVA σχεδιάστηκε, δοκιμάστηκε και υλοποιήθηκε από μια μικρή ερευνητική ομάδα, χωρίς συγκεκριμένη κεντρική διοικητική διαδικασία, ούτε στο πλαίσιο κάποιας επίσημης δράσης κάποιου κρατικού φορέα. Παρόλα αυτά, το αποτέλεσμα, δηλαδή ο αλγόριθμος EVA, όχι μόνο προβλήθηκε από τα ΜΜΕ ως βασική πολιτική αντιμετώπισης του πολύ πιθανού δεύτερου κύματος της πανδημίας στη χώρα μας, αλλά εφαρμόστηκε άμεσα για το σκοπό αυτό στις πύλες εισόδου της χώρας για ολόκληρο το καλοκαίρι.

  • Μέχρι και αυτή τη στιγμή δεν βλέπουμε η ερευνητική ομάδα να έχει κάπου δημοσιευμένο τον αλγόριθμο σε επίπεδο πλήρους επιστημονικής εργασίας (scientific paper), ούτε επίσημα ούτε ως προ-δημοσίευση για σχολιασμό (preprint). Προτίθεται να υποβάλλει δύο τέτοιες εργασίες μέσα στο Δεκέμβριο, πιθανόν στα περιοδικά “Nature” και “Operational Research”. Αυτό σημαίνει ότι όταν στις αρχές του καλοκαιριού ελήφθη η κυβερνητική απόφαση για επιχειρησιακή εφαρμογή του αλγορίθμου EVA ως εργαλείο κατηγοριοποίησης επικινδυνότητας των ξένων τουριστών στα σύνορα δεν υπήρχε διαθέσιμη η επιστημονική-τεχνική περιγραφή του και άρα ήταν αδύνατο να αξιολογηθεί η αναμενόμενη αποτελεσματικότητά του για το σκοπό αυτό.

  • Σύμφωνα με τις διευκρινήσεις, δεν εφαρμόστηκε κάποιο συγκεκριμένο κριτήριο αποτελεσματικότητας-αποδοχής του αλγορίθμου EVA πριν την επιχειρησιακή του εφαρμογή, πέρα από τη σύγκριση με τυχαία δειγματοληψία (σύγκριση με κατάσταση χωρίς EVA), δεδομένα προσομοιώσεων και τις γενικές οδηγίες από το ECDC. Αυτό σημαίνει ότι δεν υπάρχει καμία εγγύηση ότι σε επιχειρησιακό επίπεδο η όποια αποτελεσματικότητα του αλγορίθμου EVA έχει επιβεβαιωθεί με επαρκή πραγματικά επιδημιολογικά δεδομένα από την Ελλάδα, κάτι που παραδέχεται και η ίδια η ερευνητική ομάδα, αναφέροντας ότι βασίστηκε κυρίως σε σχετική βιβλιογραφία από άλλους τομείς.

  • Μέχρι και σήμερα δεν υπάρχει καμία επίσημα δημοσιευμένη αξιολόγηση από την επιχειρησιακή εφαρμογή του αλγορίθμου EVA στην Ελλάδα από τον Ιούλιο. Η ομάδα αναφέρει ότι “θα πρέπει να περιμένουμε μέχρι το Δεκέμβριο” και ότι η ερώτηση σχετικά με τα νούμερα ευαισθησίας/ακρίβειας δεν είναι ορθή επιστημονικά. Εδώ να αναφέρουμε ότι σε κάθε παρόμοιο μοντέλο πρόβλεψης/εκτίμησης, δηλαδή αν κάποιος τουρίστας είναι ή όχι “επικίνδυνος” ή “ασφαλής”, τα νούμερα FP και TN που ρωτούμε αντιστοιχούν στο ποσοστό περιπτώσεων που το μοντέλο χαρακτηρίζει “επικίνδυνο” ενώ είναι “ασφαλής” και το αντίστροφο, δηλαδή την κατανομή του σφάλματός του. Αποτελεί θεμελιώδες στοιχείο για κάθε σωστή πειραματική αξιολόγηση και δεν επιδέχεται άλλη ερμηνεία.

Ως ΕΠΕ σεβόμαστε απόλυτα την ακαδημαϊκή δουλειά της ερευνητικής ομάδας και γνωρίζουμε πάρα πολύ καλά τα στοιχεία που περιγράφουν, καθώς μεγάλο ποσοστό από τα μέλη μας είναι ακαδημαϊκοί και ερευνητές που εργάζονται με τον ίδιο τρόπο. Για εμάς είναι απόλυτα σαφής και αυστηρός ο διαχωρισμός μεταξύ της ακαδημαϊκής έρευνας και της τεχνολογικής-επιχειρησιακής εφαρμογής της, ιδιαίτερα όταν πρόκειται για κάτι που εμπίπτει στον τομέα της δημόσιας υγείας και κατά συνέπεια τα πρότυπα αξιολόγησης και οι απαιτήσεις είναι στο υψηλότατο επίπεδο.

Όμως αυτό δεν σχετίζεται με το πρόβλημα που επισημαίνεται από την αρχική μας ανακοίνωση, ότι δηλαδή στις αρχές του καλοκαιριού υπήρξε κεντρική πολιτική απόφαση να εφαρμοστεί επιχειρησιακά ένα καθαρά επιστημονικό μοντέλο, με αδυναμία πειραματικής του επικύρωσης με πραγματικά δεδομένα για την Ελλάδα, χωρίς να είναι ακόμα δημοσιευμένη η πλήρης επιστημονική-τεχνική του περιγραφή, χωρίς κανένα πλάνο περαιτέρω αξιολόγησης της αποτελεσματικότητάς του στους μήνες που εφαρμόστηκε.

Συνεπώς, ευχαριστούμε την ερευνητική ομάδα για τις διευκρινήσεις που μας παρείχε και εξακολουθούμε να αναμένουμε ουσιαστικές τις απαντήσεις στα ερωτήματά μας εκ μέρους των συναρμόδιων υπουργείων και δημόσιων φορέων.

Με εκτίμηση,

Το ΔΣ της Ένωσης Πληροφορικών Ελλάδας (ΕΠΕ)

Η Πρόεδρος

Ο Αντιπρόεδρος

Ο Γενικός Γραμματέας

Ο Ειδικός Γραμματέας

Ο Ταμίας

Χαρά Ξανθάκη

Δημήτρης Κυριακός

Χάρης Γεωργίου

Φώτης Αλεξάκος

Γιάννης Φάκας

proedros@epe.org.gr

antiproedros@epe.org.gr

gen_grammateas@epe.org.gr

eid_grammateas@epe.org.gr

tamias@epe.org.gr

Ένωση Πληροφορικών Ελλάδας, Τ.Θ. 13801, Τ.Κ. 10310, Αθήνα

Email: info<στο>epe.org.gr – Τηλέφωνο: 698 172 3690

 

ΠΑΡΑΡΤΗΜΑ

Απάντηση από τον κ. Κίμων Δρακόπουλο, επίκουρου καθηγητή στο University of Southern California, εκ μέρους της ερευνητικής ομάδας που ανέπτυξε τον αλγόριθμο EVA:

----------

Subject: With regards to your letter on papers/data

From: "Drakopoulos, Kimon" <...>

Date: 10/11/2020, 10:59 μ.μ.

To: <...>

CC: <...>

Hello to everyone,

My name is Kimon Drakopoulos, Assistant Professor at the University of Southern California and I am also cc’ing my collaborators on the project, Hamsa Bastani (Wharton) Vishal Gupta (USC), Jon Vlahoyannis (AgenRisk).

I am writing with regards with your letter about information on the work that we did to allocate tests on the different points of entry during the summer.

Που είναι δημοσιευμένος ο συγκεκριμένος αλγόριθμος EVA, με πλήρη επιστημονική τεκμηρίωση και τεχνική περιγραφή;

We are in the process of writing the paper now, given that the system was running until last week. All of us condensed our teaching to half a semester so that we are on call during the summer and as a result we have been teaching very heavily since September. The code will be public next week and we expect to submit the paper by mid-december.

Μέσω ποιας διαδικασίας κρίσης (peer-review) έχει αξιολογηθεί η επιστημονική εγκυρότητά του;

We are writing two papers on this. The first one that we will submit to Nature (at least we will try) will present the algorithm and the Off Policy Evaluation that I think that you are requesting. The second one will be submitted to Operations Research, showcasing the technical contributions (statistical guarantees and algorithmic contribution)

Με βάση ποια δεδομένα και με ποιο πειραματικό πρωτόκολλο έγινε η αξιολόγηση αυτή;

The benchmarks that we are using for our analysis is random testing (subject to the same testing budget) and the ECDC policy that makes greylisting decisions based on publicly available data.

Ποιος ανέλαβε την υλοποίησή του σε επιχειρησιακό επίπεδο, με ποια διαδικασία επιλογής, ποιος φορέας-υπηρεσία είναι αρμόδιος και ποιος παρέλαβε το σχετικό έργο (λογισμικό);

I want to clarify that this is a project that we initiated, we didn’t bid on a search or something like that; there was no search. We volunteered our work to the COVID taskforce and proposed the project. We did not charge anything for our services including the deployment. We worked with the epidemiologists taskforce, Civil Protection and the Health Ministry.

Με βάση ποια δεδομένα προσαρμόστηκε, δοκιμάστηκε, αξιολογήθηκε και τελικά εφαρμόστηκε επιχειρησιακά πλέον στις πύλες εισόδου της Ελλάδας;

Since we were the first team to propose and implement something like this worldwide benchmarking is impossible. The statistical guarantees come from the long literature on online learning and multi-arm bandits, and similar techniques have been applied to many other disciplines such as healthcare, experiment design, finance, operations.

Τι αξιολόγηση έχει γίνει κατά της διάρκεια της επιχειρησιακής αυτής λειτουργίας του μέχρι και αυτή τη στιγμή;

This is still ongoing work, we are working on the Off Policy Evaluation for the Nature submission. Unfortunately you will have to wit until mid December to finish our analysis and we will share in this email.

Ποια είναι τα τέσσερα βασικά νούμερα5 ευαισθησίας και ακρίβειας (TP / TN / FP / FN) του αλγορίθμου σε θεωρητικό επίπεδο (βλ. 1-3) και ποια σε επιχειρησιακό επίπεδο εφαρμογής στην Ελλάδα (βλ. 5-6) από το καλοκαίρι μέχρι και σήμερα;

You do realize I hope that this is not a well posed question, right? The FP/TN area function of arrivals and test availability, so this is not well defined.

Που είναι δημοσιευμένα και δημόσια προσβάσιμα στην επιστημονική κοινότητα όλα τα παραπάνω στοιχεία;

As in any academic work that respects itself, both the writing and the evaluation take some time, especially if the project is high impact. For those of you who are academics, the results do not magically appear. One has to work after the experiment to produce the off policy evaluation and quantify the effectiveness. Again, I am hoping that those of you with academic experience understand that when submitting to a high profile journal one cannot just do sloppy analysis just to inform a blog post.

Regarding the availability of epidemiological data we are not involved with this portion of policy making and I cannot comment on that.

 

1 https://www.epe.org.gr/ola-ta-arthra/deltio-typoy-sars-cov-2-deka-krisima-erotimata-gia-ton-algorithmo-eva-kai-tin-prosbasi-se-epidimiologika-dedomena-toy-eody