• Posted 25-Feb-2019

How Are MSCA Individual Fellowships and Innovative Training Networks Evaluated?

In general, the evaluation procedures for the MSCA Individual Fellowships and the MSCA Innovative Training Networks are very similar to each other and follow the same rules as the rest of evaluations conducted under the MSCA part of Horizon 2020, as described in the 2018-2020 MSCA Work Programme.

Ελληνικό Κείμενο

The key difference is that for ITNs the rapporteur is also a vice-chair, whereas for IFs the rapporteur is also one of the expert evaluators. The reason for the difference is due to the sheer volume of applications and the number of expert evaluators required for each scheme. For the 2018 ITN call, there were approximately 900 evaluators as well as almost 200 chairs and vice-chairs. For the 2018 IF call, there were approximately 3400 evaluators in addition to roughly 420 chairs and vice-chairs.

Detailed information about the procedures is included in the MSCA ITN and MSCA IF evaluators' manual. In brief:

  • The initial proposal allocation (preallocation) is done through the use of the MSCA key words listed in the guide for applicants and then matched to the list of key words selected by the expert evaluators that best represent their scientific expertise;
  • The preallocation is verified, to ensure the most qualified experts review each proposal, by the chairs and vice-chairs at the initial panel meeting. If necessary they will revise the allocation;
  • Though the panel meetings are done in Brussels, the evaluations and consensus meetings are done remotely;
  • Three external expert evaluators are used for each proposal, and in cases where a consensus cannot be reached there is the option to use additional experts;
  • The expert evaluators concentrate on the comments and then assign the scores;
  • During the consensus meeting, the rapporteur (an experienced MSCA evaluator) will ensure that each expert evaluator agrees with the comments before assigning a corresponding score (the final score is not a simple average of the individual reviewers score);
  • The final comments and score will be reviewed by the panel chairs and vicechairs at the final panel meeting, where they will finalise the ranked list;
  • The experts are selected from the main Horizon 2020 database (with their names eventually published on the Commission's Funding & Tender Opportunities Portal), but REA staff, chairs and vicechairs can also suggest experts whom they identify by attending conferences, searching the web, etc. (they then need to register on the Portal);
  • As part of the training, expert evaluators receive a briefing document and an assessment grid based on the evaluation criteria set out in the guide for applicants;
  • With regards to the evaluation criteria and the process, the experts receive the same information as the applicants;
  • The aim for the process to be as open and transparent as possible; and
  • Those involved in the review process are remunerated and must sign a contract with the EC.

Each year, REA aims to use a percentage of new expert evaluators (approximately 25%) and they are currently looking for experts to review the upcoming MSCA Special Need Allowance applications. If interested, you can register as an expert on the Funding & Tender Opportunities Portal.

 

Πώς αξιολογούνται οι ατομικές υποτροφίες MSCA και τα καινοτόμα εκπαιδευτικά δίκτυα;

Γενικά, οι διαδικασίες αξιολόγησης για τις ατομικές υποτροφίες MSCA και τα καινοτόμα εκπαιδευτικά δίκτυα της MSCA είναι πολύ παρόμοιες μεταξύ τους και ακολουθούν τους ίδιους κανόνες με τις υπόλοιπες αξιολογήσεις που διεξάγονται στο πλαίσιο του σκέλους MSCA του προγράμματος Horizon2020 όπως περιγράφεται στην MSCA 2018-2020 Πρόγραμμα εργασίας.

Η βασική διαφορά είναι ότι για τα Καινοτόμα Εκπαιδευτικά Δίκτυα (ITN) ο εισηγητής είναι επίσης αντιπρόεδρος, ενώ για τις Ατομικές Υποτροφίες (IF) ο εισηγητής είναι επίσης ένας από τους εμπειρογνώμονες αξιολογητές. Ο λόγος της διαφοράς οφείλεται στον τεράστιο όγκο των αιτήσεων και στον αριθμό των εμπειρογνωμόνων που απαιτούνται για κάθε σχέδιο. Για το πρόγραμμα εργασίας του ITN του 2018, υπήρχαν περίπου 900 αξιολογητές καθώς και σχεδόν 200 έδρες και αντιπρόεδροι. Για το πρόγραμμα εργασίας του 2018 IF, υπήρχαν περίπου 3400 αξιολογητές εκτός από περίπου 420 καρέκλες και αντιπρόεδροι.

Λεπτομερείς πληροφορίες σχετικά με τις διαδικασίες περιλαμβάνονται στο εγχειρίδιο αξιολογήσεων της MSCA ITN και MSCA IF. Εν συντομία:

  • Η κατανομή της αρχικής πρότασης γίνεται μέσω της χρήσης των βασικών λέξεων της MSCA που αναφέρονται στον οδηγό για τους αιτούντες και στη συνέχεια συνδυάζεται με τη λίστα των λέξεωνκλειδιών που επιλέγονται από τους εμπειρογνώμονες αξιολογητές που αντιπροσωπεύουν καλύτερα την επιστημονική τους εμπειρογνωμοσύνη.
  • Η προκαταρκτική κατανομή επαληθεύεται, προκειμένου να εξασφαλιστεί ότι οι ειδικοί με τα πιο κατάλληλα προσόντα θα επανεξετάσουν κάθε πρόταση, από τους προέδρους και τους αντιπροέδρους στην αρχική συνεδρίαση της επιτροπής. Εάν είναι απαραίτητο, θα αναθεωρήσουν την κατανομή.
  • Αν και οι συνεδριάσεις των επιτροπών γίνονται στις Βρυξέλλες, οι αξιολογήσεις και οι συνεδριάσεις συναίνεσης γίνονται εξ αποστάσεως.
  • Για κάθε πρόταση χρησιμοποιούνται τρεις εξωτερικοί αξιολογητές εμπειρογνωμόνες και σε περιπτώσεις όπου δεν είναι δυνατή η επίτευξη συναίνεσης, υπάρχει η δυνατότητα χρησιμοποίησης πρόσθετων εμπειρογνωμόνων.
  • Οι εμπειρογνώμονες αξιολογητές επικεντρώνονται στα σχόλια και στη συνέχεια αναθέτουν τις βαθμολογίες.
  • Κατά τη διάρκεια της συνάντησης συναίνεσης, ο εισηγητής (ένας έμπειρος αξιολογητής των MSCA) θα εξασφαλίσει ότι κάθε εμπειρογνώμοναςαξιολογητής θα συμφωνήσει με τις παρατηρήσεις πριν από την εκχώρηση αντίστοιχου βαθμού (το τελικό αποτέλεσμα δεν είναι ένας απλός μέσος όρος βαθμολογίας μεμονωμένων κριτών).
  • Τα τελικά σχόλια και η βαθμολογία θα αναθεωρηθούν από τους προέδρους των επιτροπών και τους αντιπροέδρους στην τελική συνεδρίαση της επιτροπής, όπου θα οριστικοποιηθεί ο κατάλογος που κατατάσσεται.
  • Οι εμπειρογνώμονες επιλέγονται από την κύρια βάση δεδομένων του προγράμματος Horizon Europe (με τα ονόματά τους να δημοσιεύονται τελικά στην πύλη της Επιτροπής για τη χρηματοδότηση και τις ευκαιρίες των διαγωνισμών), αλλά οι υπάλληλοι, οι πρόεδροι και οι αντιπρόεδροι της REA μπορούν επίσης να προτείνουν εμπειρογνώμονες που προσδιορίζουν συμμετέχοντας σε συνέδρια, κ.λπ. (πρέπει να εγγραφούν στην Πύλη).
  • Στο πλαίσιο της κατάρτισης, οι εμπειρογνώμονεςαξιολογητές λαμβάνουν ένα ενημερωτικό έγγραφο και ένα πλέγμα αξιολόγησης που βασίζεται στα κριτήρια αξιολόγησης που ορίζονται στον οδηγό για τους αιτούντες.
  • Όσον αφορά τα κριτήρια αξιολόγησης και τη διαδικασία, οι εμπειρογνώμονες λαμβάνουν τις ίδιες πληροφορίες με τους αιτούντες.
  • Ο στόχος της διαδικασίας είναι να είναι όσο το δυνατόν πιο ανοικτή και διαφανής.
  • Όσοι εμπλέκονται στη διαδικασία επανεξέτασης αμείβονται και πρέπει να υπογράψουν σύμβαση με την Ευρωπαϊκή Επιτροπή.

Κάθε χρόνο, η REA στοχεύει στη χρήση ενός ποσοστού νέων εμπειρογνωμόνων αξιολόγησης (περίπου 25%) και αναζητούν σήμερα εμπειρογνώμονες για να αναθεωρήσουν τις επερχόμενες εφαρμογές της MSCA Special Need Allowance. Εάν κάποιος ενδιαφέρετε, μπορεί να εγγραφεί ως εμπειρογνώμονας στην Πύλη Χρηματοδοτήσεων & Διαγωνισμών.

Source: UKRO