( que je partage)
Goya, Los ensacados
"What
we are nowadays pleased to call academic research—though in philosophy’s case
the word ‘research’ is an egregious misnomer, and that in itself should have
been a sufficient hint that our willingness to submit everything we do to the
scrutiny of auditors was an error—is an essentially open-ended, creative
process which can no more sensibly be managed and audited than can the
productions of composers, novelists, and poets. And, like the outputs of
creative artists, the ‘outputs’ of philosophical ‘research’ cannot be sensibly
evaluated: for there can be no final calculation of the value of a given
philosophical publication until all the facts are in, which will never be; and
a provisional evaluation is of interest only to accountants and those who take
an immature delight in rankings and league tables. A philosopher’s oeuvre might
be ignored for a generation, then recognized as work of brilliance, or it might
be lionized in its time, but forgotten after a few decades; and these later
judgements, superseding the reactions of contemporaries, are themselves only
stepping stones along the intellectual journey, not ultimate resting places.
There is and can be no final assessment of the value of a piece of philosophy;
but only a final assessment would, so to speak, be of any value. So the
only thing to do in the meantime (which is where we always are) is to forget
about the whole question of comparative
value and engage, as readers and writers, in doing the kind of philosophy that
we find helpful. ‘For us, there is only the trying. The rest is not our
business.’ If government responds that it needs a basis on which to distribute
monies for teaching and research, then it should be countered that almost any
basis would be better than the current regime of time-wasting, expensive,
demoralizing, and intellectually spurious comparative assessment exercises. Not
the least ignominy to which, in the UK, universities have descended in recent
years is the pusillanimity they have displayed in the face of government’s
ludicrous ‘impact agenda’: anyone who thinks that economic or cultural ‘impact’
can sensibly be measured in the short term—which is of course all that
interests our rulers—would do well to consider the story
of complex numbers, applications of which now pervade our lives in multifarious
and extraordinary ways. Our current knowledge of these highly peculiar entities
is based on centuries of patient theoretical groundwork—work which would never
have been undertaken had the mathematicians who courageously investigated the
strange case of the number i been subjected by their employers and
patrons to today’s ‘impact’ regime. We know now that complex numbers are
useful, and we think we have therefore learnt the lesson of the past. We pride
ourselves on having understood what the past has to tell us because we no
longer make the mistakes of our forebears. True, we no longer make those mistakes.
But the lesson is a general one. It applies just as much to transfinite set
theory or to the metaphysics of future contingency or to the philosophy of
literature as it does to complex numbers. If we had really learnt the lesson of
history, we would be expecting the applications of tomorrow to come from areas
such as these, or from others yet unconceived.
…Ultimately,
academics must blame themselves for their descent into the hell of permanent
and inappropriate audit: they have wantonly allowed university administration
to fall into the hands of people who either do not know what scholarship is, or
who do not care about it, or both. I am aware that this assertion will appear
overstated to some readers, but something like that
must be right: for otherwise university administrators would have resisted the
suffocating burden of ever more ‘quality control’, not conspired in it. After
all, the current Gleichschaltung of the universities is based on a simple
prisoners’ dilemma, and everyone knows what the practical solution to a
prisoners’ dilemma is: all that is required of our Vice-Chancellors is that they
collectively refuse to go along with what government is seeking to impose on
us. Since the quality-control regime depends on the co-operation of the
universities, that refusal would put a stop to it at once. But university managers
do not consider this option; I have never seen it even mentioned as a
possibility. Given that our administrators are not stupid, and given that they
have no difficulty in collaborating when it suits them—witness the creation of
such divisive and invidious blocs as the so-called ‘Russell group’
of universities—the only remaining conclusion to be drawn is that they approve
of the new dispensation”
Richard
Gaskin, Language, Truth and Literature,
Oxford, Oxford University Press, 2013, pp. 12-14
J'imagine que le point de vue que vous partagez avec l'auteur est d'abord la mise en cause de la valeur de l'audit des universités mais partagez-vous aussi l'idée selon laquelle "like the outputs of creative artists, the ‘outputs’ of philosophical ‘research’ cannot be sensibly evaluated". Votre rationalisme militant n'est-il pas hérissé par cette thèse qui sonne très rortyenne ?
RépondreSupprimerMerci Philathète, vous avez pleinement raison et mettez le doigt sur l'important.Je ne partage pas l'idée que l'on ne peut pas évaluer la recherche en philosophie, et de fait j'ai mis ce billet parce que je passe quasiment 40 % de mon temps à le faire, dan des revues, éditeurs, etc et suis moi même évalué ainsi. Mais entre ne pas évaluer la philosophie parce qu'on la tient comme de l'art ou de la littérature, et l'évaluer comme on le fait pour de l'économie ou de la chimie, il y a des degrés. En fait je pense que la littérature peut évaluée, dans ma mesure où elle est une forme de connaissance. donc comme la philosophie. Mais c'est sûr que cela n'est pas de l'évaluation par l'impact societal. Est ce que je veux retourner au règne des cénacles, à celui des mandarins ? Non plus. Je note juste que 1) de plus en plus on nous demande d'évaluer la recherche universitaire en humanités sur du court terme , comme si c'était de la recherche économique ou chimique 2) selon des critères qui sont à peu près les mêmes que ceux de l'économie et de la chimie. ie combien de contrats, de bourses, de projets ERC? etc. avec quelles conséquences? Or dans les humanités on n'en sait rien. En ce sens je suis parfaitement d'accord avec Gaskin.
RépondreSupprimerEvidemment, dire cela n'implique en rien d'embrasser Rorty et le sloppy pragmatisme qui envahit tout et est la face de la pièce pile économique, sinon la tranche de la dite pièce
Dans l'extrait qui suit, on peut sans inconvénient remplacer le mot "sciences" par "recherche philosophique" pour retrouver l'esprit des remarques de Gaskin sur l'exemple des nombres complexes.
RépondreSupprimer« Il n'est point de connaissance qui soit superflue et inutile de façon absolue et à tous égards, encore que nous ne soyons pas toujours à même d'en apercevoir l'utilité. - C'est par conséquent une objection aussi mal avisée qu'injuste que les esprits superficiels adressent aux grands hommes qui consacrent aux sciences des soins laborieux lorsqu'ils viennent demander : à quoi cela sert-il ? On ne doit en aucun cas poser une telle question quand on prétend s'occuper de science. A supposer qu'une science ne puisse apporter d'explication que sur un quelconque objet possible, de ce seul fait son utilité serait déjà suffisante. Toute connaissance logiquement parfaite a toujours quelque utilité possible : même si elle nous échappe jusqu'à présent, il se peut que la postérité la découvre. - Si en cultivant les sciences on n'avait jamais mesuré l'utilité qu'au profit matériel qu'on pourrait retirer, nous n'aurions pas l'arithmétique et la géométrie. Aussi bien notre intelligence est ainsi conformée qu'elle trouve satisfaction dans la simple connaissance, et même une satisfaction plus grande que dans l'utilité qui en résulte ».
KANT, Logique.
A vrai dire, Gaskin peste contre le RAE britannique , qui est très exigeant, non seulement en évaluation par les pairs, mais en "impact factor". Les Français n'ont pas introduit ce genre de considération encore. Mais cela leur pend au nez.
RépondreSupprimerJe suis parfaitement d'accord sur le parallèle avec les sciences .
Cela dit, et j'aurais du le dire, je n'ai rien contre l'évaluation universitaire par les pairs: s'ils jugent certains trucs nuls ils ont bien le droit de dire , et même le devoir. Ce qui me pose problème est que le Ministère vienne à moi et me dise : mais que vaut votre travail dans un impact de dix ans, social et économique.
La citation du texte de Kant me fait penser à la position que ce philosophe défend dans l'opuscule " Réponse à la question : qu'est-ce que les Lumières ? "
RépondreSupprimerKant, par la distinction qu'il fait entre usage privé et usage public de la raison, soutient clairement la thèse que l'État le meilleur laisse les savants avancer, chacun dans leur domaine respectif, dans la connaissance du vrai sans limiter leurs recherches à ce qui lui paraît profitable politiquement et socialement.
La seule limite que Kant fixe à la libre discussion et à la recherche est celle qu'impose le respect des lois établies ( ce qui ne veut pas dire que la science juridique elle-même doit être limitée dans son développement par des consignes étatiques ).
Helas Kant vivait dans un monde qui n'est plus le nôtre, celui de l'université allemande pré-humboldtienne.
RépondreSupprimerje suis d'accord avec Gaskin, mais je ne veux pas en tirer la conséquence qu'on ne doit pas évaluer les travaux universitaire en philosophie, supprimer le refereeing, les évaluations de projets sur un an ou deux, etc. Au contraire,ici la résistance des universitaires est incomprhéensible, sinon parce qu'ils ont peu d'être moins bons. Sur ceci je me suis jadis exprimé dans un éditorial de dialectica , "Measure for measure"
http://onlinelibrary.wiley.com/doi/10.1111/j.1746-8361.2009.01180.x/abstract
En revanche, quand on a affaire à l'évaluation d'un département entier, en portant un jugement sur ses membres, comme dans le RAE ou comme les évaluations que font régulièrement les universités, qui jugent plus ou moins des carrières entières dans la mesure où ils portent sur 5 ou 10 ans, je suis pleinement d'accord avec Gaskin.
Quelques remarques :
RépondreSupprimer1. Les français ont bien introduit l'évaluation par l'impact, c'est maintenant un critère décisif de l'évaluation des projets de l'ANR.
2. Quelle est la différence entre l'évaluation d'un département entier et l'évaluation d'une revue entière via des classifications comme celle de l'ESF ? Il me semble que, si on veut défendre l'évaluation par les pairs, il faut défendre l'idée qu'elle se fait sur la lecture d'un exemplaire du travail, jamais sur une appartenance catégorielle (appartenance à une bonne équipe, ou publication dans un bon journal).
3. Aussi critiquable qu'il soit, le RAE a ceci de bien qu'il inclut, précisément, la lecture de travaux jugés par les membres d'un département exemplaires -- versus se contenter de la lecture d'un rapport sur les activités de l'équipe.
4. Est-ce qu'évaluer la recherche en économie et en chimie i) sur le court terme, ii) par l'impact, n'a pas de conséquence sur ce que sont devenues ces disciplines ? Avec un brin de scepticisme ici quant à ma discipline, je serai presque prête à dire : l'évaluation de la philosophie, on s'en moque ! Ce qui est grave, c'est ce que l'évaluation fait aux sciences (en un sens large).
Merci beaucoup de ces remarques très utiles
RépondreSupprimer1. A ma connaissance, jusqu'à la disparition de l'AERES au printemps dernier, à présent remplacée par un autre MACHIN, l'impact n'était pas inclus ( mais je peux me tromper, car l'évaluation ressemble à un carrousel) . cela dépend aussi de ce que l'on entend par là. En Europe continentale ( ex Suède, Allemagne, France , Italie Espagne) , l'"impact" est l'impact public ( par exemple outputde la recherche en termes d'éducation, de diffusion et vulgarisation du savoir). En UK l'impact est plus précis, il est supposé être sociétal et industriel. Pour les sciences et technologies, cela fait souvent sens. Pour les humanités et sciences sociales, cela veut dire par exemple : indiquer quelles sortes de thérapies votre travail en psychologie a produites, si votre travail littéraire sur les soeurs Brontë a pu changer le design du Brontë Land, ou si votre travail sur la phénoménologie de la perception a modifié l'agenda des labs pharmanceutiques sur les psychotropes. Ce genre de chose.
Pour l'ANR, je ne sais .
Mais quoi qu'il en soit , ce "facteur" pèse de plus en plus.
Comme Gaskin, je le trouve absurde pour les humanités. Bien ûr c'est bien si la recherche, par exemple, d'un historien sur la première guerre mondiale peut conduire - par exemple - à la construction d'un mémorial, d'une exposition, ou d'un projet culturel . Mais ce n'est pas cela qui est prioritaire dans l'évaluation de la recherche.
2. l ' AERES , jusqu'à présent, et nombre d'évaluations européennes , portait sur des départements entiers, pas la recherche individuelle. En revanche l'ANVUR italienne a évalué des publications individuelles de chercheurs
voyez :
http://www.anvur.org/index.php?option=com_content&view=article&id=245&Itemid=198&lang=it
l'ESF a produit des classements des revues.
Je trouve sensés les classements de revues et les évaluations individuelles sur le court terme .
Mais c'est évident à mes yeux que les premières doivent se faire sur la base d'autre chose qu'une vague réputation. Mais lire une revue sur dix ans demande un gros travail!
Bien entendu , je suis d'accord que le travail d'un chercheur individuel doit être évalué sur ses publications pas son équipe (en France l'appartenance à des équipes est très politique et changeante). L'ANVUR italienne et beaucoup d'autres circonstances d'évaluation ( CNU, commissions de spécialité) demandent aux évaluateurs de lire 5 publications significatives choisies par le chercheur. Cela me semble raisonnable.
3. le RAE , à la différence de l'AERES, demande la lecture des travaux. C'est très bien en effet. Mais il demande aussi que l'on tienne compte de l"impact factor au sens (1) ci dessus, ce qui me semble, comme à Gaskin, une absurdité. On met aussi en avant le nombre de publications, ce qui est aussi une absurdité. Par ce critère HP Grice ou David Kaplan n'auraient jamais eu la tenure, et F.R. Leavis aurait été viré de Cambridge.
4. En effet l'évaluation de la philosophie, globalement, on s'en moque. Il y a de cela une vingtaine d'années a mode était aux projets sur la conscience, et cela adonné lieu à des projets sans nombre, suivis de financements titanesques pour résoudre "the consciousness problem". Cela a aidé bien des individus à vivre, mais à ce jour ne n'ai encore pas vu une oeuvre majeure sortie de ces financements, et j'ai même plutôt l'impression que les livres importants n'en ont jamais eu . De même ces dix dernières années sur les émotions. donc en effet, Gaskin a raison.
A présent, pour la chimie ou l'économie, à vous de me dire.
Merci de prendre au sérieux mes remarques, et des compléments sur la situation italienne. Nous manquons d'une étude systématique sur les processus d'évaluation en Europe mis en place ces dix dernières années (en tout cas, je n'en connais pas).
SupprimerNous sommes d'accord sur la critique de certaines de ces procédures. Mes remarques visaient à suggérer une extension de cette critique à deux égards :
- d'une part aux autres domaines qu'aux humanités. Les sciences fondamentales (une notion un peu difficile à préciser, mais enfin, on peut admettre qu'il y a de la recherche en biologie qui ne vise pas directement à produire un nouveau médicament, et de la recherche en physique qui vise autre chose que la prochaine bombe) pâtissent de cette évaluation par l'impact, qu'on le considère comme impact public, "sociétal" (quel vilain mot) ou industriel.
- d'autre part, on peut se demander si la classification des revues ne repose pas sur les mêmes principes que la mesure de l'impact, à savoir gouverner par des indicateurs et "penser par livrables". Cela n'empêche pas certains universitaires d'y voir parfois autre chose, à savoir le moyen d'objectiver les différences qu'ils jugent significatives.
Sur "penser par livrables" :
http://evaluation.hypotheses.org/1226
Sur "gouverner par des indicateurs" (et au passage aussi les Moocs) :
http://www.sauvonsluniversite.com/spip.php?article6229
Je concours avec vous sur le fait que la science fondamentale n'a pas à exhiber ses impacts. Si on avait demandé à Haroche d'avoir un impact , il aurait peut être fait des ordinateurs quantiques, mais ce n'était pas son affaire. Les revues aussi sont évaluées, par l'ESF et par des classements locaux ( je connais les processus en Italie , en Espagne, un peu celui en France). Cette évaluation me semlbe une bonne chose. Il y a quand même des différences entre des revues qui ont une audience ce mondiale, où les articles sont lus par des referees internationaux, et des revues locales. Dans mon éditorial "measure for measure" de dialectica , je défendais cette évaluation. Mais évidemment l'impact ne doit avoir aucun rôle dans les notes!
RépondreSupprimer