Evaluation Externe

Principes, Méthode, Mise en Oeuvre

Extraits
(Document complet : 17 pages)


Habilitation de l’ANESM

AFIP Santé est habilité par l’Agence nationale de l’évaluation et de la qualité des établissements et services sociaux et médico-sociaux (ANESM) à pratiquer l’évaluation externe.

Cette habilitation n° H2009-11-123 (Bulletin officiel du ministère du Travail, les relations sociales, de la famille, de la solidarité et de la ville, et du ministère de la Santé et des Sports du 15 novembre 2009) est valable sur l’ensemble du territoire national français.

AFIP Santé est présent à AGEN, 102-104 avenue Henri Barbusse 47000 AGEN.

Principes généraux et enjeux de l’évaluation externe pour un établissement ou un service

Pour une institution sociale ou médico-sociale, l’évaluation externe est un constat réalisé à un moment donné par des intervenants extérieurs. Elle porte sur l’ensemble du fonctionnement et des pratiques.

Elle a pour but de mieux connaître et comprendre les processus, d’apprécier les effets produits au regard des intentions initiales et notamment des projets associatif et d’établissement dans la perspective d’améliorer les conduites d’action, en référence aux valeurs qui apparaissent comme prioritaires.

L’évaluation externe permet d’aborder deux aspects complémentaires :

  • l’appréciation de l’effectivité des droits des usagers;
  • l’analyse des logiques d’action et axes de travail de l’établissement ou du service en lien avec le public accueilli.

Objectifs :
Le projet d’établissement ou de service prévu à l’article L.311-8 qui définit les objectifs, les modalités d’organisation et de fonctionnement est le principal outil permettant d’identifier les buts poursuivis, les pratiques, les prestations, les activités propres à chaque institution.

Il est un support essentiel pour construire l’évaluation externe, qui devra porter notamment sur :

  • L’adéquation des objectifs du projet d’établissement ou de service par rapport aux besoins et aux priorités des acteurs concernés,
  • La cohérence des différents objectifs entre eux,
  • L’adaptation aux objectifs des moyens humains et financiers mis en place,
  • Le degré d’appropriation du projet et des valeurs par les acteurs concernés,
  • L’implication des professionnels dans une démarche qualité,
  • L’appréciation sur l’atteinte des objectifs, la production des effets attendus, et des effets non prévus, positifs ou négatifs;
  • L’appréciation sur les effets des pratiques des intervenants,
  • L’existence et la pertinence de dispositifs de gestion et de suivi ;
  • L’appréciation de la dynamique d’amélioration continue de la qualité.

Méthode et cadre déontologique

AFIP Santé développe une approche de l’évaluation externe dans le respect du décret 2007-975 relatif à l’évaluation sociale et médico-sociale et des principes qui ont guidé ses travaux en matière d’évaluation interne depuis 2002.

La méthode d’évaluation d’AFIP Santé est adaptée au profil de l’Etablissement. Elle émane des méthodes d’évaluation EQUALIS et VALORIS.

Qui sont les évaluateurs de terrain ?
Les évaluateurs sont des professionnels de l’action sociale et médico-sociale qui agissent au nom d’AFIP SANTE.

Ces évaluateurs occupent des postes divers dans des établissements et services de ce secteur.

Démarche méthodologique

Le processus l’évaluation externe mis en œuvre par AFIP Santé participe d’une démarche de gestion de projet. Il s’organise en cinq étapes.

1 – L’ELABORATION DU PROJET EVALUATIF ET LA FORMALISATION DU CONTRAT DE PRESTATION

Cette première étape est conduite à partir des éléments communiqués par l’établissement dans le cadre d’une mise en concurrence (cahier des charges) et au terme d’une première rencontre préparatoire.

LA VISITE PREPARATOIRE
LE PROJET EVALUATIF

Il comprend trois parties :
1. Le cadre de référence de l’évaluation
2. Le questionnement évaluatif
3. Le plan d’évaluation

A la suite de la visite préparatoire sont arrêtées conjointement les conditions dans lesquelles se déroulera l’évaluation.

Les entretiens sont planifiés avec le responsable de l’établissement ou du service concerné, en tenant compte du fonctionnement de la structure, des horaires du personnel, des rythmes de vie des usagers et de la disponibilité des familles et des partenaires.

LE CONTRAT DE PRESTATION

Le contrat de prestation comprend :
1. Le projet évaluatif
2. La composition du comité de suivi de l’évaluation (direction, représentants des professionnels, membres du CVS…)
3. La composition de l’équipe d’évaluateurs
4. Les documents de référence à mettre à la disposition des évaluateurs
5. Les modalités concrètes d’élaboration et de rendu de rapport
6. Le coût de la prestation

2 – LE RECUEIL DE DONNEES

Est établie une liste des documents réglementaires et autres qui doivent être communiqués par l’établissement ou le service.
Au-delà des informations obtenues à partir des documents ci-dessus listés, l’équipe d’évaluation d’AFIP SANTE s’appuiera sur :

  • L’observation sur le terrain (pour tous les éléments relatifs notamment à l’accueil et au cadre de vie).
  • Les entretiens individuels et collectifs nécessaires pour compléter les réponses au questionnaire évaluatif.

3 – L’ANALYSE DES DONNEES RECUEILLIES ET LA SYNTHESE

L’analyse est conduite, en cohérence avec le décret 2007-975 du 15 mai 2007 fixant le contenu du cahier des charges pour l’évaluation.
La synthèse de l’évaluation, s’articulera autour de trois axes :

  • La qualité et la pertinence des activités
  • L’évaluation de la dynamique d’amélioration engagée par l’établissement (modalités de mise en œuvre de l’évaluation interne)
  • L’examen exhaustif des thématiques et registres spécifiques définis réglementairement (appréciation des écarts entres les pratiques constatées et les exigences réglementaires ou les recommandations de « bonnes pratiques professionnelles »)

Réalisations remarquables
Outre l’appréciation des écarts éventuels, l’évaluation externe mettra en évidence les « réalisations remarquables », c’est-à-dire les dispositions prises ou les activités mises en œuvre dont l’effet « bientraitant » sur les personnes accompagnées est notable.

4 – LA FORMULATION DE PROPOSITIONS ET/OU PRECONISATIONS

Dans la perspective de l’amélioration continue de la qualité des activités et prestations délivrées par l’établissement ou le service, l’évaluation externe conduira à la formulation de propositions et/ou préconisations.

Outre ces propositions et/ou préconisations, l’évaluation externe produira également toute observation utile à l’aide à la décision du commanditaire concernant l’adaptation des modalités d’accueil et d’accompagnement, au regard de l’évolution des besoins des usagers et en tenant compte des ressources.

5 – LA REDACTION DU RAPPORT D’EVALUATION EXTERNE

Un pré-rapport d’évaluation externe est communiqué à l’organisme afin que les différentes parties prenantes s’assurent de la représentation des opinions de chacune des personnes interrogées et, le cas échéant, formulent leurs observations.

La version définitive du rapport est remise à la personne physique ou à la personne morale de droit public ou de droit privé gestionnaire de l’établissement ou du service social ou médico-social conformément aux dispositions prévues à l’article R. 312-200.

LE RAPPORT D’EVALUATION

Le rapport d’évaluation constitue le « produit de sortie » de l’évaluation externe. C’est sur la base de ce document, en fonction de sa pertinence, que l’autorité administrative décidera ou non du renouvellement de l’autorisation par tacite reconduction (article L313-5 du Code de l’action sociale et des familles).

Sa rédaction répond donc à un double objectif : mettre en évidence l’efficience du projet au regard des besoins des personnes accompagnées, et garantir la mise en œuvre des dispositions nécessaires à leur sécurité.

PLAN DU RAPPORT D’EVALUATION EXTERNE

1. LE CADRE DE L’EVALUATION

  • Présentation du projet d’accompagnement et des missions de l’établissement
    • Caractérisation du profil des personnes accompagnées (caractéristiques générales et besoins des personnes)
    • Spécification des objectifs de l’accompagnement (objectifs poursuivis pour les usagers et critères d’appréciation)
  • Le questionnement évaluatif
    • Les hypothèses ou questions évaluatives élaborées en concertation avec l’établissement
    • Les objectifs de l’évaluation (en cohérence avec le décret 2007-975 relatif à l’évaluation externe)

2. LA PROCEDURE D’EVALUATION

  • Description des étapes de la procédure d’évaluation externe
  • Le plan d’évaluation

3. RESULTATS ET SYNTHESES EN TERMES DE POINTS FORTS ET POINTS A AMELIORER

  • Le projet d’établissement
  • La démarche d’amélioration continue et les suites réservées à l’évaluation interne
  • L’examen de certaines thématiques ou registres spécifiques

4. PRECONISATIONS

  • Propositions stratégiques et opérationnelles avec planification des priorités

PHASES DE DEROULEMENT DE L’EVALUATION EXTERNE

Les évaluateurs, dont le nombre est déterminé en fonction de la taille de l’établissement (en général de 2 à 5), sont physiquement présents au sein de l’établissement pour une durée de 2 à 5 jours.
1. LA PHASE D’OBSERVATION
2. L’EVALUATION ET LA STRATEGIE DE DEVELOPPEMENT
3. LA RESTITUTION ORALE
4. LE RAPPORT ECRIT

MODALITES DE FACTURATION

La facturation s’effectue au terme de la démarche, après la remise du rapport d’évaluation externe.

ENGAGEMENT DES ORGANISMES HABILITES

« Ces obligations ne se substituent pas aux dispositions législatives et réglementaires applicables. Elles complètent et précisent, notamment, les dispositions de même nature contenues dans le décret n° 2007-975 du 15 mai 2007 fixant le contenu du cahier des charges pour l’évaluation des activités et de la qualité des prestations des établissements et services sociaux et médico-sociaux, et son annexe, dispositions qui s’imposent à tout organisme habilité.


Règles de conduite applicables aux organismes et à leurs équipes intervenant à l’occasion de missions d’évaluation externe.
1. INTEGRITE
2. OBJECTIVITE
3. CONFIDENTIALITE
4. COMPETENCE

DEMANDE D’INTERVENTION

Pour une proposition personnalisée :

afip.sante@orange.fr