Aller au contenu

Collecte d’évaluations humaines

Cette fiche contributeur et ses évaluateurs nécessitent les ressources du dépôt. Les scripts nécessitent un checkout source ; le wheel 1.6.0 ne les installe pas comme commandes. Le catalogue public par défaut reste à 96 outils. Le guide d’audit natif couvre l’exécution et ses limites de ressources séparément de la revue humaine de qualité.

La prochaine entrée est un lot humain autorisé, revu indépendamment, avec des cibles figées par tâche. Cette fiche attribue le travail sans fournir labels, seuils ou approbations. Les évaluateurs existants tournent hors ligne ; aucun nouveau harnais ni backend de modèle payant n’est nécessaire pour commencer la collecte.

Séparez rapports et comptes de support de chaque tâche. Un succès sur une ligne ne peut pas approuver une autre tâche.

TâcheInterface existanteÉvaluation prise en charge et limite restante
Intention des requêtes, #5scripts/eval_classifier.py, task: "intent"Requêtes FR/EN sous query-intent-v1 ; précision/rappel/support par classe, exactitude, couverture et abstention. Les cibles fournies peuvent être contrôlées sur held_out ; revue humaine de publication encore attendue.
Paires de requêtes, #4Même CLI, task: "pairs"Labels distincts same_intent, distinct_intent et unclassified. Les deux membres existent dans le corpus et occupent le split de la paire. L’accord sur l’intention large seul ne fournit pas son label.
Fidélité de rapport/comportement natif, #39scripts/eval_audit_reports.py, track: "report_fidelity"Labels d’affirmations contre observations et cibles numériques de claims figées facultatives. Exécution du client natif, preuves omises, prose libre et approbation de publication restent hors de cette interface.
Diagnostic de traficMême CLI, track: "traffic_diagnosis"Fondement des affirmations depuis le paquet, y compris inconnu contre zéro et interprétations conditionnelles. N’établit ni cause sous-jacente ni complétude du diagnostic.
Concurrence nuisible, #45Même CLI, track: "harmful_competition"Fondement des propositions fournies de revue/consolidation. Ne dérive pas l’intention des pages, n’établit pas le préjudice et n’autorise pas une fusion.
Extraction principale, #41scripts/eval_content_extraction.py ; comparaison d’extractionNON PRIS EN CHARGE par les deux CLIs ci-dessus. Le lanceur séparé compare des fragments d’inclusion/omission annotés indépendamment dans du HTML local lié par SHA ; sans estimer rappel du contenu entier ni précision. Vraies annotations humaines, cibles figées et revue des avertissements métier restent nécessaires.
Avertissements éditoriaux et fidélité de réécritureAdaptateur par tâche nécessaireNON PRIS EN CHARGE par les deux CLIs. Recueillir avertissements actionnables par règle/genre et jugements original/révision ; contrôles littéraux séparés des jugements sémantiques.
Similarité de pages, #22Adaptateur par tâche nécessaireNON PRIS EN CHARGE par les deux CLIs. Recueillir labels de paires couvrant gabarits partagés, traductions et similarités locales légitimes. Les labels de paires de requêtes ne les remplacent pas.
Détection d’instructions et readiness, #9Adaptateur par tâche nécessaireNON PRIS EN CHARGE par les deux CLIs. Recueillir séparément cas de pages positifs/bénins et labels ; aucun score de requête n’implique une probabilité de citation.
Suivi contrôlé, #47Protocole et adaptateur par tâche nécessairesNON PRIS EN CHARGE par les deux CLIs. Revoir estimand/protocole, simulations, échecs de pré-tendance/contamination et observations non concluantes.
Recherche documentaire, #50Adaptateur par tâche nécessaireNON PRIS EN CHARGE par les deux CLIs. Revoir passages consultés, pertinence, périmètre abstract/texte intégral, intérêt commercial et formulation fondée sur les sources.

L’évaluateur de rapports accepte seulement supported, unsupported et unresolved. Une affirmation non résolue est un label sémantique, pas une prédiction absente. La sortie contient matrices de confusion, précision/rappel/support par label, exactitude, couverture et omissions de prédictions, ainsi que comptes/taux unsupported_as_supported, par axe, langue et intersection. Les dénominateurs absents produisent null avec motif explicite. Le schéma v1 ne mesure ni genres ni complétude de la prose. release_gate vaut toujours unavailable.

Utilisez --manifest avec --predictions pour des cibles de rapports held-out ; cette option est refusée avec --prepare. Chaque JSON de requêtes ou rapports est limité à 2 000 000 octets. Le rapport de requêtes expose maintenant by_language et manifest_sha256 ; les paires bilingues apparaissent dans mixed.

Le manifeste de rapports contient exactement schema_version: 1, corpus_id, dataset_sha256, split: held_out, annotation_provenance, une référence review_reference non vide, frozen_before_tuning: true et targets. Il lie les octets exacts du corpus à leur provenance déclarée. Il n’authentifie ni approbation ni chronologie.

Chacune des 1 à 18 cibles distinctes contient track, language, label, min_support (entier de 1 à 50 000), min_precision, min_recall, min_coverage (nombres finis entre 0 et 1) et max_unsupported_as_supported (entier de 0 à 50 000). Précision/rappel portent sur le label ; couverture et compte de faux supported portent sur toute la strate axe/langue. Ce sont des champs requis, pas des valeurs métier approuvées.

target_assessment vaut unavailable sans manifeste, insufficient_support si une cible manque de labels de référence, failed si un critère échoue avec support suffisant, ou met pour les seules cibles listées. target_checks conserve observations et contrôles. untargeted_strata liste les labels observés avec support non nul sans cible, tous les labels observés si le manifeste manque. Une cible atteinte n’approuve ni les autres strates, ni les autres tâches, ni la publication. Les SHA-256 du corpus, des prédictions et du manifeste identifient les octets évalués.

Exemple synthétique complet et exécutable :

Fenêtre de terminal
python3 scripts/eval_audit_reports.py \
--dataset tests/fixtures/audit_evaluation/report_corpus.synthetic.json \
--predictions tests/fixtures/audit_evaluation/report_predictions.synthetic.json \
--manifest tests/fixtures/audit_evaluation/report_targets.synthetic.json

Ses nombres testent seulement le contrat. synthetic_release_eligible et declarations_authenticated restent faux, y compris pour les fixtures contrôlées qui déclarent une provenance humaine.

C1 attend six entrées de tâches distinctes : vraies requêtes d’intention FR/EN, paires annotées indépendamment, trois axes de claims, HTML et fragments d’extraction. Chaque lot requiert autorisation, participation réelle d’annotateurs/relecteurs, désaccords originaux, familles/splits revus, cibles numériques avant réglage, preuves d’accès aux labels et artefacts de prédiction/revue indépendants. Conservez genres et faits omis/actions dans une revue séparée liée à l’ID de cas ; le runner ne détecte pas automatiquement les omissions de prose. Le fichier du dépôt docs/validation/seo-foundation-evaluation-protocol.md détaille H1 à H10. Aucun lot authentifié ni seuil approuvé n’a été fourni pour cette exécution C1.

Copiez cette section pour chaque tâche. Une réponse vide signifie qu’une preuve ou décision manque encore. Ces champs sont des métadonnées humaines de collecte, pas un nouveau schéma JSON d’évaluateur. Gardez approbations privées, observations originales et contenu identifiant dans l’emplacement privé approuvé ; ne commitez que des enregistrements anonymisés autorisés et des références non identifiantes.

Question de collecteRéponse humaine
Quelle tâche, quel identifiant de corpus, quelles langues et quels genres de cas couvre le lot ?
Qui possède les données, et quelle preuve autorise cet usage précis et son périmètre de partage ?
Où sont les octets anonymisés, leur SHA-256 et la référence privée d’autorisation ?
Qui fournit les labels indépendants, qui les relit et où la preuve de leur participation réelle est-elle conservée ?
Où sont les labels originaux, désaccords, décisions finales et motifs ?
Quelle taxonomie/règles ont été approuvées, par qui et sous quelle référence ?
Où est la carte revue des familles et splits, avec sites/événements/requêtes/pages/documents/révisions liés ?
Quel support est nécessaire par tâche, label, langue et genre pertinent, et combien est collecté par split ?
Quelles métriques, minimums de support, politiques d’abstention/couverture et règles d’échec ont été approuvés avant réglage ?
Où est l’approbation liant les octets exacts d’entrées, labels, carte des splits et cibles à une décision humaine réelle ?
Qui peut accéder aux labels held-out et quelle entrée sans labels reçoit chaque auteur de prédictions ?
Quels identifiants/configurations de référence par règles et candidat optionnel utiliseront la même entrée figée et le même split ?

Environ 200 requêtes FR/EN est la cible initiale de #6. Ce n’est ni un minimum pour toute tâche ni une preuve de support suffisant par classe. Ne remplissez pas la fiche avec labels générés, accord entre modèles, consentement inventé ou seuils de démonstration. Pour les exercices d’implémentation, utilisez un corpus séparé déclaré synthetic ; ses résultats restent inéligibles à la publication.

  1. Collectez des cas anonymisés autorisés avec références source originales. Pour les paquets de rapport, conservez versions outils/requêtes, site/propriété effectifs, dates demandées/observées, preuves de fuseau, périmètre de collecte et états manquants/erreurs. Les observations manquantes restent manquantes ; une revue humaine ne fabrique pas une vérité causale.
  2. Faites annoter les labels et résoudre les désaccords par un annotateur et un autre relecteur humain avec la taxonomie approuvée. Gardez l’incertitude : unclassified ou unresolved si les preuves sont insuffisantes. Des chaînes distinctes ne prouvent pas de vrais humains indépendants.
  3. Revoyez les familles et gardez chacune dans une partition avant réglage. Les membres des paires restent dans leur split. Les validateurs détectent le recoupement déclaré ; ils ne découvrent pas une paraphrase, traduction ou événement lié affecté à une autre famille.
  4. Figez octets exacts d’entrées/labels/splits/cibles et hashes dans la revue approuvée avant réglage. Le manifeste des requêtes peut lier hash et cibles ; approved_by et frozen_before_tuning sont des déclarations, pas une approbation ou chronologie authentifiée. Gardez les labels held-out hors des entrées auteur et les preuves réelles d’accès/revue séparément.
  5. Exécutez la meilleure référence par règles et tout candidat optionnel sur les mêmes entrées/split. Rapportez erreurs, support, omissions et abstentions par tâche ; séparez coûts, latences et calibration. Seule une décision humaine fondée sur les cibles figées peut régler la readiness de publication.

Le guide du schéma et manifeste des requêtes fournit le contrat d’import existant. Pour évaluer les requêtes, utilisez les vrais chemins fournis :

Fenêtre de terminal
python3 scripts/eval_classifier.py \
--dataset /absolute/authorized-query-corpus.json \
--predictions /absolute/independent-held-out-predictions.json \
--manifest /absolute/reviewed-pre-tuning-manifest.json

Ces chemins décrivent des fichiers attendus ; aucun corpus autorisé ni manifeste n’est livré par cette fiche. Le succès du processus signifie que l’évaluateur a tourné, pas que les cibles sont atteintes. Le statut reste pending_human_review pour des données déclarées humaines, ou ineligible_synthetic pour des données synthétiques, même si les cibles numériques sont atteintes.

Pour la revue de rapports, --prepare produit les observations sans claims, jugements d’annotation ni labels :

Fenêtre de terminal
python3 scripts/eval_audit_reports.py \
--dataset /absolute/authorized-report-corpus.json --prepare --split held_out

Gardez ce paquet séparé du corpus annoté. L’auteur reçoit les observations ; une revue humaine indépendante identifie les affirmations du rapport candidat et conserve leurs références. L’évaluateur actuel ne consomme pas de prose et n’attache pas automatiquement des affirmations générées. Pour comparer des labels d’affirmations figés, préparez le contrat de prédiction après cette revue, puis lancez :

Fenêtre de terminal
python3 scripts/eval_audit_reports.py \
--dataset /absolute/authorized-report-corpus.json \
--predictions /absolute/independent-claim-predictions.json

L’objet de prédictions contient exactement corpus_id, split, reviewer et predictions ; chaque ligne contient exactement case_id, claim_id et label. Les identifiants référencent des affirmations du split sélectionné. reviewer doit différer des métadonnées déclarées des auteurs d’annotation. C’est une identité déclarée, pas une preuve humaine. Les lignes manquantes réduisent la couverture et ne deviennent pas des réponses non résolues correctes. Pour évaluer un nouveau rapport, établissez d’abord des affirmations revues indépendamment et leur correspondance, plutôt que de traiter le rapport candidat comme vérité de référence.

Avant de revendiquer une qualité humaine, conservez fiche complétée, vraies preuves d’autorisation/revue, corpus held-out avec familles disjointes, labels réels avec historique des désaccords et cibles approuvées avant réglage. Publiez erreurs et support held-out propres à chaque tâche, y compris échecs et mesures non prises en charge. Aucun corpus humain authentique, cible numérique approuvée ou décision humaine de publication n’est fourni par cette fiche, les fixtures synthétiques ou des chaînes déclaratives d’approbation.