Aller au contenu principal

Notes de lecture

Generating a Million Questions from UIA Databases: Problems, Strategies, Values

2006LIP-2006-questdbrapport4 min747 mots

https://www.laetusinpraesens.org/docs00s/questdb.phparchive

Evaluation par portee

L’evaluation ne porte pas sur le document. Elle porte sur des plages de blocs, une ligne par plage. Ce qui n’est pas liste ici n’a pas ete evalue.

  1. §11-§234operatoire

    Le generateur est entierement specifie et rejouable : un gabarit WH a trous (« How is XXXX caused? »), applique aux titres de trois bases, variantes de titre comprises. Le tableau des gabarits est donne au complet, les gabarits ecartes sont marques d'un double asterisque, et le compte-rendu distingue les deux passes (decembre 2005, octobre 2006). On peut reappliquer le procede a n'importe quel referentiel de titres sans souscrire a la these du texte.

  2. §733-§746fecond

    Le retournement conceptuel — un probleme est deja une question, une strategie deja une reponse, une valeur la motivation de poser l'une ou l'autre — reorganise le referentiel de l'UIA sans rien y ajouter. C'est fecond et non operatoire : Judge reconnait lui-meme que les intitules produits ne sont pas toujours grammaticalement corrects (@c4), et rien dans le texte n'etablit qu'une question generee soit plus utile que le probleme dont elle sort.

  3. §756-§783speculatif

    La derniere section n'affirme rien : elle enumere onze questions ouvertes sur ce que le million de questions pourrait bien vouloir dire, dont la sienne propre (@c5). Exploration sans engagement de conclusion, au sens exact ou Judge definit ce regime.

Ce que le texte fait

Il documente une machine et il en publie les comptes. L'objet est annoncé sans détour en [LIP-2006-questdb]§7@c1 : savoir « whether it was possible to generate a Questions database » à partir de trois bases de l'UIA — World Problems, Global Strategies, Human Values. Le procédé tient en une ligne : prendre le titre d'une entrée, l'insérer comme graine XXXX dans un gabarit interrogatif (« How is XXXX caused? »), recommencer pour chaque type de WH-question et pour chaque titre alternatif.

La forme du document est un tableau, pas un texte. Mesure sur les 784 blocs de corpus/text/LIP-2006-questdb.txt : 396 blocs (50,5 %) ne contiennent qu'un nombre ou un point, et 705 (90 %) font quatre mots ou moins. Les 4 179 mots du document sont presque tous concentrés dans une trentaine de blocs de prose ; tout le reste est le tableau des gabarits (§18-§233) et les deux tableaux de résultats (§237-§462, §464-§716). C'est le troisième document du dépôt où §N sépare mal la prose de la donnée, après [LIP-2015-laetmaps].

Le résultat est chiffré et daté : [LIP-2006-questdb]§730@c2 — 1 060 458 questions intégrées aux bases de l'UIA en octobre 2006. Le titre annonce « a Million » ; le corps livre 1,06 million. Pour une fois chez Judge, l'annonce est en dessous de la mesure.

Deux incohérences internes, mesurées. Le texte annonce en §463 la génération « in October 2006 », mais le titre du tableau qui suit immédiatement (§464) porte « Final results of question generation (October 2005) ». Et le total de questions du tableau de 2006 (§488, 80 154 entités graines) ne se recompose pas trivialement en 1 060 458. On ne tranche pas : on note que les comptes publiés ne se vérifient pas depuis la page seule.

Ce qu'on en retient (opératoire)

1. Le générateur est rejouable tel quel. Gabarit à trou, graine = titre d'entrée, produit cartésien avec les sept types de WH-question. Le tableau §18-§233 donne les 34 gabarits effectivement essayés, et marque d'un double astérisque ceux qui ont été écartés — « Why does God allow XXXX to happen? (**) » en fait partie. Publier les gabarits rejetés est une pratique de traçabilité, pas de rédaction : elle rend le dispositif auditable. C'est directement transposable à un référentiel TURFu de titres.

2. Le texte déclare sa propre grossièreté. [LIP-2006-questdb]§746@c4 : les intitulés produits ne sont pas nécessairement grammaticalement corrects, et §718@c3 : les résultats sont « extremely preliminary ». Un générateur qui publie sa marge d'erreur en même temps que son volume est plus utilisable qu'un générateur qui ne publie que son volume.

3. Le vrai critère est le tri, pas la génération. [LIP-2006-questdb]§774@c6 : que faudrait-il pour écarter les questions « more contrived or artificial » ? La question est posée et laissée ouverte. On la retient comme telle : produire un million d'items est un problème résolu ; en écarter 950 000 ne l'est pas. C'est la leçon opératoire du document pour toute génération assistée, et elle a dix-neuf ans.

Ce qu'on laisse au laboratoire

Le million lui-même. Rien dans la page n'établit qu'une seule de ces questions ait été lue par quiconque. Le texte le concède en §781@c5 — des motifs inhabituels apparaissent, mais mènent-ils à des aperçus inhabituels ? La section §756-§783 est une liste de onze interrogations sans réponse ; elle est étiquetée speculatif pour cette raison, et non parce qu'elle serait faible.

Le renversement problème / question. Il est élégant — un problème est déjà une question, une stratégie déjà une réponse (§735-§737) — mais il opère par redescription : le contenu informationnel après génération est exactement celui d'avant, réindexé sept fois. On l'écarte de l'opératoire tout en le notant comme une reformulation utile.

Toute la couche visualisation (§747-§755 : VRML, HyperGraph, FreeMind, SWF, Netmap, Decision Explorer). Elle date le document plus sûrement que son année, et Judge y signale lui-même que plusieurs de ces options n'ont jamais été activées pour les questions.

Renvois

  • [LIP-2015-laetmaps] — même géométrie de document : la prose noyée dans les cellules de dénombrement, et la même réserve de l'auteur sur ce que ses propres cartes mesurent.
  • [LIP-2004-writpol] — l'autre tentative de réordonner un corpus existant sans y rien ajouter, par polarités plutôt que par gabarits interrogatifs.
  • [LIP-1971-univ] — la même opération vingt-cinq ans plus tôt et à la main : appliquer une grille régulière à chaque item d'un référentiel et publier la matrice.

Citations localisees

whether it was possible to generate a Questions database from three long-established UIA databases

Generating a Million Questions from UIA Databases: Problems, Strategies, Values — LIP-2006-questdb §7

https://web.archive.org/web/20260217060720/https://www.laetusinpraesens.org/docs00s/questdb.php

The Questions database, with its 1,060,458 Questions, was integrated into the UIA set of online databases

Generating a Million Questions from UIA Databases: Problems, Strategies, Values — LIP-2006-questdb §730

https://web.archive.org/web/20260217060720/https://www.laetusinpraesens.org/docs00s/questdb.php

The above results are of course extremely preliminary.

Generating a Million Questions from UIA Databases: Problems, Strategies, Values — LIP-2006-questdb §718

https://web.archive.org/web/20260217060720/https://www.laetusinpraesens.org/docs00s/questdb.php

The simplistic nature of the templates may not necessarily result in question titles that are grammatically totally correct at this stage

Generating a Million Questions from UIA Databases: Problems, Strategies, Values — LIP-2006-questdb §746

https://web.archive.org/web/20260217060720/https://www.laetusinpraesens.org/docs00s/questdb.php

Clearly unusual patterns of information can be generated, but do they lead to unusual insights?

Generating a Million Questions from UIA Databases: Problems, Strategies, Values — LIP-2006-questdb §781

https://web.archive.org/web/20260217060720/https://www.laetusinpraesens.org/docs00s/questdb.php

What would it take to move beyond, or filter out, those questions that could be identified as more contrived or artificial?

Generating a Million Questions from UIA Databases: Problems, Strategies, Values — LIP-2006-questdb §774

https://web.archive.org/web/20260217060720/https://www.laetusinpraesens.org/docs00s/questdb.php

Renvois