Aller au contenu principal

Notes de lecture

Use of ChatGPT to Clarify Possibility of Dialogue of Higher Quality

2023LIP-2023-dialchatrapport3 min577 mots

https://www.laetusinpraesens.org/docs20s/dialchat.phparchive

Evaluation par portee

L’evaluation ne porte pas sur le document. Elle porte sur des plages de blocs, une ligne par plage. Ce qui n’est pas liste ici n’a pas ete evalue.

  1. §126-§159operatoire

    La section « Learnings from the interaction with ChatGPT » est un inventaire date et instancie de onze proprietes observees de ChatGPT 3.5 en juin 2023 : depersonnalisation, articulation exhaustive, biais de pre-entrainement, etiquette, tolerance au biais de l'utilisateur, exploration analogique, ouverture a la contestation, endurance, platitudes, hallucinations, reponses par defaut, discontinuite de session. Chaque item est nomme et illustre par un echange reproduit. C'est un temoignage utilisable tel quel, et datable au mois pres — la version est precisee (§127).

  2. §160-§168fecond

    La generalisation de l'articulation « Use-AI / No-AI » en « Pro / Con » applicable a n'importe quelle initiative controversee est une idee feconde : elle donne un cadre pour montrer que le debat public n'exerce que 2 des 16 connecteurs logiques disponibles. Non transposable telle quelle — l'attribution de frequences aux connecteurs, qui en est le nerf, est declaree fausse par l'auteur lui-meme (@c6) — mais le geste se reprend.

  3. §184-§275inacheve

    Le tableau des 16 connecteurs applique au discours de la pandemie et du climat porte une colonne de frequences que l'auteur invalide dans le meme document (@c6) apres avoir constate les erreurs repetees du modele qui l'a produite. L'exercice s'arrete sur son propre echec et le dit ; §277 ajoute qu'il « proved impossible » de distribuer les connecteurs sur les faces du cuboctaedre avec certitude.

  4. §286-§312speculatif

    Le rabattement du BaGua, des trigrammes du Yi King et de la theologie apophatique sur les 2-4-8 faces du cuboctaedre est une analogie filee, sans procedure permettant de la mettre en defaut. Elle est ecartee en la nommant.

Ce que le texte fait

Judge interroge ChatGPT 3.5 pendant des heures sur une seule question — à quoi reconnaîtrait-on un dialogue de qualité supérieure ? — puis publie l'échange et son échec. C'est le second geste qui fait le document.

La forme est un tableau à deux colonnes : question de Judge à gauche, réponse du modèle à droite, commentaire de Judge entre deux. Sur 324 blocs, une centaine sont des réponses de ChatGPT. Fait mesuré, et il faut l'écrire : corpus/text/LIP-2023-dialchat.anchors.json porte segments_dialogue_ia: [] — le détecteur de la phase 5 cherche des div#responseN, que cette page n'emploie pas. Le garde-fou C5 de check-refs.py ne se déclenche donc pas ici, et rien n'empêche mécaniquement d'attribuer à Judge une phrase du modèle. @c7 est la seule citation de ce lot à porter attribution_tiers, renseigné volontairement.

L'échec est méthodique. [LIP-2023-dialchat]#rank@c1 : la recherche d'exemples de dialogue de qualité supérieure est « equally fruitless ». Puis Judge soumet au modèle son tableau des 16 connecteurs logiques pour en obtenir la fréquence d'usage, constate des erreurs répétées (§271, §273), et conclut [LIP-2023-dialchat]#appl@c6 : les attributions de sa propre colonne de droite sont « highly suspect ». Le tableau reste publié, avec l'avertissement dans sa légende.

Ce qu'on en retient (opératoire)

1. Onze propriétés observées, datées, versionnées. La section §126-§159 est le seul endroit du corpus, à ce stade de lecture, où Judge décrit l'outil plutôt que de s'en servir. Trois observations tiennent encore : [LIP-2023-dialchat]#lear@c2 — on ne sait pas comment l'entraînement est biaisé ; [LIP-2023-dialchat]#lear@c3 — la courtoisie du modèle « offers an appreciable illusion of authenticity » ; [LIP-2023-dialchat]#lear@c5 — contrairement à une autorité conventionnelle, il est contestable et reformule sur demande.

2. Le biais de l'interrogateur, énoncé par l'interrogateur. [LIP-2023-dialchat]#lear@c4 : rien n'empêche de poser les questions à l'appui d'un biais donné, et Judge reconnaît que les siennes ont porté sur les connecteurs logiques, les formes poétiques et les jeux. C'est la contrepartie exacte de la réserve qu'il formulait en 2015 sur ses propres cartes.

3. Un résultat négatif publié comme résultat. Le document conserve un tableau que son auteur déclare faux, en l'annotant. C'est une pratique éditoriale, pas une négligence, et elle est directement imitable.

Ce qu'on laisse au laboratoire

Le rabattement Yi King / cuboctaèdre (§286-§312). Les 2, 4 et 8 faces deviennent yin- yang, bigrammes et trigrammes ; l'apophase et le « pivot » de Tchouang-tseu s'y greffent. Aucune de ces correspondances n'est mise en position d'échouer.

Les fréquences de connecteurs. Elles sont l'articulation centrale de l'argument — le discours public n'exercerait que 2 des 16 possibilités — et elles sont invalidées (@c6). On garde la question, pas le chiffre. Mesurer réellement la distribution des connecteurs dans un corpus de débat public reste à faire ; ce document établit seulement que ChatGPT 3.5 ne savait pas le faire.

Les réponses du modèle elles-mêmes. Elles occupent près d'un tiers de la page et ne peuvent rien fonder : elles ne sont ni de Judge, ni reproductibles, ni datables autrement que par le document qui les héberge.

Renvois

  • [LIP-2022-memomath] — la mémorabilité, un an plus tôt, appliquée aux déclarations stratégiques ; ici au dialogue. Même hypothèse : la taille du jeu de distinctions conditionne sa reprise.
  • [LIP-2023-secorder] — la suite immédiate, même année : ce qu'est un dialogue de second ordre, distinct d'un dialogue simplement meilleur.
  • [LIP-2015-laetmaps] — même dispositif de publication du résultat faible avec sa réserve.

Citations localisees

The effort to identify examples of dialogue of higher quality through ChatGPT (below left) proved to be equally fruitless

Use of ChatGPT to Clarify Possibility of Dialogue of Higher Quality — LIP-2023-dialchat #rank

https://web.archive.org/web/20260514154751/https://www.laetusinpraesens.org/docs20s/dialchat.php

It remains absolutely unclear how that training is biased in terms of inclusion, exclusion and modalities of response.

Use of ChatGPT to Clarify Possibility of Dialogue of Higher Quality — LIP-2023-dialchat #lear

https://web.archive.org/web/20260514154751/https://www.laetusinpraesens.org/docs20s/dialchat.php

It offers an appreciable illusion of authenticity.

Use of ChatGPT to Clarify Possibility of Dialogue of Higher Quality — LIP-2023-dialchat #lear

https://web.archive.org/web/20260514154751/https://www.laetusinpraesens.org/docs20s/dialchat.php

Users are of course free to pose questions to ChatGPT in support of any particulat bias.

Use of ChatGPT to Clarify Possibility of Dialogue of Higher Quality — LIP-2023-dialchat #lear

https://web.archive.org/web/20260514154751/https://www.laetusinpraesens.org/docs20s/dialchat.php

ChatGPT is open to challenge. This extends to a capacity to reformulate a response with any requested shift of emphasis

Use of ChatGPT to Clarify Possibility of Dialogue of Higher Quality — LIP-2023-dialchat #lear

https://web.archive.org/web/20260514154751/https://www.laetusinpraesens.org/docs20s/dialchat.php

the attributions in the right hand column are highly suspect

Use of ChatGPT to Clarify Possibility of Dialogue of Higher Quality — LIP-2023-dialchat #appl

https://web.archive.org/web/20260514154751/https://www.laetusinpraesens.org/docs20s/dialchat.php

once the session ends, I do not have access to the previous conversation or the ability to recall it

Use of ChatGPT to Clarify Possibility of Dialogue of Higher Quality — LIP-2023-dialchat #lear

https://web.archive.org/web/20260514154751/https://www.laetusinpraesens.org/docs20s/dialchat.php

Renvois