Déduplication conceptuelle dans un wiki

Idée centrale

La déduplication conceptuelle consiste à décider si deux formulations représentent la même connaissance canonique, des connaissances proches mais distinctes, ou des connaissances en relation. Elle évite que les synonymes fragmentent le wiki en pages orphelines.

Source directe — SRC-2026-001, section « The hardest scaling problem: concept deduplication ».

Problème

Une création libre de titres peut produire plusieurs pages pour un même objet. La source donne notamment les couples :

attention mechanism / self-attention ;
beneficial owner verification / UBO identification ;
source of wealth / source of funds.

Ces couples illustrent aussi la difficulté : certains peuvent être synonymes dans un contexte et distincts dans un autre. La similarité lexicale ne suffit donc pas à décider.

Méthode

1. Normaliser

Comparer le titre proposé, ses variantes linguistiques, acronymes, formes singulier/pluriel et aliases.

2. Rechercher

Interroger l’index, les aliases, les liens entrants et le contenu des pages sémantiquement proches.

3. Comparer le périmètre

Évaluer :

définition centrale ;
contexte d’utilisation ;
propriétés et règles associées ;
sources mobilisées ;
conséquences d’une fusion.

4. Classer la relation

identique : rattacher l’apport à la page canonique et ajouter un alias ;
spécialisation : créer ou conserver deux pages liées par is-a ;
composition : utiliser part-of ;
incompatibilité : utiliser contradicts sans choisir arbitrairement ;
remplacement temporel : utiliser supersedes et conserver la trace de l’ancien état ;
incertain : préserver les deux périmètres et ouvrir une question.

5. Mettre à jour les dépendances

Après une décision sûre, mettre à jour l’index, les aliases, les liens contextuels et la provenance. Une fusion substantielle de pages validées nécessite une décision humaine.

Système d’entités typées

La source recommande de définir une entité canonique une seule fois dans le schéma, puis d’y rattacher les termes rencontrés. Des relations explicites — is-a, part-of, contradicts, supersedes — rendent la structure plus informative qu’un simple ensemble de liens libres.

Synthèse éditoriale : les aliases résolvent les variantes de nom ; les relations typées résolvent les différences de périmètre. Les deux mécanismes sont complémentaires.

Critères de qualité

un concept autonome possède un titre canonique identifiable ;
un alias conduit à la même page sans dupliquer le contenu ;
deux pages proches explicitent leur différence ;
les relations ont un sens documenté ;
aucune fusion ne supprime une nuance ou une contradiction ;
l’historique permet de comprendre les renommages et remplacements.

Erreurs fréquentes

Fusionner parce que deux termes partagent des mots.
Créer une page par occurrence extraite.
Utiliser les aliases pour masquer deux concepts réellement distincts.
Supprimer une ancienne page sans conserver sa provenance.
Choisir arbitrairement une définition lors d’une contradiction.

Limites et nuances

La déduplication est contextuelle. Une ontologie utile pour la conformité bancaire ne se transpose pas automatiquement à la recherche en IA. La source propose des types de relations, mais ne fournit pas de protocole mesuré pour évaluer les décisions de fusion.

Relations

Sources

Source interne : SRC-2026-001
https://medium.com/not-so-technical/the-llmwiki-explained-e3b5eb806f36