HiddenPage Réaliser le texte d'entraînement
<h2>Réaliser le texte d'entraînement</h2>
<p> Le texte d'entraînement doit être un simple fichier texte contenant
 un texte `similaire' à ce que vous avez l'intention d'écrire.
 Le plus grand le meilleur.
 Nous pensons que  300K c'est la bonne taille qu'il faut chercher  à avoir.
 Notre <b>format de fichier</b> préféré est l' <b>UTF-8</b>, mais
 si vous preférez fournir un autre format, c'est bon; quand vous fournissez le fichier
 veillez à inclure une description de son contenu et indiquer le format; nous
 utiliserons l'utilitaire linux <b>iconv</b> pour convertir, si necessaire.
</p><p>
 Les exemples de textes d'entraînement que vous pouvez utiliser sont:
<ul>
  <li>Prenez tous les documents que vous avez écrits, et collez les
       tous ensemble un un grand document. 
</li>
  <li>Utilisez des romans - eg, nous avons pris le roman <em>Emma</em> Jane Austen' de
   <a href=http://promo.net/pg/>Project Gutenberg</a>. Cependant le problème en utilisant
       juste un ou deux romans, c'est que des mots particuliers (tels que Emma ou Alice)
       apparaissent très fréquement; donc les romans ne sont pas idéaux pour un texte d'entraînement a usage courant.
</li>
       <li>Utilisez tous le courriels que vous avez écrits, et collez les
       tous ensemble en un grand document..
</li>
     </ul>

     <h3>Receuil existants</h3>
<a href=http://www.hit.uib.no/corpora/>Il y a un receuil de liste de courrier; ce site web a une foule
     de liens utiles</a>.


<h3>Comment réaliser un texte d'entraînement à usage général</h3>     
<p>
 Vous pouvez faire un assez bon receuil simplement en concaténant
 un ensemble de documents dans votre choix de langue. Un tel receuil est
 assez bien, mais pas idéal, puisque, par exemple, si vous incluez
 tous les <em>Alice au pay des merveilles</em>, le mot <em>Alice</em>
 et la phrase <em>lapin blanc</em> apparaîtrons
 bien plus souvent que la normale. Les buts
 de la procédure plus compliquée décrite ci-dessous sont
<ol>
  <li>de créer un receuil de tous les mots
       communs représentés dans une variétés de contextes, sans aucun
       document source dominant les statistiques;
       </li>
  <li>de créer un receuil qui serait sensiblement
       rétrécit pour faire un plus petit receuil (pour les  ordinateur de poche
       avec peu de mémoire, par exemple).
       </li>
</ol>
<p>
 Voici comment j'ai fait un texte d'entraînement pour la version Anglaise de
 Dasher.
</p>
<ol>
  <li>
       Prenez une série de documents en Anglais.  Prenez plus de documents que vous pensez en avoir besoins,
       comme cela vous pouvez choisir un ensemble de phrases <em>bien équilibrées</em>
       d'une manière appréciable, comme suivant.
       </li>
  <li>
       Préparez les de telle sorte qu'il y aie exactement un phrase par ligne.
<br>       J'ai utilisé un programme perl que j'ai écrit,
       <a href=/mackay/perl/processbook.p>processbook.p</a>
       avec un script tel que celui-ci
       <pre>
foreach f ( alice emma )
  processbook.p  /books0/$f &gt; /books/$f
end
</pre>       
       </li>
  <li><b>Maintenant</b>, prenez une liste des 2000 mots les plus fréquents dans
       la langue. L'idée étant, puisque ces mots sont communs, il est important que nous les
       ayons représentés plusieurs fois chacun dans le receuil final, dans une variété de
       contextes. Nous utiliserons ces mots pour sélectionner quelles phrases sont comprise
       dans notre super grand receuil.
       <br>
       j'ai obtenu une telle liste sur internet et mis dans un fichier appelé <tt>dict</tt>.
       J'ai enlevé de ce dict les mots communs qui empêchent les étapes suivantes de fonctionner
       correctement.
       </li>
  <li>
       Employez un autre programme pour selectionner de chaque livre préparés, les phrases
       qui contiennent les 2000 mots requis. Allez au travers de ces mots dans l'ordre,
       de telle manière que le receuil soit aussi ordonné, avec le dessus du receuil contenant
       des exemples d'utilisation des mots les plus courants; de cette manière, le receuil peut être réduit en coupant
       la fin de celui-ci, et restera un receuil approprié pour sa taille.
       <br>
       Assemblez les phrases ensemble dans un format de paragraphe plausible, de manière à émuler
       l'écriture normale.
       <br>
       J'ai fait cela en utilisant l'utilitaire linux <b>glimpse</b> et mon programme
       perl <a href=/mackay/perl/corpus.p>corpus.p</a>
       <pre>
rm  /data/coll/mackay/books/*~
glimpseindex -b  -B   -H ~/dasher/  /data/coll/mackay/books/
corpus.p k=1 f=4 o=corpus4.txt
       </pre>
       Voici comment j'ai fait <a href=/dasher/download/english/corpus4.txt1>ce receuil</a> (316K),
       qui est utilisé dans Dasher 1.6.8.
       </li>
</ol>

<p>
 Si quelqu'un fait un bon receuil dans d'autre languages et désire le partager,
 Je peux les mettre sur <a href=/dasher/download/>ce site</a>.
</p>