Folding : les stats

[Jean Mimi 01]

Bah non justement, le problème est probablement revenu...

[nthor]

En même temps même quand ça marche...

[Kana-chan]

OK, mais elle plie toujours donc ...

Voilà ...

[DK-]

Le 08/10/2019 à 22:25, Kana-chan a dit :

Je viens de vérifier. Les pages demandées seront bien là tous les dimanches.

Oui, c'est parfait ! Merci

Le 08/10/2019 à 23:01, nthor a dit :

Oui mais là c'est DK- qu'on a perdue

Ménan, jsuis juste archi-débordée par ailleurs.
Et j'ai fait un gros caca avec les listes pour Kana, alors il me faut aussi restaurer ma dernière sauvegarde (et reprendre ce que je n'avais pas sauvegardé...) avant de poursuivre.
Donc comme il va m'assassiner, ben valà, je me fais discrète...

Modifié le 13 octobre 2019 par DK-

[Kana-chan]

Coucou DK,

Qu'est-ce que je lis ? Tu n'avances pas mais tu recules ? Ah bah, je vais les attendre longtemps mes listes, moi !! 😡

Voilà ...

 

[DK-]

Bonjour Kana,

Tu peux purger le DK_proof, je l'ai récupéré hier (du 01/10 au 31/10). Merci encore pour les fichiers hebdo supplémentaires, ça me dégage un peu plus de temps le weekend !
Et arrête de râler, j'ai à peu près rafistolé mes fichiers de listes de miniteam, jvais pouvoir dessus rebosser à fond dessus lors de ce long weekend !

La suite de la page concernera un truc que j'ai demandé à Notpa.
Voilà voilà...

 

 

[DK-]

Discussion entamée sur un topic du JVRAD :

Le 30/10/2019 à 08:30, Notpa a dit :

Indispensable, non, mais ça m'amuse de coder des programmes. Et comme je suis en manque de coding en ce moment, ça m'occupe.

C'est un peu ma drogue...

Le 30/10/2019 à 23:23, DK- a dit :

Tu es toujours certain de ne pas vouloir t'intéresser au folding ?
Parce que j'aurais plein de tâches chronophages à coder... il me manque juste un codeur compétent, disponible et gratuit !

Il y a 23 heures, Notpa a dit :

Pourquoi pas ? Dis-moi ce que tu veux. Mais sache que le langage que l'utilise (Visual Basic de chez M$) ne sait traiter que des données présentes sur le PC mais ne sait pas aller les chercher sur le net. En d'autres termes, si on lui donne une URL, il ne saura pas traiter le contenu de la page.

Il y a 22 heures, DK- a dit :

Ah, zut ! Déjà la moitié de mes espoirs s'effondre !

Bon, pour le reste, si je sais précisément ce qui me ferait gagner du temps, je cherche encore comment te l'expliquer (ce qui est obscur s'énonce obscurément... ). Je cogite et je t'en reparle dans le topic stats d'ici ce soir ou demain ?

Il y a 22 heures, Notpa a dit :

Cogite, cogite. Par contre, si tu fais une copie de page en format TXT, je peux traiter le contenu.

La suite dessous.

[DK-]

Alors, voici le problème.

Chaque jour, Kana-chan met à jour ce fichier texte (entre autres). Je l'enregistre sous le nom AAAA_MMJJ kanastats team51.txt.
(le fichier est disponible chaque jour quelques minutes après 09h00, et pendant 24 heures ; et si je le rate, mon Kana préféré m'en fait une sauvegarde que je peux récupérer)

Comme tu peux l'observer, le fichier est composé de :
- l'entête, toujours le même
- un grand nombre de lignes de données (actuellement 18 882, et ça ne peut qu'augmenter !) : ce sont nos stats Folding@home pour les membres de l'équipe de l'AF (Alliance Francophone, ou team n°51).
J'y reviens un peu plus tard...
- le pied de page, mentionnant la date apposée par Kana, et des données relatives au fichier émis par Stanford dont il s'est servi, car Stanford nous pond un fichier par heure !
(Les mentions de Stanford relatives au score et nombre de wu totaux sont certainement fausses, mais on ne sait toujours pas pourquoi, et mettons qu'on s'en fiche...)
En dehors de la date, l'entête et le pied de page n'ont aucune importance pour la suite : seules les lignes de stats sont concernées.

 

Description des lignes
Il y a une ligne par plieur de l'AF, et chacune comporte les données suivantes :
Pos : son rang dans l'AF
Folding : son rang total (ie. toutes équipes confondues)
Nom du membre : son identifiant, seul invariable
Points : le total de ses points acquis
WU : le total de ses wu (calculs) rendues

Remarque 1 : Il n'y a pas d'autre identifiant d'un plieur que son nom de membre ! Ça serait trop facile...
Tous les caractères de l'identifiant, comme la casse, sont très importants ! Et certains identifiants sont vraiment à ch...
J'ai plusieurs fois cette année essayé de me mettre à bosser sur une BDD, et vu que je n'y ai rien compris DU TOUT, j'ai définitivement abandonné tout espoir de ce côté-là.
Du coup, pour les calculs que je recherche, je me suis arbitrairement créé un identifiant numérique perso par plieur : si tu dois aussi traiter les données de cette façon, autant prendre les mêmes ! (appelons-les les « dk-références »). Préviens-moi, je te les enverrai.

Remarque 2 : A priori les positions ne bougent pas beaucoup dans le haut du tableau. Mais c'est justement lorsqu'elles évoluent qu'elles m'intéressent !
D'autre part, lorsque plusieurs plieurs ont le même score, l'ordre dans lequel leurs lignes apparaissent est totalement anarchique, et peut varier d'un jour à l'autre alors même que ces plieurs sont inactifs et que leurs score et nombre de wu n'ont donc pas changé ! Et cela concerne des centaines de lignes à petits scores ! Kana n'en est pas responsable, c'est le fichier émis par Stanford qui est bien bordélique.   

Remarque 3 : Dans les listes de noms de Kana, il n'y a aucun doublon. Mais la casse des identifiants doit absolument être respectée, et certains identifiants comportent des espaces.
Ainsi, Cha et cha sont deux identifiants différents, T et t aussi. Et Paul, Paul (2) et Paul (3) sont aussi trois identifiants différents.
À l'import dans un tableur, attention aussi à ces deux identifiants : 33 [pts=260] et +33 [pts=4300].
De plus, certains identifiants sont pénibles dans le tableur :
• la ligne d'identifiant =CmG=chris095 [pts=753689, wu=1354] : pb du signe = en début de cellule ; perso je le renomme ¤=CmG=chris095.
• la ligne sans aucune valeur d'identifiant [pts=2436, wu=19] : attention à ce que les cellules suivantes ne se décalent pas vers la gauche ! perso je le renomme ¤nomvide1.
Il faut aussi surveiller celles-ci(*), à identifiant très long :
• ligne d'identifiant [Zebulon.fr]_Dorian_http://www.webmachintruc.fr.st   
• ligne d'identifiant Anonymouslulupcf_ALL_1Q177yQCqJ1ZRB8YRLo9eiA6aXVAyniUXh
Parfois un ou des chiffres du score se colle(nt) au bout de l'identifiant, et à nouveau risque de décalage vers la gauche ! (la cellule Points prenant la valeur de WU, la cellule de WU se retrouvant vide)
(*) ptêt d'autres, je ne sais plus... à force de creuser les rubriques d'aide, mes imports Calc se passent heureusement un peu mieux qu'au début !
Et aussi, coup de bol, tous les plieurs ici cités en exemple sont inactifs, leurs stats sont ne sont donc pas trop difficiles à repérer...

 

Bon, la présentation est faite, je t'expose maintenant les tâches à réaliser (que je bricole actuellement plus ou moins à la main dans un tableur).
Il s'agit de comparer deux fichiers, généralement de deux jours consécutifs, par ex pour j-1 : 2019_1031  kanastats team51.txt et pour le jour j : 2019_1101  kanastats team51.txt.

Je veux déterminer quels plieurs, entre le jour j-1 et le jour j, ont :
(1) dépassé certains seuils de points ou de wu (je peux te filer la liste de ces jalons dans un prochain post),
(2) changé de position.

Après avoir enregistré le fichier du jour j, voici comment je procède dans Calc.
• D'abord, je trie, laborieusement (et avec de fréquentes crampes dans l'index sur la molette de la souris !) cette liste  par ordre alphabétique, pour attribuer à chaque ligne sa dk-référence.
• Ensuite :
Pour le taf n°1 : je compare ligne par ligne les colonnes Points et WU du jour j, avec deux tests du genre {si Points > seuilpts} et {si WU> seuilwu}, à un couples de jalons défini pour chaque dk-référence (couple éventuellement mis à jour la veille lors de la même étude sur le fichier j-1, si un des seuils a été franchi).
Pour le taf n°2 : je ressors le fichier référencé la veille de la même façon, et pour chaque plieur je compare la valeur Pos des deux fichiers, par calcul de la valeur Pos(j-1) – Pos (j) (différence positive si le plieur a amélioré sa position, négative sinon).
• Je jette aussi un coup d'œil aux valeurs de la colonne Folding (rang mondial), mais c'est peu intéressant, et je n'ai pas besoin de traitement pour ça.

Voilà, au bout d'une heure, je sais quel événements sont pertinents, je les reporte soigneusement dans un autre tableur, et je peux (pourrais...) commencer à rédiger et mettre en forme un quoti... ou alors je préfère manger, taffer, dormir !

Le codeur fou a-t-il une recette miracle pour optimiser mon temps de loisirs ??

Modifié le 1 novembre 2019 par DK-

[nthor]

Si je peux ajouter un mot, ça serait aussi intéressant d'integrer directement la dedans les listes des membres des miniteams pour prioriser les infos lié à la zebteam

[DK-]

Il y a 2 heures, nthor a dit :

les listes des membres des miniteams

Tu veux vraiment me gâcher ma journée, toi ?
Quand elles seront toutes opérationnelles, oui pourquoi pas. Mais ça ne sera pas bien compliqué : à chaque « dk-référence » j'attribuerai la miniteam correspondante (de même que je lui attribue la valeur du couple (seuilpts ; seuilwu) ou encore celle-ci : actif/inactif), et roule ma poule !

Non, le boulot le plus ch*ant est bien le tri alphabétique quotidien des ces milliers de lignes...