Folding : les stats

[nthor]

Moui ...

[DK-]

Pour les plieurs qui s'intéressent à la suite haletante de ce concours initié dans les bas-fonds d'une autre partie du forum, c'est là :

Il y a 11 heures, Notpa a dit :

@DK-

Si j'ai bien compris, tu veux un programme qui fait la fusion de plusieurs fichiers TXT et qui ne sorte qu'un seul fichier ne contenant pas de doublons ?

Bien sur que c'est possible mais ça risque d'être lourd vu le nombre d'enregistrements à traiter.

Il y a 11 heures, Dylav a dit :

T'as pas tout compris !
Ce que veux DK, c'est un extrait du gros fichier qui contienne tout sauf les lignes déjà présentes dans les autres fichiers (qui, par définition, sont en redondance dans le gros fichier).

Il y a 11 heures, DK- a dit :

Exactement, Dylav !
Je veux bien tenter le coup, Notpa ! Et si même Dylav veut bosser, pourquoi pas ? (Gnark gnark, le poiscaille, t'as intérêt à pas t'être planté, sinon ça va se savoir ! )
Je pose demain les 30 fichiers .txt dans le topic Folding-stats.

Il y a 11 heures, Dylav a dit :

Ce que je propose tient en 4 étapes,

1. amalgame de tous les petits fichiers,
2. tri de l'amalgame,
3. tri du gros fichier (sur les mêmes critères),
4. défilement parallèle, pour n'extraire du gros fichier que ce que l'on ne trouve pas dans l'amalgame.

Un cas d'école...

Sauf que j'ai séché quelques cours, moi.....

 

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••

Donc voici les concurrents, dans les starting-blocks face à l'impitoyable arbitre par ordre alphabétique :
1. Dylav
2. Kana-chan
3. Notpa
4. Nthor

Le top départ, avec la remise des 30 fichiers textes, aura lieu ce matin, quelques minutes après 09h00.
Ces fichiers sont mis à jour, par Kana-chan, tous les jours vers 09h00 (la date est indiquée en fin de fichier).
Il faut que ces 30 fichiers soient downloadés le même jour (mais ils peuvent être traités plus tard) ; cependant, les 14 équipes en violet étant totalement inactives depuis au moins deux ans, y'a (hélas...) peu de raisons qu'elles se réveillent dans la semaine, donc leurs fichiers sont très probablement les mêmes tous les jours.

Ces fichiers se présentent tous de la même façon : en-tête + plein de lignes comportant un nom (identifiant) et des nombres (stats) + date du fichier. ex :

Citation

     FOLDING@HOME
            STATISTIQUE DE LA TEAM 51
             L'ALLIANCE FRANCOPHONE

Pos    Folding    Nom du membre                    Points        WU
-------------------------------------------------------------------------------------
1    125    toTOW                            3283181854        352660
2    203    Doume_(France)                        2184057743        133134
3    244    yl4al                            1831650577        329468
4    402    brunold                            1186583542        69637
5    430    CastorTroy                        1143986208        113303
6    440    molasses_(Quebec)                    1120795738        12205
7    481    [PcPerfLeMag]_foo_fight                    1018603431        47214
8    551    OlivierZ                        917077499        61560
9    842    cduchat                            631852042        24847
10    859    [Inpact]jeanjean15                    618837780        5820

 

18854    1719170    danielnak                        1        2
18855    1719242    Elo_se_(Belgique)                    1        2
18856    1719335    dima                            1        2
18857    1719402    Dou                            1        90
18858    1719415    dpdunham                        1        2
18859    1719466    Carbone                            1        2
18860    1719517    cerealkiller_[Forum_Hardware.FR)            1        2

        Mise à jour: le samedi, 13 avril 2019, à 09:08.

Le tri va se faire par l'identifiant, colonne Nom du membre (ex ici, pour la ligne 1 : toTOW), tout le reste est sans importance pour ce job, mais vous pouvez conserver ces données si elles ne vous encombrent pas.

Attention : S'il n'y a (normalement) pas de doublons, cependant deux lignes des fichiers de Kana posent encore problème aux tableurs.
Heureusement uniquement présentes dans le "gros" fichier (et devant donc figurer dans le fichier « 0.Non-associés » à construire) ; il vaut mieux les corriger à la mano avant traitement. Il s'agit de :
• la ligne d'identifiant =CmG=chris095 (pb du = en début de cellule) ; perso je le renomme '=CmG=chris095  
  (située au 13/04/2019 à : pts=753689, wu=1354, pos=656)
• la ligne sans aucune valeur d'identifiant ; perso je le renomme '(1)  
  (située au 13/04/2019 à : pts=2436, wu=19, pos=8673).

 

NB : Tous les caractères de l'identifiant, comme la casse, sont très importants ! Et certains identifiants sont vraiment à ch...

BUT : Obtenir un(*) fichier txt « 0. Non-associés » qui correspondrait au complémentaire dans l'AF de la réunion des 29 mini-teams.
(*) oui, rien qu'UN, à n'importe quelle date, me comblerait déjà...
L'en-tête, je m'en moque totalement, et vous pouvez même supprimer toutes les colonnes de nombres, ici seule la colonne des identifiants non-associés est recherchée. Toutefois, j'aimerais bien qu'on me précise la date de dl (mais cette info peut bien entendu n'être ajoutée qu'en fin de traitement).
Deadline : y'en a pas ! Faites au mieux, j'ai l'habitude de faire patienter le boss...

Remarque : Les deux gros malins de geeks plieurs vont certainement utiliser une autre méthode de tri, à base d'obscurs fichiers .cfg...
@Dylav & @Notpa : Faites donc comme si vous n'aviez rien entendu !... pis comme jsuis pas encore bien sûre que les 2 méthodes conduisent au même résultat, c'est tout bonus pour moi !

Et enfin, voici ces 30 fameux fichiers à récupérer :

LE "GROS" FICHIER :
Alliance Francophone : classement complet
LES 29 "PETITS" FICHIERS :
1. France : classement
2. Québec : classement
3. Belgique : classement
4. Suisse : classement
5. PPC (Présence-PC) : classement
6. INpact (PC-INpact) : classement
7. GNT (Génération-NT) : classement
8. Nokytech : classement
9. LEENFAT (L'Entraide Est Notre Force À Tous) : classement
10. KE (Knight of Eternity) : classement
11. FG (Les Fermiers Généreux) : classement
12. TSLN (Tout sur le net) : classement
13. Clubic : classement
14. ENS_Cachan : classement
15. RAH (Rhône-Alpes Hardware) : classement
16. PCinfo : (PC-infopratique) : classement
17. GAH (Les Anciens de Genome@home) : classement
18. PCA (PC-Astuces) : classement
19. 3dChips : classement
20. Cooling-Masters : classement
21. QuaddXmas : classement
22. Zebulon : classement
23. AMD-Hardware : classement
24. UV (Unité-Vidéo) : classement
25. FOUCK (La F(o)uck Team) :  classement
26. PcPerf : classement
27. DoDFr : classement
28. Techage : classement
29. LesNumériques : classement

 

À GAGNER POUR TOUT PARTICIPANT : Un weekend en pension complète dans le marais poitevin !

Modifié le 14 avril 2019 par DK-
désistement du boss

[DK-]

Il y a 4 heures, nthor a dit :

Je me répète mais il faudrait peut être mettre à jour les .cfg avant non ?

C'est justement pour mettre à jour ces #*!^$° de .cfg que j'ai besoin d'un listing de tous les plieurs mentionnant leur mini-team, de 0 (= non-associés) à 29. Ce que je pourrai construire rigoureusement (parce que jusqu'à présent, c'est le binz...) quand j'aurai ma liste de non-associés.

Modifié le 14 avril 2019 par DK-

[Kana-chan]

Il y a 9 heures, Kana-chan a dit :

En même temps, le script qui trie, peut aussi créer un fichier "non-associes.txt" en même temps que lorsqu'il rempli les autres ...

Voilà ...

En fait je viens de voir que non, les scripts ne peuvent pas faire ce genre de fichier en même temps que celui des mini-teams.
Donc il va falloir que DK continue avec son tableau Excel ou que nthor lui fasse le fichier !!

Voilà ...

[DK-]

Il y a 8 heures, DK- a dit :

Donc voici les concurrents, dans les starting-blocks face à l'impitoyable arbitre par ordre alphabétique :
1. Dylav
2. Kana-chan
3. Notpa
4. Nthor

Ils ne sont donc plus que trois...

[Dylav]

Questions

1. Peut-il y avoir des espaces dans les identifiants des plieurs ?
2. La colonne Folding (n°2) ne serait-elle pas un identifiant numérique unique représentant le plieur ? Dans ce cas, cet identifiant numérique serait plus fiable que l'identifiant alphabétique qui semble vous causer bien du souci...

Modifié le 14 avril 2019 par Dylav
Précisions

[DK-]

Bonjour Dylav, merci de ton intérêt

il y a 20 minutes, Dylav a dit :

Question : peut-il y avoir des espaces dans les identifiants des plieurs ?

Non, absolument pas.

Par contre, on trouve hélas des tas de caractères àlc...
En particulier, si un plieur utilise le caractère @, Stanford élimine dans ses communiqués (mais pas dans sa base interne) les caractères qui suivent l'@, ex. [email protected] devient machin@. D'où l'apparition
- de pseudos-doublons dans les listes, ex : T et  T (2),  le (2) étant créé par le script de Kana pour différencier deux identifiants
- de comptes « sans identifiant » : probablement utilisant par un caractère interdit...

cf. tuto :

Le 17/09/2017 à 18:10, Zebteam Folding@home a dit :

En particulier sont à éviter :
- les caractères # ^ ~ | (réservés par Stanford), et le caractère espace (préférez le tiret bas _ )
- les pseudos contenant http, www ou @ (sous peine de ne pouvoir accéder à leurs stats)
De plus les identifiants sont sensibles à la casse (distinction majuscules/minuscules), ainsi Dylav, dylav et dYLAV sont des identifiants distincts...

Pour info, le fichier Stanford de référence, actualisé toutes les heures, est là : apps.foldingathome.org//teamstats/team51.txt

Modifié le 14 avril 2019 par DK-
précisions

[Dylav]

Tu n'as pas répondu à ma seconde question ?
Remarque, je pourrais en apporter la preuve en vérifiant la bijection entre les colonnes 2 et 3 (c'est-à-dire que chaque identifiant est toujours représenté par le même numéro, et que chaque numéro représente toujours le même identifiant).

[nthor]

Il y a 3 heures, Kana-chan a dit :

En fait je viens de voir que non, les scripts ne peuvent pas faire ce genre de fichier en même temps que celui des mini-teams.
Donc il va falloir que DK continue avec son tableau Excel ou que nthor lui fasse le fichier !!

Voilà ...

Déjà fait mais il est basé sur les données de Stanford de fin mars que je pourrais réactualiser mais ça restera celles de Stanford donc différence au niveau des caractères spéciaux et des doublons.

il y a 26 minutes, Dylav a dit :

La colonne Folding (n°2) ne serait-elle pas un identifiant numérique unique représentant le plieur ? Dans ce cas, cet identifiant numérique serait plus fiable que l'identifiant alphabétique qui semble vous causer bien du souci...

Il est mignon

Il y a 9 heures, DK- a dit :

C'est justement pour mettre à jour ces #*!^$° de .cfg que j'ai besoin d'un listing de tous les plieurs mentionnant leur mini-team, de 0 (= non-associés) à 29. Ce que je pourrai construire rigoureusement (parce que jusqu'à présent, c'est le binz...) quand j'aurai ma liste de non-associés.

J'ai du mal à comprendre.

Depuis la non prise en compte de la casse, il y a des membres comptabilisé dans des miniteams alors qu'ils sont non associé, ça ok, voir la liste que j'ai posté plus haut. Mais le contraire aussi ? Des mauvais tags utilisés ?

Modifié le 14 avril 2019 par nthor

[DK-]

Dsl, Dylav : pas vu que tu avais édité.

Il y a 2 heures, Dylav a dit :

La colonne Folding (n°2) ne serait-elle pas un identifiant numérique unique représentant le plieur ? Dans ce cas, cet identifiant numérique serait plus fiable que l'identifiant alphabétique qui semble vous causer bien du souci...

Le problème, c'est que, si identifiant numérique unique il y avait, Stanford semble s'amuser à le modifier de temps en temps...
Par ex. le mien était 820369(*) de juin 2017 à octobre 2018, et depuis octobre dernier, 28890 : https://stats.foldingathome.org/donor/28890

Dans les 30 kana-txt, la colonne 1 Pos indique :
- pour le « gros » fichier de l'AF : le rang dans notre team de l'AF, celle qui porte le numéro 51 (fédérée elle-même en nos 29 mini-teams)
- pour les 29 « petits » fichiers : le rang dans la mini-team concernée.
Pour tous, la colonne 2 Folding indique le rang dans l'ensemble des plieurs (ie. : toutes teams confondues, auxquelles s'ajoutent tous les donneurs non-associés à une team, ou anonymes) soit plus d'un million dans le monde.
Et les deux rangs sont susceptibles de changer tous les jours (voire toutes les heures pour les stanford.txt) en fonction des pliages renvoyés par l'ensemble de la communauté, donc no way...

Modifié le 14 avril 2019 par DK-
(*) après vérification dans mes vieux marques-pages