Message-ID: <475D7318.4020409@iap.fr>
Date: Mon, 10 Dec 2007 18:10:48 +0100
From: Yannick Mellier <mellier@iap.fr>
User-Agent: Thunderbird 1.5.0.13 (X11/20070809)
MIME-Version: 1.0
To: Emmanuel Bertin <bertin@iap.fr>
Subject: tera-summart 09-12-07: final version
Content-Type: multipart/mixed;
 boundary="------------030506080907070804010100"

This is a multi-part message in MIME format.
--------------030506080907070804010100
Content-Type: text/plain; charset=ISO-8859-1; format=flowed
Content-Transfer-Encoding: 7bit


--------------030506080907070804010100
Content-Type: text/plain;
 name="tera-summary-091207.txt"
Content-Transfer-Encoding: 8bit
Content-Disposition: inline;
 filename="tera-summary-091207.txt"


        Chers tous
 
Voici le resume des activites de la periode du 03 au 09 decmbre 2007.
Alertez moi s'il manque des points que vous jugez importants. Le Tera-
meeting est prevu demain lundi 10 decembre a 15:00, salle 281.

*** NOTEZ LA DATE ET L'HORAIRE DU TERA-MEETING DU 10/12/07: 15:00 ***
 
 
{{I. PI-WIRCam (Henry, Patrick):}}

 
- 06BF14: Lise Deharveng. L'ensemble des donnees a  ete passe dans
QFITS-in .  Patrick et Henry ont pris en mains la production de ses
donnees. Henry a demande la proposal de Lise pour mieux connaitre ses
  besoins. Lise a faxe la demande.

- 07AC28: Mike Hudson. Henry et Patrick ont termine les QFITS-in de 
ces donnees. Henry a aussi une copie du proposal. Patrick a lance SCAMP
 sur ces donnees.

- Henry et Patrick investiguent pour savoir quelles informations pourraient
etre parsees du fichier QF-XML pour etre utilisees dans l'identification de
mauvaises images.

- Processing notification: WIRCam program 07AO06 (PI Dwelly, UK).
Les observations 07AO06 consistent principalement en imagerie profonde
en bande J. Le champ est une mosaique de 40'x40'. Dwelly souhaite qu'a
terme ces data soient comnbinees avec les data H du meme champ et
collectees pendant le run  06AO02. Mais pour le moment le CFHT n'a pas
envoye de notification sur ce RunID. Ce projet est une requete UK mais
il s'agit bien d'une demande PI acceptee, pas d'un projet portant sur
des donnees WIRCam archivees (ref RunID: YYsemestreOnumid: O= Other).
 Si nous avons une slot, on effectuera le processing.
 
 
{{II. MEGACAM (Mireille, Mathias, Yannick):}}
 
- Pas de processing PI en cours.

- Suite a une requete de Jean-Charles Cuillandre, Mathias a commence a
investiguer la stabilite des points zeros de Megacam sur chaque CCD.
Comme il y a peu d'etoiles communes SDSS-Megacam sur chacun, les etoiles
de differents champs, mais localisees sur le meme CCDs sont utilisees
simultanement. La comparaison est faite pour chaque filtre. Les
differences SDSS-Megacam sont calculees, ainsi que l'ecart a la valeur 
moyenne de la totalite de Megacam. Un diagnostic peut donc etre etabli
 sur la base d'une analyse portant sur 36 histogrammes, ceci pour chaque
 filtre. Mathias produit des series d'histogrammes et resumera l'ensemble
 de l'investigation dans le courant de la semaine a venir.
 
 
{{III. T0005 et Terapix-CADC communications (Fred, Yannick, Henry):}}
 
Fred, Henry, Yannick et Chris Pritchett ont participe a la video-conference
avec le CAD C, merdredi 5 decembre.  On a surtout aborde le besoin d'avoir
dans l'interface du CADC la date de la derniere ingestion des donnees.
En effet, le CADC est suppose surveiller les directory "/replaced" des
  baies fcix3/4 de Terapix et de transferer automatiquement au CADC toutes
les donnees s'y trouvant. L'ensemble est effectue automatiquement, sans
message de la part du CADC notifiant Terapix du succes transfert et de
l'ingestion : le CADC etait confiant que tout fonctionnait sans probleme.
  Mais Fred a constate que des fichiers n'ont jamais ete recuperes. Le
CADC ne comprend pas l'origine du probleme, mais va desormais indiquer
les dates d'ingestion de facon que nous puissions suivre nous-memes le
 bon deroulement des transferts.
 
Par ailleurs, au cours de la video-conference, Fred et JJ Kavelaars ont
pu constater que le logiciel de controle automatique des fichiers .gz
qui arrivent au CADC ne fonctionnait pas correctement: des fichiers non
  corrompus, verifies par Fred puis par JJ Kavelaars, sont pourtant ete
declares corrompus puis automatiquement rejetes par le CADC. Le CADC a
donc immediatement entrepris une action. Le probleme est aujourd'hui
resolu.
 
Jean-Charles a contacte Yannick dans la soiree de samedi-dimanche 8-9
decembre pour annoncer qu'il commencait le nouveau pre-processing des
champs pour le dry-run. Comme convenu, il s'agit de champs de T0004 et
pour lesquels nous disposons de donnees ugriz dans des secteurs couvrant
plus qu'un champ Megacam et comprenant des overlaps. Jean-Charles avait
  perdu la liste que Yannick lui avait envoye communiquee en septembre.
Yannick l'a renvoyee.
Pour Patrick Hudelot et Mathias Monnerville: la liste est sur :
  http://terapix.iap.fr/IMG/txt/tabw1etw4forjcc.txt
 
 
{{IV. Software (Emmanuel, Patrick):}}
 
- MissFITS: Grace au Valgrind de Patrick sur MissFITS, Emmanuel a corrige
 (sur SVN uniquement) le bug rencontre par Henry sur les longues lignes
de commande. Cependant c'est un pis-aller, car si cela evite bien le
segfault, la ligne de commande dans la VOTable de sortie n'est pas
correcte (c'est un pb bien compris qui va necessiter une correction plus
  longue).
 
 
{{V. Base de donnees (Gregory):}
 
- L'ingestion a distance (via Condor) marche ou alors "quasiment". Le
 calcul des MD5 a ete ajoute et fonctionne. Il faut desormais environ 6s
 a une image pour etre ingeree (au lieu d'une fraction de seconde quand
 on ne controlait que les headers).
 

- Desormais lorsqu'une image est ingeree dans la base de donnees elle est
testee par FITSverify. Si elle ne passe pas le test elle est rejetee.
Une fois le test passe, un champ checksum a ete rajoute a la table image
et un calcul du md5 de l'image s'opere et est inscrit dans la table image.
Le processus de calcul de md5 est lent , il augmente le temps d'ingestion
pour une image d'un facteur 12 lors du processus d'ingestion depuis clix
sur le cluster  et par NFS.

- Il est aussi maintenant possible de lancer une ( ou plusieurs ) ingestion
depuis l'interface avec Condor. Ce qui permet plusieurs ingestions a
travers un ensemble de machines + un chemin vers des images, que l'on
specifie via l'interface : une fois le choix effectue un submission file ,
decrivant le job a lancer, est cree par un script Python et l'executable
du script d'ingestion est envoye par condor avec comme argument le chemin
que les utilisateurs ont rentre dans l'interface.

- Ainsi on reduit le temps de l'ingestion par 2 par rapport a l'ingestion
 depuis clix. Le processus d'ingestion pour une image est desormais de
6 sec.

- A noter que les processus d'ingestion, depuis clix et via Condor sont
paralleles : on peut realiser plusieurs ingestions par les 2 methodes en
meme temps, mais les capacites semblent etre quand meme + limitees depuis
clix...

- La semaine qui vient pourrait etre utilise a developper les scripts
d'ingestion pour qu'ils parsent automatiquements tout le cluster, trouver
des repertoires d'images, effectuer l'ingestion etc... a developper pendant
le terameeting...


{{VI. Hardware/system/cluster (Fred, Emmanuel):}}
 
- Tout le materiel est arrive, sauf les machines efigix*/mix* qui
  dependent de la disponibilite des Barcelona.
 
- Concernant les Barcelona, Fred a finalement pu parlé avec les gens 
d'AMD (M. Seite et Mme Branchu). M. Campodifiori, d'Agorus, a donc 
proposé d'attendre que les Barcelona B3 soient disponibles, expliquant
 qu'en acceptant, même temporairement, les B2, on risquait d'être bloqué
 avec si AMD invoquaient une clause juridique (Campodifiori est aussi 
juriste...) qui utiliserait le fait qu'ils n'avaient pas de choix autre
 que d'accepter de fournir temporairement ces B2. Il faut donc attendre
 que les B3 soient dispos, mais en attendant, AMD prête à Agorus et 
Carri des dual core (27 en tout).  L'autre proposition d'AMD était de 
nous fournir des procs B2 de fréquence supérieure (jusqu'à 2.3 GHz au 
lieu de 2 GHz) pour compenser les pertes de performance du patch BIOS
 ou kernel contournant le bug.  Apres discussion entre Emmanuel et Fred,
 la solution dual core est preferee. Fred l'a donc demandé à AMD, 
précisant qu'en cas de refus, nous passerions à Intel. Fred devrait 
avoir une reponse en debut de semaine.
 
 
- Avenir des machines pix1/9: Gilles a decrit a Emmanuel la procedure de
donation de "vieilles" (6 ans) machines. Il suffit de fournir a Gilles
la liste des becanes valides dont on souhaite se debarrasser, avec leurs
  numeros d'inventaire, qui fera suivre a Natacha pour les formalites.
Gilles propose de donner les vieux pix a Jussieu. Olivier Ricou est
interesse egalement pour ses tests de web service au LRDE, mais il doit
d'abord demander l'avis de leur ingenieur systeme. Il devrait nous dire
ce qu'ils ont decide d'ici une paire de semaines (decidemment...).
 
- Fred a remis les fcix et ftpix dans Condor (Emmanuel lui avait demande,
  a tord, de les retirer), pour que Greg puisse faire fonctionner ses
scripts d'ingestion a distance.
 
 
- Un arret de mix/terapix pendant la nuit de samedi a dimanche 8-9
decembre. Impossible de rebooter la machine. Fred est intervenu pendant
  la nuit. C'est le disque SCSII qui pose probleme. Fred a donc
 partitionné le disque raptor installé en interne auparavant. Reste à
 upgrader le kernel pour qu'il reconnaisse la carte PCI SATA et
voit ainsi ce disque à utiliser à la place du scsi
 
- Fred a donc fait un rsync de terapix.iap.fr sur le disque interne de
mix.  (voir dotproject)
 
- Emmanuel rapporte que yppasswd ne semble pas fonctionner sur les
machines du cluster, et qu'un schema a jour du systeme (organisation
reseau, fonctions des differents noeuds) manque cruellement pour le
non-initie.
 
- Henry a installe STSDAS dans le IRAF de mix7.
 
 
{{VII. Divers (All):}}

- Le pot de depart de Mireille etait le 6 decembre!!! Un cadeau sympa
permettra a Mireille de traiter MegaCam, HyperCam, UltraCam, MegaloCam,
DanteloCam a distance, pour eviter qu'elle ne s'ennuie!! Mireille nous
quittera le 21 decembre.
 
- Mathias Monnerville a consacre sa premiere semaine a son installation.
Il a installe FreeBSD sur son PC (l'ancien de Chiara, en attendant la
machine D'Emmanuel). Il a finalement pu recuperer tous ses passwords et
a confirme a Emmanuel qu'il etait desormais pleinement operationnel. Au
  fil des jours Emmanuel lui l'a progressivement mis au courant des choses
esssentielles  a savoir sur TERAPIX.
 
- Emmanuel a passe une bonne partie de sa semaine a boucler le rapport
de fin de contrat EFIGI.
 
- Henry a ete pris pour la verification de la traduction en anglais du
rapport d'activite de l'IAP.

- Yannick a ete contacte ce week end par Christian Veillet pour avoir
un recensement des articles CFHTLS Deep et Wide publies ou acceptes
en 2007. Yannick a fait l'inventaire et expedie cette liste en vue
de la preparation du Board qui aura lieu cette semaine: au total ,
en 2007 il y a 12 articles publies et 6 acceptes, sous presses. Ceci
ne prend pas en compte les articles publies concernant le releve
COSMOS qui utiliseraient des donnees CFHTLS D2.
 
- Emmanuel a "signe" pour un mois/an de travail a University of Illinois
  dans le cadre du traitement des donnees du Dark Energy Survey. Outre
l'amelioration de SExtractor concernant le deblending et l'ajustement
de modeles, il y co-supervisera un post-doc sur l'homogeneisation de
reponse impulsionnelle (le produit sera open source, peut-etre cela se
  fera-t-il dans SWarp-meme).

--------------030506080907070804010100--