Tera-minutes of the November 20, 2006 meeting

Present: Chiara, Fred, Laurent, Henry, Yannick

Absent: Mireille, Emmanuel, Anthony, Mathias

Warning: The tera-minutes includes Emmanuel's summary prepared yesterday.

W1-u-T0030 for Willot (Laurent)

 The 19 wide stacks are finished (T0030)

 These images contain poorer-seeing data; there is now 19 fields with u-band stacks as opposed to 11 previously

 The question is if the astrometric solution in the new stacks is good enough to be used with the old astrometric solutions (to compute colours with the images which exist already in T0003 W1 data);

 Are there offsets between old and new images? The table sent by Yannick shows few offsets but not clear yet whether they would cause trouble in merging W1-T0003 + W1-T0030 data. Henry suggests to run SCAMP with T0030 and T0003 ldac catalogues and MATCH no and ASTROM no options.

PI-data

 Is the astrometric solution good enough to process all the data? Still unclear whther we can run the Annie' runs. Need input from Mireille, Mathias, Emmanuel

 Still need to know how many of the images from Cowie have half a Megacam images, no progress on this issue.

Orders in progress (Fred)

 Puma (20,000EUR) for NAS 20 Tera + is underway (Wednesday is the deadline for this)

 COSMIX (server) (buy a 'clix' like machine for COSMIX): nothing done

 Linux INTEL compiler licence for Emmanuel is underway

 Workstation for the IE (clone of Martin's machine) is in progress

 Also laptop for Fred : nothing done yet

 Miscellaneous small items (LDLC pro) order is underway

 All orders are summarised in the summary order table

WIRCAM (Chiara)

 Swarp Ks (mix9) for Simard has been stacking for three days (3000 images) and isn't finished yet.

 Swarp is very slow possibly because of the large number of open files; how to speed things up? Chiara confirms it is not related to SWARP version.

 Options to fix this issue and/or to speed up urgent stacks are the following:

1. debug swarp

2. switch mix5 and mix9

3. produce sub-satcks with less images then combine them (night by night or 1000 by 1000, etc..)

4. create 2 partitions on mix9

5. move to another processing strategy by stacking data cubes

Options (2) and (4) would imply to transfer mix9 on a temp disk: 4.3 TB. Transferring to fcix2 needs 13hrs + 13hrs to transfer back on mix9.

 Chiara proposes to try to stack the cubes before stacking the data (this would reduce the number of open files by five)

 Work has been done one the chip-by-chip solution; still need to figure out best way to compute the photometric solution;

 Meeting with Herve and Henry tomorrow to discuss how the COSMOS astrometric and photometric calibrations have been optimised and verified.

Other matters

 Sub image routine in qualityFITS does not work on some images on pix7 (two images). The problem only concern QFITS-in with mosaic CCDS, not QFITS-out that only handles single images (no mosaic), and only very few of them. Fred has not yet found the bug. still working on it.

 Fred was supposed to start the cloning of the machines today. If this starts it will be on mix4 but for the moment the orders for hardware have priority.

 Henry will create a FAQ page and will put the info on .fz . Everyone has been asked to send their Frequently Asked Questions to Henry who will add them on this page.

 Ganglia: Laurent will work on it. Does not know when it will be done. Expected: next week.

Dot-project

 Updated by Chiara. (see doproject Tasks)

 Laurent will clean the SPICA dotproject items.

Next tera-meeting: (confirmed) Monday November 27, 10:00 am, room 281.

Chers tous,

Voici une petite synthese partielle et partiale des activites de la semaine, destinee a faciliter le travail de Yannick demain. J'ai place entre etoiles mes commentaires sur des taches qui me sembleraient utiles d'accomplir (Lorsqu'il n'y a pas de point d'interrogation c'est que l'on en a deja parle entre nous). Merci d'apporter les corrections necessaires si je deforme ou oublie des informations! L'ordre de l'enumeration est tres approximativement celui de dotproject.

 W1 U extended: le pipeline a finalement ete lance dans les temps sur mix5/mix6 vendredi matin avec SCAMP 1.2.11 (malgre ce que disent les pages de diagnostic *Laurent peux-tu faire en sorte que les pages de diagnostic refletent en toute situation la veritable version des softs?* ). D'apres les plots jusqu'a la solution astrometrique, incluant pres de 1000 poses, est cependant tres bonne.

 - A ce propos Laurent a rencontre quelques problemes avec des demontages spontanes apparents sur mix6, qui semblent lies a un nombre de ports TCP utilises trop eleves. Fred a fourni un script qui permet de suivre ce nombre de ports, et nous avons pu constater que le nombre de ports ouverts depasse parfois le millier pendant quelques secondes. Laurent attribue ces excursions aux requetes a la base de donnees, mais n'explique pas encore tres bien leur nombre. *Laurent doit verifier qu'il ne laisse pas de connections ouvertes par megarde*.

 -- *Concernant cette histoire de nombre de ports, ainsi que de nombre de descripteurs ouverts et autres statistiques il serait tres utile je crois de pouvoir les monitorer globalement au sein de Ganglia. Notre manip pousse souvent les machines aux maximum de leurs possibilites, et il est important de pouvoir identifier facilement tout comportement anormal sur une machine quelconque. Ganglia offre la possibilite de rajouter tres facilement des "metriques", c'est a dire le suivi d'une grandeur particuliere a l'aide d'un petit script. Comme me l'a montre Fred, les informations pour gerer ces scripts sont sur le site de Ganglia. Fred et/ou Laurent pourraient-il passer un petit peu de temps a comprendre bien comment cela marche, et poster un cookbook sommaire (dans le contexte de l'organisation de Ganglia sur notre cluster) sur l'intranet afin de rajouter facilement les stats dont nous avons besoin? Serait-il possible d'avoir une petite presentation a un prochain terameeting sur ce point?*.

 RunID 06AF26 sur pix7: interrompu par une sortie en erreur de QualityFITS (mefhisto). Laurent a relance la commande avec debug, et cela semble cause par la fonctionnalite "sub-images". Fred a ete notifie mais n'a pas repondu. *Fred peux-tu repondre STP et fournir une estimation du laps de temps necessaire pour corriger ce pb?*. En attendant, il a ete suggere a Laurent de relancer sans l'option des sub-images; Mireille a donne son aval. *Laurent peux-tu relancer le processing sur pix7?*.

 - *SVP: essayez de repondre aux e-mails teralist ou prives dans les 24h afin de ne pas penaliser les autres. Enfin en cas de crash, merci de bien vouloir fournir le maximum d'information de debug a l'auteur du soft!!*

 Donnees Annie Robin: Mireille et Mathias se sont mis d'accord pour la notation. Mireille a fait tourner les 2 dernieres versions de SCAMP avec a la fois le catalogue de reference astrometrique USNO et 2MASS: les resultats sont meilleurs qu'avec les versions anterieures, mais le systeme d'equilibrage automatique des poids des contraintes ne semble pas ameliorer les choses de facon nette. SCAMP 1.3.2 est desormais installe sur mix7.

 Fred a mis en place Un cronjob (lance tous les jours à 6h) sur mix8, mix9, efigix et fcix2 (et qui sera propage a la replication), envoyant a teraop la liste des upgrades system gentoo et rpm depuis la veille. *Pas d'e-mail recu depuis le test de Fred: on peut supposer que ca fonctionne?*.

 Commandes (Fred): Le "puma" (appel d'offres pour les grosses machines) est parti pour les futurs fcix3/4. Les devis compilo INTEL et machine du futur IE ont ete transmis. Le devis pour petit materiel LDLC-pro sera transmis a Natacha lundi matin. Pas de nouvel ecran LCD prevu (on a du stock). Les claviers et le portable de Fred restent pour l'heure en suspens. *Fred j'ai recupere cette information par Yannick; merci de m'envoyer aussi les mails*.

 Fred a poste sur teralist un mail en anglais expliquant comment decompresser les images .fz. *Henry as-tu envoye cette information sur le site web public comme il t'avait ete demande au dernier terameeting?*

 Laurent a ameliore le fonctionnement de son logiciels de stats web, qui indique une large preponderance des pages du forum dans les visites au site TERAPIX. *N'hesitez-pas a poster sur les forums toute information, meme tres technique, qui vous semble utile au public!*

 WIRCam:
 - Chiara a genere un ensemble de statistiques sur les offsets relatifs entre points-zero des 4 chips a partir d'une calibration basee sur 2MASS, qui semble indiquer des variations importantes (bi-modalites notamment) et ecarts par rapports aux informations des headers fournis par Loic. Cela sera discute avec Herve et Henry durant la reunion de mardi. Il apparait desormais clairement necessaire d'ajouter a SCAMP des degres de liberte photometriques supplementaires, similaires a ceux de l'astrometrie (et qui pourront a terme conduire a calculer une carte d'illumination). Emmanuel et Chiara y travailleront, mais pas avant la mi-decembre (because EFIGI pour Emmanuel).

 - Les pbs rencontres avec les tres gros SWarp en version 2.16 (effondrement du rendement lors de la coaddition; tache en etat d'attente) ont finalement ete observes egalement avec l'ancienne version 2.15.7 sur mix9. L'hypothese actuelle est que ce phenomene ne se produit que lorsqu'un tres grand nombre de fichiers (5000+) sont ouverts simultanement par SWarp (densite de poses a coadder exceptionnelle). Pas de solution dans l'immediat: limitation systeme?

 - Le travail sur WIRCam s'avere, plus encore que celui sur MEGACAM, limite par les I/O, et comme mix9 ne contient qu'un seul RAID, Chiara est contrainte pour gagner du temps d'utiliser ponctuellement plusieurs machine avec tout le transfert de Toctets que cela implique. *Peut-on imaginer echanger pour le travail WIRCam mix9 avec une machine (mix5 par exemple) contenant 2 baies RAID?*

Amicalement, Emmanuel.