Chers tous Voici le resume des activites de la semaine du 18 au 23 septembre 2007. Alertez moi s'il manque des points que vous jugez importants. Le Tera-meeting est prevu demain lundi 24 septembre a 10:30 , salle 281. CETTE VERSION A ETE ACTUALISEE AVEC LE RAPPORT DE GREGORY arrive lundi apres-midi (item DB-T0005). {{I. T0004 (Mireille, Henry, Fred):}} Fred a ecrit un script pour re-processer avec Condor les champs multi-filtres de T0004 pour produire les catalogues chi2 avec des erreurs correctes sur les magnitudes. Au total 484 catalogues ont ete re-produits. Mireille et Henry ont verifie que les catalogues de sortie, et donc les plots de controle qualite (e.g. stellar color-color plots), sont quasi-identiques aux precedents. Les differences constatees sont negligeables. Selon Henry elles resultent probablement de la compression/decompression des cartes de poids qui induit une tres legere perte d'information. Fred a ensuite injecte les E(b-v) dans ces catalogues puis les a depose sur fcix3 pour la distribution au CADC. {{II. PI MEGACAM (Mireille, Emmanuel, Mathias):}} Mireille a termine la notation de QFITS-in de 07AF18 (A. Robin) puis a mis en oeuvre les procedures pour les etapes Swarp et Scamp. Mathias propose d'entamer un re-propocessing des runs precedents d'Annie Robin car il ne sera pas possible de determiner des mouvements propres a partir de catalogues ayant une calibration astrometrique heterogene (les deux premiers runs etant calibres avec 2MASS). Il s'agit des runs 04AF09 et 05AF14. Les tests effectues par Mireille et Emmanuel sur les donnees d'A.Robin (champs encombres) revelent que le catalogue 2MASS ne peut etre utilise pour l'etape de recherche de l'angle de rotation et de l'echelle des poses: les magnitudes des sources sur les images sont trop differentes de celles de 2MASS. Emmanuel a suggere a Mireille d'utiliser le GSC-2 ou l'UCAC-2 avec les trois epoques (i.e. les trois RunIQ d'Annie Robin) simultanement, au moins pour cette premiere etape. Mireille a donc lance sur mix7 un gros Scamp sur l'ensemble de ces donnees en fin de semaine, pour profiter du week end. Emmanuel a cependant remarque que Scamp utilise 40-50 Go de memoire ce qui excede la quantite de memoire disponible dans la machine (40Go > 32Go) ce qui signifie que le processing risque de prendre un temps prohibitif. Emmanuel suggere de remonter le SN_THRESHOLDS a quelque chose comme 50.0, 100.0 puis de relancer ce Scamp. {{III. WIRCam (Chiara):}} - Bouvier: Chiara a commence le traitement de 06BF23 prioritaire (pour la mi-octobre) et qui doit etre processe conjointement avec les donnees du RUNID MegaCam 06BF28. En parrellele, Chiara a telecharge les donnees des RunIDs 07AF22 et 07AF99 qui devront etre traitees pour mars. - Monin: Chaira a telecharge les donnees 05BF35. Pas de qualityFITS pour certaines images parce que les flat-fields ne sont pas disponibles. Apres requete a Loic Albert, ceux-ci devraient etre disponibles desormais. Chiara attend une reponse de Monin sur la selection en FWHM qu'il faut appliquer sur ses images. - Les procedures de Chiara pour le traitement WIRCam ont ete mises a jours puis mises a disposition sur SVN. Les pages correspondantes sur l'intranet ont ete aussi mises a jour. {{IV. Software (Chiara, Emmanuel, Ricou):}} - Web-service: les premiers prototypes de web-services EFIGI ont ete mis en place par Emmanuel et O.Ricou. C'est operationnel, on peut le voir sur : http://terapix.iap.fr/rubrique_restricted21.php?id_rubrique=246 . La methode est la suivante: on part de requetes Globus (type grille), WSDL ou via l'interface web (script Python) pour lancer une soumission Condor sur le cluster. Un exemple de resultat est disponible sur http://efigix.iap.fr/runs/with-arms/efigi.xml . Il s'agit en fait d'une concatenation de VOTables SExtractor et PSFEx, filtrees a travers une feuille XSLT inspiree de celles de Chiara. Il sera en principe facile de modifier les scripts actuels pour creer de nouveaux services de type Scamp, QFITS, etc. Emmanuel suggere que pour le proche futur on reflechisse a l'emplacement des donnees attendant leur recuperation par les clients, et a la distribution des jobs sur les machines: souhaite-t-on reserver quelques machines en priorite pour les Web-Services, et/ou au contraire en preserver d'autres? Tout cela est facilement (et dynamiquement) modifiable via les conditions fixees dans les fichiers de soumission Condor. - Scamp: Chiara a ajoute certaines infos dans la feuille XSLT (notamment chi2, shift et rotation champ par champ). Des modifications estetiques pour faciliter la lecture restent a faires. - WeightWatcher et MissFITS: Chiara a corrige quelques bugs, et ameliore la doc, lorsque necessaire. Les versions 1.8.6 et 2.2.6 respectivement sont installees sur le cluster terapixclix. - QualityFITS: Question pour Fred de la part de Chiara (cf. mail du 21/09 3:18PM): "Comme je vous l'ai communique j'ai modifie qualityFITS.pl pour ne plus avoir d'erreur dans Condor. Il s'agit de la version 1.13.3 qui est disponible sur SVN et installee sur mix9 et mix10. Actuellement Chiara envoie l'executable pour pouvoir faire tourner qualityFITS correctement sur les autres machines du cluster. Voila la question a Fred: penses-tu verifier et tester cette version (en apportant eventuellement des modifs) rapidement? Ce serait plus pratique d'avoir la meme version sur tout le cluster et surtout, les scripts qu'utilise Chiara doivent alors etre modifies en consequence." {{V. Materiel/budget (Delphine, Emmanuel, Fred, Mathias, Yannick:)}} - Yannick et Fred ont fait un bilan avec Delphine concernant les lignes budgetaires Terapix-Megacam, Terapix-Wircam, FNS, AVO, PNC. A cela s'ajoutent ce que doivent le PNPS (3000+2000) et l'ANR SL2S (500) a Terapix. Ces lignes se repartissent en "comptes banalises" et des "subventions d'etat". La difficulte de l'exercice de gestion etant que ces lignes ne peuvent pas etre utilisees de facon indifferenciees. Ainsi les "subvention d'etat" ne peuvent pas servir pour financer des salaires. Par consequent nous devons utiliser les lignes Terapix "compte banalise" pour payer Anthony de son dur labeur. C'est pour cela que "Yannick/Terapix" paie Anthony et qu'"Emmanuel/EFIGI" rembourse "Yannick /Terapix". Dans tous les cas, nous avons a depenser cet argent DES MAINTENANT car EFIGI arrive a terme en octobre et les lignes CNRS et Universite risquent des coupures budgetaires en novembre. De plus les achats de machines doivent se faire via selon une procedure d'appel d'offre qui demande du temps. En resume: - SL2S: les 500 euros seront sous la forme d'une commande sur le budget SL2S, sans transfert. - Terapix-subvention d'etat: servira a acheter des machines : 24534 - 2700 euros (les 2700 sont une participation a la machine "PNPS"- CFHTLS sur le cluster Cosmix). Attention, sur les 24534 euros, 3000 euros venant du PNC seront disponibles en janvier 2008 (car le PNC attribue 4000 + 3000, une procedure comme celle du PNPS: 3000+2000, et imposee par l'INSU qui suit les directives du CNRS) - PNPS-CFHTLS : 3000+2000 + 2700 (ajout Terapix). Mathias et Yannick ont vu Delphine pour les modalites des procedures de transfert. - Terapix-compte banalise: 23500 euros serviront a payer Anthony pour les mois d'Octobre 2007 a Mars 2008. -EFIGI-1: EFIGI doit donc a "Yannick/terapix" 47800 euros (24300+23500) correspondant au salaire (cout employeur) d'Anthony des 10 derniers mois et des 6 prochains. Ces 47800 euros seront depenses en materiel TERAPIX -EFIGI-2: Resteront 27200 euros sur la ligne EFIGI, dont 20000 utilisables pour de "grosses" machines apres mise de cote de ~7000 euros pour mission Anthony, machines de bureau et portables. L'ensemble des commandes sera gerer par Fred. Pour le bloc Terapix/EFIGI-1, des devis pour un certain nombre de configurations seront demandes par Fred avant une decision. Pour le bloc EGIGI-2 Emmanuel souhaiterait acheter une machine equipee de beaucoup de disque (genre 2x7To) afin d'installer a demeure toutes les donnees d'imagerie du SDSS, qui nous serviront de base locale pour les comparaisons avec la morphologie a plus haut redshift notamment. {{VI. Personnels (Yannick):}} Chiara ayant ete classee premiere de son concours, son depart vers le premier decembre est vraisemblable. A cela s'ajoutent celui de Mireille fin decembre et le fait que le poste IE de l'Universite ne sera pourvu qu'en decembre au mieux. On va donc faire face a des pb serieux de personnel et de transferts de connaissance. Yannick a alerte des jeudi matin Laurent Vigroux et Jean-Marie Hameury a l'INSU du resultat du concours de Chiara et du contexte Terapix. Suite a ces echanges, Yannick a redige deux demandes de postes en urgence pour Terapix: un CDD IE de 36 mois ou Post-doc de 24 mois oriente processing scientifique et un poste IR permanent en developpement d'application. Les deux demandes ainsi que les definitions sont sont parties vendredi et dans la nuit de vendredi a samedi, avec l'accord et l'appui de Laurent Vigroux et Jean-Marie Hameury. Ces appuis sont des conditions necessaires, mais pas suffisantes, malheureusement. Dans la foulee, Jean-Marie Hameury nous conserve l'annee restante de Chiara sur son CDD de 36 mois. Le post-doc UltraVISTA devrait etre en mesure d'aider au processing NIR/WIRCam/VIRCam, mais certainement que partiellement. De plus ce post-doc ne sera sans doute effectivewment disponible qu'a la seconde moitie de l'annee 2008. Yannick voudrait aussi demander a Mathias une participation plus active au processing PI Megacam et/ou WIRCam pour etre en mesure d'effectuer ces taches dans la perspective de ces departs. {{VII. Divers:}} - Redaction des posters pour l'ADASS 2007 par Chiara, Emmanuel, Olivier (Ricou). - Pour Fred: a signaler toujours le pb de demande de passwd lors d'un "cexec terapixclix:" (pb rencontre egalement par Chiara et Anthony) - Pour Fred : le merdouillage de la teralist. - Pour Fred: voir item "qualityFITS" en section III. {{VIII. DB-T0005 (Gregory):}} Gregory rappelle que lors d'un crash test eventuel de la base, plusieurs types de logs Mysql nous informent de toutes les modifications qui ont ete effectuees sur le disque, c'est a dire si la base a ete modifiee ou pas, a quel moment, et pour quelle requete. Cependant ce n'est pas aussi simple, car l'ordre dans lequel sont ingerees les images n'est pas defini. Pour le savoir nous pourrions parser les logs.Gregory souligne qu'il va y avoir un certain nombre d'operations a effectuer avant de reprendre directement la ou l'ingestion s'est arretee. Gregory cherche actuellement comment lancer un script shell au demarrage de la machine (par exemple juste apres un reboot). Ce script lancera un parser de log Mysql qui analysera les derniers evenements et formera la liste d'images qui furent ingerees. Il relancera alors l'ingestion la ou elle en etait, ou du moins je l'espere car je ne sais pas si tout cela est possible. Gregory aimerait avoir notre point de vue sur cette idee. Si elle s'avere interessante il peut commencer dans le courant de la semaine, a tester la base sur une des machines du cluster (cf. Chiara). La version 5.0.38 de Mysql qu'il utuilise piour ses tests est stable et prend en compte la classe POLYGON( gestion de forme geometrique ).