Chers tous Voici le resume des activites de la periode du 17 au 21 juillet 2008. Alertez moi s'il manque des points que vous jugez importants. Le Tera- meeting est prevu mardi 21 juillet a: 14:30, salle 281 Amicalement Yannick {{I. Processing T0005: Yannick, Henry, Patrick, Mathias M., Fred}} Yannick a termine le processing des champs W1 et W2, jusqu'a la production des catalogues chi2 . Il a verifie sur un petit nombre de champs que les plot couleur-couleur des etoiles et les QFTS-out etaient conformes. Yannick traite en ce moment W3. Le SCAMP de W3 a du etre refait car certains .ahead etaient manquants apres le premier SCAMP. Les stacks et leurs catalogues individuels sont prets. La production des images chi2 est en cours. Il faut noter un certain nombre de pbs incompris avec CONDOR: - Aucun process lance par Yannick ne va sur mix19, pourtant rien ne l'interdit dans le script. Curieusement ce n'est pas vrai pour Henry. Par contre, les SPICA2/QFITS plantent tous sur mix19. - Lorsqu'henry a lance son CONDOR dimanche, il a mis immediatement en Idle tous ceux de Yannick . Ils ne sont repartis que lorsqu'Henry a interrompu ses propres process. - Les jobs swarp lances par CONDOR ne terminent pas tous avec succes. Un petite fraction echoue avec les message "Not enough memory for multinbuf (nbuflinesmax*outwidth elements) !" ces jobs, relances ensuite via CONDOR, se terminent alors avec succes. Le pb n'est pas de relance ses jobs, mais de detecter les jobs en erreur, d'en trouver la cause puis de relancer. Il faudrait comprendre des dysfonctionnements (ou incomprehension de fonctionnement) de CONDOR. En parrallele Yannick a lance les QFITS-out via CONDOR, mais, ils echouent tous systematiquement, alors que tout fonctionne si la commande est grabee puis lancee "a la main". Dans CONDOR la podution se deroule tres bien et les log de QFITS le montrent. Mais il semble qu'une fois termine, au moment du transfert vers fcix3 des donnees de sortie, le processus ne se deroule pas correctement. Le message d'erreur est le suivant: "ERROR: the following command returned the non zero value 3: curl --silent --ftp-create-dirs -k --ftp-ssl-control -u pipeline:null -E ~/.ssl/ftps.cat.pem ftp://fcix3//data/fcix3/raid/T05-W1/CFHTLS_W_g_020241-041200_T0005/ -T "{.finished,CFHTLS_W_g_020241-04 1200_T0005.csv,CFHTLS_W_g_020241-041200_T0005.psf, CFHTLS_W_g_020241-041200_T0005.xml,CFHTLS_W_g_020241-041200_T0005_EXT[0]_tn.png, CFHTLS_W_g_020241-041200_T0005_bkg_m.png,CFHTLS_W_g_020241-041200_T0 005_corners.png,CFHTLS_W_g_020241-041200_T0005_corners.ps,CFHTLS_W_g_020241-041200_T0005_diag.fits, CFHTLS_W_g_020241-041200_T0005_ell.png,CFHTLS_W_g_020241-041200_T0005_ell.ps,CFHTLS_W_g_020241-0412 00_T0005_ell.txt,CFHTLS_W_g_020241-041200_T0005_gal_histo.png,CFHTLS_W_g_020241-041200_T0005_gal_histo.ps, CFHTLS_W_g_020241-041200_T0005_m.png,CFHTLS_W_g_020241-041200_T0005_m_med.png,CFHTLS_W_g_020 241-041200_T0005_protopsf.fits,CFHTLS_W_g_020241-041200_T0005_psf_m.png,CFHTLS_W_g_020241-041200_T0005_psfex_split.ldac, CFHTLS_W_g_020241-041200_T0005_referror1d_1.png,CFHTLS_W_g_020241-041200_T0005 referror1d_1.ps, CFHTLS_W_g_020241-041200_T0005_referror2d_1.png,CFHTLS_W_g_020241-041200_T0005_referror2d_1.ps, CFHTLS_W_g_020241-041200_T0005_rhmag.png,CFHTLS_W_g_020241-041200_T0005_rhmag.ps,CFHTLS_W_g_020241-041200_T0005_rhmag_gal.png, CFHTLS_W_g_020241-041200_T0005_rhmag_gal.ps,CFHTLS_W_g_020241-041200_T0005_rhmag_star.png, CFHTLS_W_g_020241-041200_T0005_rhmag_star.ps,CFHTLS_W_g_020241-041200_T0005_star_histo.png, CFHTLS_W_g_020241-041200_T0005_star_histo.ps,CFHTLS_W_g_020241-041200_T0005_sub0.png, CFHTLS_W_g_020241-041200_T0005_sub1.png,CFHTLS_W_g_020241-041200_T0005_sub2.png,CFHTLS_W_g_020241-041200_T0005_sub3.png, CFHTLS_W_g_020241-041200_T0005_sub4.png,CFHTLS_W_g_020241-041200_T0005_wmm.png, CFHTLS_W_g_020241-041200_T0005_wmm_med.png,accept.xml,all.out,cosmic.ldac,dummy.psf,favicon.ico, favicon.png,index.html,logo.png,magnard_iap_fr.png,psfex.xml,qualityFITS.png,SCAMP.xml,SCAMP_1.cat, swarp.xml,terapix-astroWISE.png,terapix.css,terapix.png,titlePic.png}" Fred a investigue et a resolu ce pb: c'est le fichier de type CFHTLS_xxxxxxxxxxxxxxxxxxxxxxx_EXT[0]_tn.png qui pose problème, curl n'acceptant pas le "[" dans le nom de fichier à tranférer. Fred modifie mefhisto (qui met par défaut i"[0]") pour avoir EXT_0 à la place. Lors de la production des diagrammes couleur-couleur, Yannick s'est rendu compte que la procedure fournie par Mathias S. etait inutilisable a moins d'avoir une personne a plein temps pour produire les plots un par un. Il y a en effet environ 800 stacks a gerer (W1-W2-W3-W4). Henry a produit un outil qui fera ca automatiquement ou semi-automatiquement. Henry envisage d'y ajouter le calcul des comptages des stacks. Patrick produit en ce moment les images simulees pour lancer les completness sur tous les champs wide. Henry investigue comment integrer son script de completenss dans son script de production des plot couleur-couleur. En parrelele, Mathias M. a tenter de gerer les QFITS-in des donnees d'entree de T0005: Mathias M. a mis en place un systeme de depart differe des jobs sur le cluster au niveau du script wrapper envoye sur chaque noeud par Spica2. Lorsqu'un grand nombre de jobs sont envoyes simultanement sur le cluster, cela evite de surcharger le serveur MySQL puisque les tentatives de connection sont etalees dans le temps. - La configuration du serveur MySQL sur dbterapix a ete modifiee de maniere a autoriser un plus grand nombre de clients a se connecter a la fois. La variable max_connections a ete ajoutee au fichier /etc/mysql/my.cnf. Sa valeur par defaut (100) a ete doublee. C'est une valeur raisonnable dans la mesure ou les developpeurs de MySQL ont pousse la valeur par defaut a 150 dans les toutes dernieres versions de MySQL. Ils indiquent par ailleurs que Linux peut supporter entre 500 et 1000 connections simultanees, on a donc encore de la marge... http://dev.mysql.com/doc/refman/5.0/en/too-many-connections.html {{II. Processing Megacam PI: Yannick}} Yannick a recu une requete de Patrick Durell pour traiter ses images Megacam. Comme il s'agit du programme 08AC17 , qui porte sur les amas globulaires dans ... M87 ... la soustraction du background sous les objets etendus sera le point dur. Yannick a donne sur accord a Durell. {{III. Processing WIRCam (Henry, Patrick):}} WIRDS: Henry re-processed non-crosstalk corrected WIRDS data. QFITS run on all images (p,s). Initial SCAMP and SWARP computed on the "*p" data. BOUVIER 07BF99 (Patrick): (images longues poses) - Le SCAMP des images longues poses n'est pas excellent mais suffisant (internal astrom. sigma <1px) pour creer un premier stack pour le masquage des objets. Les sets d'images seront modifies pour obtenir une meilleur astrometrie lors du stack final apres la soustraction du fond de ciel. -Les stacks longues poses sont realises et verifies : - images d'etoiles un peu allongees dans un coin des mosaiques. A verifier pour le prochain SCAMP. - pas d'images doubles et la solution semble bonne dans les zones de fort recouvrement des images. - Preparation de la soustraction du fond de ciel. Les images ont une etoile tres brillante au centre qui est mal masquee automatiquement par SExtractor. -> Creation de fichier reg et ecriture en cours d'un script pour masquer cette zone sur toutes les images flag (_sub_zeroes.fits). BOUVIER 07BF99: (images courtes poses) - Creation des images couleurs des stacks preliminaires (simple passe) courtes poses. Pas de default visible. - Premiere etage de soustraction de fond de ciel (creation des masques). {{IV. Spica2 developpement: Mathias M.}} Mathias M. a ameliore l'interface de presentation des resultats: un onglet 'Statistics' a ete ajoute qui permet d'obtenir des statistiques selon un type de processing et un repertoire de sortie des donnees. Dans le cas de qualityFITS par exemple, cela permet d'identifier, sur la totalite des traitements effectues, les images qui ont ete processees sans erreurs et celles pour lesquelles les qualityFITS ont toujours echoue (donc les images qu'il faut reprocesser avant de pouvoir affirmer que la totalite des donnees a ete traite avec succes). Mathias M. a prevu d'ajouter un bouton permettant de relancer, d'un seul clic, les qualityFITS des images manquantes. Un bouton permettant egalement d'afficher un etat condense de l'ensemble des erreurs pour un repertoire de sortie particulier (par exemple /data/mix17/raid/spica-PROD/mellier/fitsin/T05W1/) sera ajoute. Le restant des processings QFits-in pour T05W1 sera lance depuis Spica2 dans les jours qui viennent. http://clix.iap.fr/spica2/results/ {{IV. Developpement processing software: Lila, Emmanuel, Fred, Henry, Patrick}} IV.1 - SExtractor: Un RPM de la version 2.7.2 a ete cree par Emmanuel puis installe par Fred. Malheureusement, il etait compile avec gcc. Un nouveau RPM 2.7.2 a ete genere, compile avec icc, bien plus performant pour l'ajustement des modeles. Il sera installe sous peu, une fois que Yannick aura termine ses catalogues T0005 en cours. . - PSFEx: Le suivi des dependances cachees de la PSF (inspire de Jarvis & Jain 2004) est desormais accompli sur les realisations des modeles et non les coefficients de variation, ce qui le rend independant de la base de fonctions codant les variations, et l'immunise contre les pbs de degres de liberte "sacrifies" par manque d'etoiles. La prochaine (et ultime) etape, necessitant un passage initial par SCAMP, est d'ajouter une option permettant d'autoriser la modelisation des variations de la PSF a "deborder" autour de chaque CCD (extension) pour les MEF, afin d'augmenter encore la robustesse dans les coins. Cela revient a supposer que la forme de la PSF varie de facon "lisse" (au moins 2x derivable) de CCD a CCD, ce qui semble verifie pour MEGACAM au moins a une fraction de % en FWHM ou en ellipticite. IV.2. Stage Lila: "Modelisation et soustraction du fond du ciel" (lila, Patrick, yannick, Emmanuel) - Lila, Patrick et Yannick se sont reunis jeudi dernier pour faire le point. - La premiere approche a ete realisee par Lila, qui l'a ensuite testee sur plusieurs ensembles d'images. Elle inclut l'homogeneisation des niveaux des CCD, - Trois facons de ponderer les zones d'overlap sont testees par Lila: matrice d'intersection, surface des zones d'overlap et variance au sein des zones d'overlap. Elles aboutissent toutes au meme resultat. Mise en place de la procedure par minimisation Chi2 par Lila. - Lila constate que le masquage par seuillage simple n'ameliore pas le resultat - Lila commence la partie modelisation pour une amelioration du background matching: le fond est considere comme etant une fonction de plan au sein de chaque CCD,c'est toujours en etape d'etude. - Creation de nouvelles images de test par Patrick pour Lila. Il s'agit d'images du Wide en bande i (vignettage important). - Suggestion de correction de bug de masquage du a la degradation de resolution des images sur les bords. IV.3 : QualityFITS: Fred a modifie mefisto de facon a eviter le probleme de la gestion des caracteres "[" pour que curl puisse etre execute correctement et permettre de lancer QFITSout via CONDOR. IV.4 : Script for color-coplor plot (Henry): Henry a written a script to process the individual chi2 catalogues and apply masks and star galaxy separation. All combined ugriz catalogues were sucessfully prepared for the W1 field. W2 to follow. IV.5: Soustraction ciel et completness (Patrick): - Script pour ajouter un fichier reg au masquage des objet pour la soustraction du fond de ciel (en cours). - Script pour calculer la completeness avec la methode de Henry (skymaker/ stuff) : en cours. IV.6: Installation de plusieurs outils de manipulation d'images fits par Fred: ic (operations arithmetiques sur des images), et mise a jour de WCSTools). {{VI. Hardware/system/cluster (Fred):}} {{VI. Divers (All):}} Absence/sante Bertin: etat en legere amelioration depuis la semaine derniere, mais toujours pas possible de rester assis plus d'1/2h d'affilee; une extension de l'arret maladie de 2 semaines supplementaires (jusqu'a debut aout) est prevue (visite au medecin demain).