ATTENTION: Meeting a 10:30, bureau Yannick Chers tous Voici le resume des activites de la periode du 29 mai au 8 juin 2008. Alertez moi s'il manque des points que vous jugez importants. Le Tera- meeting est prevu mardi 10 juin a: 10:30 DANS LE BUREAU DE YANNICK Merci a Emmanuel, Fred, Henry, Mathias (M.+S), Patrick pour leur resume (Greg est pardonne, pour ses 29 printemps ce jour!!!). Amicalement Yannick {{I. Processing T0005: Yannick, Fred, Mathias (S.)}} Pas de progres sur le release T0005 au cours des derniers jours. {{II. Processing Megacam PI: Yannick, Fred, Mathias (S.)}} II.1 Virgo: Suite a la requete de Laura Ferrarese et Simona Mei, Terapix va traiter le programme Pilot NGVS compose des donnees de Ferrarese (08AC16) et Mei (08AF20). Il s'agit d'un champ de Virgo. Ce programme "Pilot" doit etre une validation pour le Large Programme NGVS qui a ete accepte en mai 2008 par le SAC. Le NGVS sera un survey de l'Amas de la Vierge. Il couvrira 107 degres^2 en ugriz a la profondeur du CFHTLS Wide. Terapix fera le processing et est en fait associe au projet. Seules les data 08AC16 sont pretes au CFHT. Fred les a recupere entre le 29 mai et le 2 juin. Yannick les a QFITS-ees, notees pour construit l'astrometrie et toute une serie de stacks differents (2 differentes mesh size separation et poses courtes / poses longues) pour que les PIs identifient les points durs du projets et qu'on optimise les parametres du processing. Le champ contient entre autre M87 qui a l'inconvienient d'etre tres brillante au coeur et tres etendue. Le processing est en cours, plusieurs stacks/catalogues ont ete delivres. Mathias S. a fait les tests couleur-couleurs et comparaison avec le SDSS. Il apparait nettement une difficulte dans le rescaling des images de champs a champ ainsi que dans la calibration photometrique absolue. Ceci est difficilement comprehensible, sauf s'il y a eu une erreur dans une des etape du processing. Yannick a donc tout recommence (ce lundi apres-midi) pour en avoir le coeur net. Nous sommes en attente de la fin des data de 08AC16 ainsi que de l'ensemble des data 08AF20 avant de traiter la totalite. Yannick a rencontre Simona Mei pour discuter des data et du processing. Une reunion est prevue a l'IAP le 23 avec Mei, Emmsellem, Duc, Boselli pour discuter du projet Pilot et du Large Program. Mathias S. a implemente les couleurs synthetiques des modeles de Gustavo Bruzual pour l'anlayse de diagrammes couleur-couleur. Il a une grille de metallicities entre [Fe/H]=0.0 et [Fe/H]=-2.0. L'avantage par rapport aux Pickles est que cette librairie stellaire est plus complete au niveau des parametres stellaires (tels que log g, log T). A noter que Mathias dispose aussi des couleurs pour WIRCAM (Y,J,H,K). Il faudra tester ces bandes sur les data WIRCam. II.2 08AH22-Johnson/Wright John Johnson et Jason Wright ont sollicte Terapix pour les data Megacam 08AH22. Yannick a recupere les data au CFHT et les QFITS-in sont en cours. Ce sont des champs stellaires denses. {{III. Processing PI-WIRCam (Henry, Patrick):}} III.1 Calibration photometrique de WIRCam: - Henry et Patrick ont eu deux discussions avec Loic Albert au sujet de la photometrie (en bande etroite et Y) et du crosstalk. Concernant la photometrie en bande etroite et Y, il n'y a pas de catalogue de reference de type 2MASS comme pour J, H et Ks. Par consequent , Loic fournit une mesure de point Zero par run (!!) pour chacun de ces filtres. S'il n'y a pas d'images photometriques dans le run il est impossible de calibrer en flux. Loic propose de faire un snapshot en condition photometrique si aucune image du Run n'est photometrique. Le CFH ne dispose que de 3 etoiles standard pour faire la calibration en bandes etroites et Y. Il est propose de faire plus d'observations de standard dans ces filtres pour avoir plus de points zero. Une autre methode est propose par Loic : l'identification d'etoiles de couleur nulle en J,H,Ks (A0) et leur utilisation pour la calibration dans les autres bandes. L'identification avec une seule autres couleur (comme J-H se revele difficile). Un autre probleme est pose par la determination du caractere photometrique ou non des images. Loic indique que la valeur absolue de l'absorption de skyprobe n'est pas fiable et qu'il faut se fier plutot a la variation temporelle sur la nuit (si la courbe est plate, c'est photometrique). Outre le caractere peu orthodoxe de la methode (!!), elle est peu automatisable (recherche manuelle des skylog de chaque nuit d'observation et estimation du caractere photometrique). Patrick a verifie ce probleme sur les donnees de Jerome Bouvier. Les skyprobe etaient a 0.3mag d'absorption pour des images Y qui semblent photometrique. Jerome Bouvier mentionne l'importance potentiellement grande des termes de couleur qui ne sont pour l'instant pas pris en compte dans le traitement WIRCAM. Loic indique que cela fait partie de la TODO list (pour cet ete). III.2 Correction du cross-talk sur WIRCam: - The main focus since the last meeting has been extensive work/testing on the WIRCAM Ks data non crosstalk corrected images. A lot of problems were experienced relating to negative saturation levels in many images (Scamp found no sources because all sources were marked as saturated). All images were processed once using chiara's scripts and once using Patrick's scripts. After processing with Patrick's scripts, the negative SATUR_LEVEL problems seem to have been resolved (although I never managed to figure out at which point in the processing the saturation levels were being modified). - Scamp was then sucessfully run on all images, and a stack produced of non crosstalk corrected images. There are a lot of defects in the images, but none of these defects seem to be the 'negative holes' which are present in the previous stacks. So the negative holes really are a problem related to Loic's crosstalk correction. - there are problems also related to processing the J-band data (which had already been sucessfully processed by Chiara) - scripts crash complaining of too many extensions. No real idea yet how to solve this one. -Herve Aussel has a script which can make crosstalk corrections, this is the script which was used in the COSMOS data. As a way of going faster, perhaps this script can be run on the non-crosstalk corrected data (I had always assumed that it was interactive but apparently this is no longer the case). III.2 Operation WIRCAM : - Bouvier IC4665: Traitement des donnees Y par Patrick. Les poses courtes sont considerees comme photometrique et les poses longues seront recalees sur les poses courtes. Les stacks sont en cours de creation. Les diagrammes couleur couleur des etoiles sur les poses courtes sont corrects avec cependant un decalage systematique (0.1 mag. s'il est uniquement du au filtre Y). - Ibata : Traitement des donnees Ks par Patrick. Tests de ciels avec toutes les images. Les observations OFF (a cause du champs trop encombres) sont tres peu nombreuses avec peu de grand dithering (cubes de 8 images totalement inutiles). Il est impossible de construire des ciels avec des donnees dans une fenetre de 30mn. - Bouvier 07BF99 : Toutes les images d'entree en pose courte ont ete verifiees par Patrick apres les QFITS. Les Scamp sont OK. Les premieres stacks sont en cours de creation. Toutes les images d'entree en pose longue ont ete verifiees par Patrick apres les QFITS. Les Scamps sont de qualite mediocre et doivent etre refaits. La soustraction de fond de ciel une passe du CFH donne des resultats tres mauvais qui pourraient etre a l'origine des problemes de Scamp. III.4 Pipeline WIRCam dans SPICA2: Patrick s'est occupe de la preparation de la presentation WIRCAM pour Greg et Mathias (debut de semaine). Preparation d'un document de description fine des scripts du pipeline WIRCAM actuel (en cours). {{IV. SPICA2 developpement: Mathias M., Gregory}} - Page de resultats: Mathias M. a ajoute la possibilite de filtrer l'historique des processings selon qu'ils nous appartiennent ou pas et selon qu'ils terminent en erreur ou non. http://clix.iap.fr:8000/spica2/results/ - Le comportement du widget utilise pour la notation des images (4 etoiles rouges alignees) a ete modifie par Mathias M. Auparavant, une seule etoile cochee correspondait a la meilleure note (lettre 'A'), 4 etoiles a la lettre 'D'. C'est maintenant l'inverse (c'est plus naturel). Plus le nombre d'etoiles est important, meilleure est la note. - Page de resultats relatifs a QFITS: ajout des unites comme specifie dans le document LaTeX doc/Merise/merise.pdf. - Menu 'Active monitoring' fonctionnel. Il permet de suivre en temps reel l'activite de Spica2 sur le cluster. Les autres jobs (non-Spica2) sont invisibles. Les informations sur cette page sont volontairement moins denses que celles que l'on peut trouver sur la page de processing qualityFITS-in par exemple. Le code relatif a l'ingestion d'images a ete modifie en consequence et peut maintenant etre suivi depuis cette page. Deux fonctionnalites pratiques font leur apparition: * un boutton 'Cancel all my jobs!' qui permet de supprimer tous ses jobs (pas ceux des autres!) en un seul clic (apres confirmation) * Puisque la gestion des droits utilisateurs est fonctionnelle, il est desormais impossible de supprimer des jobs autres que les siens. http://clix.iap.fr:8000/spica2/monitoring/ - Historique des ingestions: amelioration de l'interface, ajout d'un lien 'View log' permettant d'afficher le compte rendu de l'ingestion envoye par mail, puisque ce dernier est maintenant ingere. C'est bien pratique lorsque le mail n'arrive pas. http://clix.iap.fr:8000/spica2/ingestion/ - Ingestion: le contenu du rapport de fin d'ingestion a ete remanie de maniere a etre a la fois plus concis et plus clair Exemple de log ici: http://clix.iap.fr:8000/spica2/history/ingestion/report/31/ - Fonctionnalite 'Software version check' implementee. Le contenu de la page est dynamique: 1. SPICA2 interroge condor pour determiner les noeuds du cluster actuellement operationnels 2. Pour chaque noeud, si aucune information relative aux versions des softs n'est trouvee dans la base, un job Condor est envoye sur ce noeud. Si des informations sont disponibles dans la base, elles sont affichees et aucune requete n'est envoyee. 3. Il est possible de revenir sur cette page a tout moment et depuis plusieurs client web distincts. Une sorte de verrou (giant lock) a ete mis en place et un job (en attente ou en cours d'execution sur un noeud) relatif a un 'software version check' ne sera pas relance s'il existe. Il est possible de forcer le raffraichissement de l'ensemble (envoi de n jobs si n noeuds) en cliquant sur le lien 'Force refresh'. Cette page est accessible depuis le menu 'Active monitoring' ou directement depuis: http://clix.iap.fr:8000/spica2/monitoring/softwares/ {{V. Image Processing Software (Emmnanuel):}} - Emmanuel a apporte une serie de corrections de bug de SExtractor rapportes par Anthony (essentiellement des cafouillages dans la gestion des dependences dans l'ajustement de modeles). - La version 1.4.6 de SCAMP a ete "releasee" publiquement. Numeriquement elle n'apporte rien par rapport a la release interne 1.4.5 deja installee sur le cluster; elle corrige elle aussi le pb des sources saturees/tronquees et ameliore simplement en plus la portabilite du code source. - La version SVN de PSFEx a elle-aussi ete mise-a-jour pour ameliorer la portabilite du code source (compatibilite avec les distributions RPM de FFTW et ATLAS). {{VI. Hardware/system/cluster (Emmanuel, tous):}} - Emmanuel s'est inquiete des baies RAID degradees que montre la page 3ware: mix5,mix7 et surtout efigix, pour lequel il craint une perte de donnees. mix11 a un pb d'authentification ssh sur cette meme page. Il n'y a pas eu de reponse. - Henry, Yannick et Mathias M. voient certains job Condor se figer en IDLE sans raison apparente. - carte mère mix3: Fred rapporte un problèmes de transporteur, Agorus devrait l'avoir reçue à ce jour - fcix4: la carte mère + carte Areca est revenue à Agorus après 15j, le transporteur n'ayant pas trouvé le destinataire. - Fred a compris ce qui clochait dans condor pour le faire marcher sur les nouvelles machines. C'est ok pour mix12, config à recopier pour les autres machines. - cosmix5: I/O erreurs qui rendent le raid2 inutilisable. Je n'ai pas trouvé de cas similaire sur le web, Fred a donc ouvert un bug sur le Bugzilla de sgi (qui fournit XFS) - mix4: le raid2 a 1 disque en FAILED et montre d'autres erreurs SCSI. Le filesystem semble en avoir souffert. - NB: pour « voir » les nouvelles machines sans taper directement leur IP, ajoutez ceci à votre /etc/resolv.conf: search iap.fr tpx.iap.fr nameserver 194.57.221.40 La ligne search remplace la ligne seach actuelle de votre fichier. La ligne nameserver est à ajouter en premier (sans effacer les autres). Exemple de fichier /etc/resolv.conf complet: domain iap.fr search iap.fr tpx.iap.fr nameserver 194.57.221.40 nameserver 194.167.0.198 nameserver 194.167.0.147 nameserver 194.167.0.195 nameserver 193.48.190.1 {{VI. Divers (All):}} Emmanuel a fourni a Yannick une suggestion de profil de poste pour le nouveau CDD IR, oriente developpement bas-niveau traitement des donnees. Yannick a mis en ligne une annonce francais/anglais, a transmis l'annonce a Lionel Provost pour diffusion sur la page IAP et a envoye l'annonce a une vingtaine de personnes/sites (dont AstroWise, ESO, UKIDSS, U-Starsbourg). Mlle Lila Hadji est arrivee dans l'equipe pour un stage sous la direction d'Emmanuel. Son travail porte sur la construction et la soustraction du fond de ciel autour des objets tres etendus. Elle est ici pour trois mois et est installee dans le bureau d'Emmanuel. Elle est au courant du Tera-meeting et y assistera demain, principalement comme element de sa formation en stage et aussi par simple curiosite. A NOTER pour Mathias S. et Emmanuel (...): Jean-Charles Cuillandre sera a l"IAP le 20 pour discuter des pb de calibration photometrique. Cette reunion a ete proposee en janvier 2008. Des chercheurs de SNLS doivent y assiter.