Chers tous Voici le resume des activites de la periode du 14 au 26 novembre 2008. Alertez moi s'il manque des points que vous jugez importants. Le Tera- meeting est prevu mercredi 26 novembre a 14:30, salle 281. Amicalement Yannick {{I. Processing/doc T0004, T0005 et T0006: Yannick, Mathias, Henry}} - La release T0005 s'est achevee par la publication de la doc, et l'annonce officielle aux utilisateurs. Il y a eu quelques retouches depuis, mais elles ne concernent que la doc et le contenu des pages web. Yannick a finalement depose les .head/.ahead et un certain nombre de fichiers sur une zone en acces restreint. En particulier, Mathias S. a caclule les offsets CFHTLS/SDSS des champs Wide en bande y (ou i2 , ou i.9702) en utilisant les transformations appropriees. Les offsets sont fortement reduits et tombent a 0.01 mag (contre 0.07 mag. avant). Yannick a notifie ces transfomations dans les pages web Terapix ainsi que dans la doc. Tous les traces d'etoiles des plot couleur-couleur ainsi que les plots de completude s'y trouvent aussi, sous la forme de gros fichiers ou chaque ligne correspond une serie de plots attaches a un pointe du Wide ou du Deep. Mathias S. a compare les magnitudes derivees par MAG_AUTO et MAG_APER. Les differences sont insignifiantes (< 0.01 mag.). - Par ailleurs Yannick et Henry ont termine, avec Jean Coupon et d'autres, la mise en place des catalogues de redshifts photometriques de la release T0004. Ils sont sur une zone en acces retreint. - Les dernieres images T0006 du Wide ont ete obtenues cette semaine. Ce qui signifie que le Wide CFHTLS est termine. On peut donc construire tout l'echantillon des maintenant. Une tache que je demanderai a Yuliana de facon a ce que tous les pointes Wide soient integres d'emblee dans Youpi. {{II. Processing Megacam PI: Patrick, Yannick, Mathias S.}} 08AC24: Hudson: Yannick a lance le Scamp avec els data WIRCam + MegaCam. En cours. Toujours en cours. Beaucoup de retard pris dans cette tache. 08BD88 (données Barbierei): Mathais S. a termine le processing. Les données ont ete livrées lundi (pas de retour encore de PI). NGVS : Les premiers stacks des poses longues ont ete construits par Patrick. A premiere vue, elles semblent beaucoup moins homogenes que les stacks des poses courtes. {{III. Processing WIRCam : Patrick, Henry}} - Bouvier 08AF93: (nebuleuses occupant plus de 50% du champs) - La soustraction du fond de ciel est terminee. Patrick verifie les images soustraites avant de lancer les stacks. - Barmby: (galaxies brillantes) - Un probleme present sur plusieurs objets est la presence de bandes verticales sombres au dessus et en dessous des zones tres brillantes des galaxies. Ce n'est pas un effet de la reduction. Une soustraction d'un fond de ciel qusi mono-dimensionnel permet de corriger une partie de cet effet mais pourrait contaminer la photometrie de la brillance de surface. Deux versions (avec et sans correction seront livrees au PI). - Des tests sont en cours pour agrandir les masques des galaxies pour lesquelles la strategie d'observation le permet (dithering d'un chip entier). Pour les autres une etude de la brillance de surface a grand rayon semble compromise. Seules des poses completement OFF intriquees dans les observations des objets permettraient de s'affranchir de ce probleme (mais en sacrifiant une partie du temps d'observation). - Ibata: (M31) - Nouvelle requete de Rodrigo IBATA. Elle est telechargee. QualityFITS a ete lance, les resultats verifies (images individuelles) et la creation de masques pour la soustraction du fond de ciel est en cours. - La strategie d'observation de Rodrigo est tres bonne : Les images OFF pour le fond de ciel sont observees apres chaque cube de donnees acquises sur M31. En outre les donnees OFF sont composees de cubes d'une seule image pour maximiser le nombre de dithering a temps d'exposition constant. MAIS un pattern est present sur toutes les premieres images des cubes (et non sur les suivante). Ce pattern est donc tres present sur les images ciel et peu present sur les images de M31. Il apparait donc sur la majorite des images soustraites de fond de ciel. - Lodieu : - La soustraction du fond de ciel a ete realisee et les stacks ont ete produits. Une partie des donnees a ete obtenue avant la correction hardware du XT (XTmod) et une autre apres. Il semble qu'aucune correction de XT n'ait ete appliquee sur ces donnees (bug de Loic). Par consequent les donnees pre-XTmod sont pleines de donuts de XT. Deux solutions existent : (1) Loic reprocesse avec sa correction ou (2) nous faisons la correction ici. Je n'ai pas encore repondu a Loic. Par ailleur la correction de XT hardware semble tres bien fonctionner. WIRDS: - With Loic, Henry double-checked all the data that has been downloaded on /fcix4: we now have all the WIRDS/WIRCAM data in a non-crosstalk corrected form. We also all have all the COSMOS-H data. The cosmos-K data are being reprocessed by loic. - At the same time, COSMOS-H runs 08AH24 and 08AF97 have been completely reduced using the recipes from Patrick. A stack has been made combining all the 08AF24 and 08AF97 data. Image quality on the final stack is excellent but unfortunately there are still donuts on the stack. - Resume des donnees WIRDS ----------------------------- RUNID target/filter reprocessing s.fits ----- ------------- ------------ ------ 06AC01 D3/Ks 502 06AC99 COSMOS/Ks 101 06AF02 no observation nothing to be done. 06BC31 D1/J,Ks 100% 928 06BF97 COSMOS/Ks 100% 257 07AC20 D3/J,D4/Ks,COSMOS/Ks 100% 712 07AF34 D3/Ks,D4/Ks,COSMOS/Ks 100% 956 07BC99 COSMOS/H, D4/J 100% 438 07BF98 D1/J,D4/H 100% 371 07BF97 D1/J,D4/Ks 100% 515 08AC98 D3/H,D4/H 100% 364 08AC99 D3/H,COSMOS/H 100% 789 08AF97 D3/H,D4/H,COSMOS/H 100% 1192 08BC99 D1/H,COSMOS/H 50% (D1) D1=629 08BF99 D1/H,COSMOS/H 50% (D1) D1=604 + COSMOS data (Sanders) 05BH36 COSMOS/Ks 472 05BH89 COSMOS/Ks 242 06AH97 COSMOS/Ks 639 06BH22 COSMOS/Ks 636 07AH34 COSMOS/Ks processing... 781 07BH18 COSMOS/Ks,COSMOS/H 100% 519 07BH97 - no observation 08AH24 COSMOS/H 100% 1031 08BH52 COSMOS/H - observation done at 51% 533 so far {{IV. YOUPI developpement et misc: Mathias M., Greg.}} Developpements pour T0005: - Page de resultats (processing results): diverses optimisations du code pour la pagination des resultats. Chaque page s'affichait en un peu plus une minute trente, ce qui rendait la page de gestion de l'historique des processings quasi-inutilisable. Apres optimisation, une page s'affiche en un peu plus de 10 secondes. http://clix.iap.fr:8000/youpi/results/ - Integration du logo definitif de Greg dans la page de connexion a l'application. http://clix.iap.fr:8000/youpi/ - Mise a jour du theme graphique par defaut de Youpi. Nouveau sous-menu 'Themes' ajoute dans le menu 'Preferences' permettant de choisir un theme graphique par defaut. Deux themes sont actuellement disponibles: le theme Youpi (defaut) et le theme 'High Contrast', mieux adapte aux personnes presentant une deficience visuelle. http://clix.iap.fr:8000/youpi/preferences/ - Nouvelle option au niveau des items du shopping cart. L'option "Do not reprocess already successful processings" a ete ajoutee et permet de relancer autant de fois que l'on veut un processing sur le cluster en ne reprocessant que ce qui manque. Bien entendu, cette fonctionnalite est implementee au niveau de chaque plugin puisque la signification de la notion "successful processing" est dependante du type de processing effectue. Par exemple, si un item relatif au processing de 100 QFits-in sur le cluster est execute et que 10 de ces processings (pour une raison inconnue, ca peut etre lie a Condor...) ne terminent jamais, aucune information les concernant ne sera ecrite dans la base. La page de resultas (qui consulte la base de donnees) affichera doc des infos sur les 90 processings termines (success ou echec). Dix qfits-in seront manquants. L'option "Do not reprocess already successful processings" (cochee par defaut) permet de relancer cette meme serie de 100 QFits-in depuis le panier a la difference pres que SEULS les jobs tombes en erreur ou n'ayant pas ete traites seront relances sur le cluster. Dans notre cas, seuls les 10 QFits-in manquant seront relances automatiquement. http://clix.iap.fr:8000/youpi/cart/ - Nouveau menu 'Condor setup' disponible (non fonctionnel). Le module de selection des noeuds du cluster avant le processing des items a ete externalise dans un menu a part et apportera davantage de souplesse et de fonctionnalites. Il sera possible de definir des selections statiques de noeuds et de les sauvegarder. On pourra aussi definir des regles "dynamiques" de selection des noeuds avec des contraintes sur la memoire ou l'espace disque. Ces regles "dynamiques" ne seront calculees et appliquees au moment de l'execution des jobs sur le cluster. Il sera ensuite possible de choisir une regle sauvegardee pour chaque item du shopping cart. http://clix.iap.fr:8000/youpi/cart/ {{V. Developpement processing: Patrick }} - Le script d'optimisation de la distribution des jobs condor pour la soustraction de fond de ciel est teste et fonctionne. - Pour la correction de XT, une methode fonctionne. Elle consiste a realiser un premier stack en corrigeant le XT avec une mediane des 32 amplis avec masquage des objets a partir des images individuelles (methode de Loic). De cette maniere on obtient un stack sans donuts. Ce stack est cependant contamine par les taches noires. Ensuite il faut realiser un second stack en utilisant le premier stack pour masquer les objets. Les stack final obtenu est donc corrige des taches noires (par le masquage agressif) et des donuts (car le stack de masquage ne comporte pas de donuts). Par contre cette methode est tres lourde. - Une autre technique proposee par Emmanuel consiste a fitter les donuts avec psfex. On en discute en vue d'une implementation demain. En parallele, la methode de donut-fitting de Herve sera testee. {{VI. Hardware/system/cluster Fred:}} {{VII. Divers (All):}} Poste CCD-IR: Yuliana Goranova m'a demande de differer son arrivee au 15 decembre. La mise en place de son contrat et son salaire ont pris aussi du retard et le 15 convient mieux a tout le monde. Demande ANR: la semaine passee a ete surchargee par les demandes ANR: 4 concernent Terapix: NGVS, COSMORED, Cluster et WUDS. Fete de la science: la journee "CFHT-Terapix" s'est deroulee samedi dernier. En depit du temps (vent, humidite, neige), ce fut apparemment un succes. Il faut attendre un bilan plus approfondi pour avoir une vue plus claire sur l'impact et le succes reel.