Chers tous Voici le resume des activites de la periode du 29 juillet au 6 aout 2008. . Version finale. Alertez moi s'il manque des points que vous jugez importants. Le Tera- meeting est prevu mercredi 6 aout a: 15:00, salle 281 Amicalement Yannick {{I. Processing T0005: Yannick, Emmanuel, Fred }} Le Wide a ete organise puis mis mis a disposition sur la partitition CADC des disques Terapix par Fred. Mais Fred a signale au CADC que tous les fichiers ont ete rejetes au CADC, alors que tous ont passe le FITSVERY. Il s'agit d'un probleme au CADC: "It appears that there is a binary missing from the CADC home directory, or at least that etransfer is expecting the binary to be there. The error due to the missing binary is incorrectly being interpreted as an error due to a corrupt FITS file, so all of the files are being rejected." Le CADC s'en occupe (periode de vacances). - Yannick a termine a 95% le Deep-D1 de T05. Les stacks et les images tif couleurs montrent que la calibration scamp filtre par filtre a bien tres bien focntionne. Il ne manque que le catalogue merged des catalogues chi2 en 6 bandes (u,g,r,i,i,2 et z), la correction e(b-v) et les plots couleur-couleur des etoiles (voir mails status Deep D1). La gestion des des stacks Deep est une grosse difficulte car aucun espace n'est disponible pour deposer a la fois les image et les weight-maps pour des echantillons depassant 5TB (avec le resampling). Heureusement mix21 disposait de 6.5 TB sur un seul raid et mix20 disposait de 4 TB sur raid 1 et 2 TB dur raid2. Yannick a donc utilise un des raids pour le resampling de la bande z D1-85. Pour le meme nombre de fichiers (~600 images), mix20 a fait le swarp 85% en 35 heures et mix20 a traite les 600 images en bande z en 38 heures... La gestion sur deux raid2 n'est donc pas un gros handicap. Mais il sera necessaire d'avoir a disposition des espaces de 6 a 10 TB pour T0006 car les Deep et les Wide seront encore plus gros. - Yannick a commence le processing du Deep D2. Il y a 1841 images VALIDATED, et non grade-C selon Terapix. Les QFITs-in sont termines. A noter qu'il y a deux QFITS-in en echec via Condor. L'erreur est atypique: les .log des QFITS sont complets, indiquant une production nominale, mais les directory *p n'ont pas ete crees, aucune donnee n'a ete produite sur le disque . Sans doute que tout a ete produit mais le transfert des produits ne sortie n'a pas ete execute. Yannick a relance les 2 QFITS-in manquants a la main, sans avoir determine l'origine exacte du probleme des deux QFITS-in en echec. Les weight-maps sont en cours de decompression. Les selections des 85% et 25% best seeing sont en cours. Modeles de PSF: Emmanuel a produit les modeles et diagnostics de PSF pour l'ensemble des stacks du Wide (modeles polynomiaux du 5eme degre en x,y). Comme deja observe durant des tests, les variations de FWHM et d'ellipticite dans le champ sont assez chaotiques, en raison des evolutions optiques de la camera (et probablement aussi au fil des demontages/remontages). Yannick a suggere de faire une etude temporelle, qui est en cours sur les poses individuelles. Celle-ci a du etre refaite 2 fois pour tuner les parametres de reconnaissance des etoiles (certaines poses longues sont farcies de cosmiques tout en ayant un tres mauvais seeing, et d'autres ont un niveau de saturation surestime dans le header), et appliquer une correction de l'astrometrie pour obtenir des plots plus jolis. La derniere production est en cours. - A noter que l'organisation des fichiers du CFHTLS ne facilite pas en pratique l'optimisation des taches Condor operant a l'echelle de tout le releve (tout le Wide sur une seule machine fcix*, une partie du Deep sur une autre). Emmanuel n'a pas lui-meme pour l'instant de meilleure solution a proposer, a la fois en terme de bande passante et de logique, mais peut-etre cela vaudrait-il le coup d'y reflechir? {{II. Processing Megacam PI: Yannick}} 08AC17, PI Patrick Durell : aucun progres depuis le transfert des images a Terapix a semaine derniere. 08AF20, PI Simona Mei, part of VIRGO Pilot program: les data sont maintenant disposnibles. Yannick a recupere les data du CFHT et decompresse les images. Le Condor QFITS-in est pret, mais il manque deux flats. Ces deux flats ne sont pas disponibles au CADC. Une requete a ete envoyee au CFHT. Yannick processera en un seul shot les data Pilot1 (08AC16) et Pilot2 (08AF20) pour produire les 2x2 deg^2 . Pour le Scamp, il va utiliser en meme temps 08AC17 qui est centre sur M87 (si l'ensemble est gerable avec moins de 32GB de RAM). {{III. Processing WIRCam (Henry, Patrick):}} III.1. WIRCAM processing: Henry stacked data without crosstalk correction. It confirms that the origin of the 'black marks' comes from the crosstalk correction applied at CFHT. Given the timescales suggested by Loic Henry thinks the best plan now is to try to do the crosstalk correction ourselves. III.2. Run Bouvier_07BF99: La soustraction du fond de ciel a ete realisee par Patrick sur les poses longues et toutes les images soustraites du fond de ciel ont ete passees a qualityFITS. La soustraction s'est bien passee mais il y a une etoile tres brillante au centre de la mosaique de quatre pointes. Elle provoque des defaults residuels a cause d un masquage pas assez agressif. Patrick a donc modifie les images flag pre-subsky pour masquer manuellement cette etoile. La soustraction du fond de ciel a ete relancee et elle s'est terminee avec succes. Le resultat (verifie sur quelques images) est bien meilleur, avec les abords de l'etoile beaucoup plus propres. Un scamp a ete realise avec les anciennes images soustraites. Le resultat n'est pas encore satisfaisant du point de vue de l'astrometrie interne (0.2 arcsec). Il va falloir enlever quelques images de qualite moyenne. III.3.Run Bouvier IC4665 : nouvelle images Ks traitees par Patrick. Dans le dernier run de Bouvier se trouvaient des image Ks d'un run plus ancien. Patrick a donc fini la reduction de ces 10 pointes (SCAMP avec les catalogues des autres filtres pour obtenir une solution globale et des images superposables, stack). Des images couleurs avec J et H sont realisees pour verifier la bonne superposition des images. Les images sont packagees pour etre releasees. Images Y : la fin de la reduction des images Y avait ete interrompue pour reflechir a une solution ameliorant la photometrie des donnees Y et narrow-band. A part une observation plus reguliere des qq standards pas de changement, et les donnees Y de IC4665 sont en fin de reduction (SCAMP final en cours). Il sera difficile de donner une estimation precise de la qualite photometrique de certains champs en Y. {{IV. Developpement: Emmanuel, Patrick, Lila}} IV.1. Stage Lila: "Modelisation et soustraction du fond du ciel" Lila a corrige une erreur de conception pour la nouvelle methode. Le fond de ciel est estime par une fonction polynomiale par CCD, dont les parametres sont a optimiser: Fond(I_n)(x,y)= sum_i{A_{ni}*F_i(x,y) } la fonction a minimiser est: L=sum_n (sum_m (In-Im -sum_i(A_{ni}*F_i(x,y) )+sum_i(A_{mi}*F_i(x,y) ))^2 Pour estimer les parametres des polynomes, il faut proceder a une minimisation Chi2 (N*d variables a calculer). L'implementation est en cours par Lila. Lila a besoin de donnees plus compliquees que celles utilisees dans les tests precedents (suggestion d'Emmanuel) pour valider les algorithmes. IV.2. Logiciels Emmanuel - SCAMP: Emmanuel a corrige (semble-t-il) le bug qui aboutissait a des chi2 negatifs et des plots incomplets sur les SCAMP impliquant des tres gros recouvrements. La nouvelle version (1.4.7) a ete installee sur le cluster apres un rate du a executable linke a tord en dynamique. - MissFITS: Emmanuel a corrige un vieux bug qui corrompait parfois (une chance sur 36) les headers en lors d'inclusion de .head externes. IV.3. Outils Patrick - Un bug dans MISSFITS posait probleme a Henry pour la reduction de WIRDS. Temporairement Patrick avait fixee ce bug dans son code de soustraction. Le bug identitfi et corrrige par Emmanuel (voir IV.2) pourrait resoudre le probleme de soustraction de fond de ciel. La nouvelle version est installee par Emmanuel sur le cluster et Patrick va la tester. - Completeness : Les images de simulation pour les 5 filtres MEGACAM sont crees : (/data/mix10/raid1/hudelot/Completeness_simulation/CFHTLS_10K_10K) Patrick teste un script pour un lancement CONDOR sur une liste d'images. Des que les tests seront acheves on pourra appliquer le script aux images CFHTLS. La modification du script pour inclure le plot (completeness/mag/surface brightness) reste a ecrire (fin de semaine). - Preparation des donnees de test pour Stephane Paulin-H. Les donnees reelles de McDonald (nouvelle requete) sont a nouveau en ligne. L'idee est de donner a Stephane ce run a reduire. Patrick va y jeter un coup d'oeil avant pour estimer s'il presente des particularites necessitant des ajustements dans la procedure standard de reduction. {{V. SPICA2 developpement (Gregory)}} SPICA2 database: modif mineur de la structure de la table SPICA2_plugin_qualityfitsin par Gregory. Ajout du champ spica1comment et remplissage dans la BDD par les commentaires issu de SPICA11 pour la selection T05-W1 SPICA2 interface: modification relative au point numero 1, il est desormais possible de consulter les notes de la release precedente comme info supplementaires dans l'interface de grading de SPICA2/qualityfitsin par exemple: http://clix.iap.fr:8888/SPICA2/grading/fitsin/2674/ SPICA2/SExtractor: Les fonctions relatives au monitoring des jobs sont operationnelles (jobs status, cancelJob). Les fonctions relatives a la gestion de SExtr par le panier le sont aussi (add to cart, save selection etc...) SPICA2/graphic: Gregory a pense a etoffer un petit peu l'aspect graphique car dans les processings de SPICA2 nous n'avons pas d'elements visuels pour distinguer dans quel onglet on navigue, et donc il arrive que l'on pense etre dans QFits alors qu'on est dans SExtrator. Gregory en fera une breve demo en terameeting . {{VI. Cluster/Hardware/System}} - clix a swappe frequemment cette semaine. Les utilisateurs ont tendance a laisser derriere eux des taches plus ou moins dormantes durant plusieurs mois. Emmanuel a du faire le menage par 2 fois. Henry Joy suggere de desinstaller NX, qui s'avere un gouffre a ressources. A propos est-il exact que les transferts de donnees entre machines du cluster et desktops passent par clix desormais?* - Question restee sans reponse la semaine derniere: Yannick et Henry ont rapporte des bugs etranges (totalement non reproductibles) survenus respectivement sur SWarp et SCAMP, et que nous n'arrivons pas a expliquer. Ces pbs ne pourraient pas etre associes aux CPUs bugges des nouvelles machines? Est-il toujours d'actualite de les remplacer comme cela avait ete promis par le vendeur? {{V. Divers (All):}} A ce jours nous avons 4 candidats pour le poste CDD-IR. Selon Yannick, un candidat semble se detacher, en termes de competences. La personne est connue du CFHT, mais ce dossier demande une etude critique approfondie.