Chers tous Voici le resume des activites de la periode du 7 au 22 aout au 6 aout 2008. Version finale. Alertez moi s'il manque des points que vous jugez importants. Le Tera- meeting est prevu vendredi 22 aout a: 14:30, salle 281 Amicalement Yannick {{I. Processing T0005: Yannick, Emmanuel, Fred, Henry, Mathias (S.) }} Yannick a termine la release des Deep. Tous les Wide et Deep sont donc prets et ont ete deposes par Fred sur la zone accessible par le CADC. La fusion des .cat produits par Yannick et ete faite par Henry qui a aussi produit les plot couleur-couleur des etoiles pour tous les champs. Yanncik a finalement ajoute les e(b-v) et les headers avant le packaging pour le CADC. Mathias a resume le status des Wide sur le ciel, filtre par filtre. Les donnees concernant la release T0005 sont disponibles sur fcix4 pour Terapix. Mathias (S.) a compare T0005-Wide avec le SDSS. Il reste pour quelques champs du WIDE un grand offset par rapport au SDSS (25 stacks montrent un offset > 0.05 mag. pour un filtre, dont 11 concernent la bande u et 8 la bande z). Il faut verifier si c'est consistant avec les plots de couleur-couleur de Henry. Il faudra tenter de comprendre l'origine de ces offsets. Une serie de petits problemes est apparue lors du transfert vers le CADC: mauvaise nomenclature pour les .cat, mismatch des checksum CRC de certains fichiers, script inadapte du CADC pour accepter les donnees du nouveau filtre i qui sont labellees "i2" par Terapix. Fred a modifie les noms des fichiers cat et les a redepose dans la zone CADC. Il manque aussi les tables "Auto_file" et "Auto_status" qui sont des produits SPICA et pour lesquelles nous n'avons pas de donnees pour toutes les nouvelles images (en l'absence de nouvelle base integrant toutes ces images). Ces tables vont compliquer un peu plus la finalisation de cette release puisqu'il va falloir compiler ces infos et les introduire a la main. Il faut aussi compiler et re-organiser les donnees "Terapix" pour les tables (QFITS-in, QFITS-out, .ahead, .head, data Scamp, etc...). Il faut aussi faire toutes les completudes de tous les Wide et produire une documentation Web sur T0005. Modeles de PSF: Emmanuel a produit les modeles et diagnostics de PSF pour l'ensemble des poses individuelles Wide (modeles polynomiaux du 2eme degre en x,y par CCD), et genere des animations GIF en fonction du temps des cartes des FWHM et des ellipticites. C'est tres instructif, on identifie clairement les differentes phases "optiques" par lesquelles est passee MEGACAM durant sa vie. Malheureusement la quantite d'images est telle (quelques milliers) que ces GIF animes plantent les machines a la visualisation... Il reste a inclure les poses des Deep et a resoudre ce pb d'animation... {{II. Processing Megacam PI: Yannick}} 08AC02, PI Demers: suite a une requete de Demers recue cette semaine, Yannick a recupere ses donnees Megacam au CFHT puis effectue le processing. Pas de difficultes: 4 images r, 4 images i, toutes sont photometriques, toutes sont obtenues la meme nuit, pas d'objets etendus, pas d'etoiles phares. Une image chi2 fictive a ete construite a partir des 4 images r, de 2 images i + 2 images r et des 4 images i, permettant d'avoir aussi une image couleur "gri". Les produits de sorties (images, catalogues, QFITS-in, QFITS-out, etc...) on ete deposes mercredi sur ftpix mais n'ont pas encore ete recuperees a ce jour. 08AC17, PI Patrick Durrell : Yannick a produit les QFITS-in puis une serie de calibrations astrometriques et de recalages photometriques en utilisant les donnees de Durrell seules, ou bien les donnees de Durrell+Ferrarese+Mei qui sont toutes concentrees autour de M87. En attente de masking de M87 pour pouvoir faire les stacks (a voir avec Patrick , puis Lila?) 08AF20 (PI Mei) /08AC17 (PI Ferrarese): Yannick a fusionne les donnees qui forment le programme PILOT: 2x2 deg^2 en u,g,ri,z a la profondeur du CFHTLS Wide (meme strategie d'offset et de temps de pose) puis produit une serie de calibrations communes (08AC16 + 08AF20) et (08AC17 + 08AC16 + 08AF20). Les poses sont separees en "l" (long) et "s" (short). Des premiers stacks sont prets (avec ou sans soustration du fond de ciel) mais plusieurs galaxies etendues (dont M87) compliquent le processing, comme pour Durrell. Yannick et Patrick doivent se voir ce vendredi matin pour traiter de point avec le script Python qu'il a developpe pour la circonstance. {{III. Processing WIRCam (Henry, Patrick):}} - WIRDS crosstalk correction: Herve's scripts don't quite work on the data we have which is not crosstalk corrected, because the guidebox hasn't been removed (these are vertical lines on the images around the guide stars). Loic has supplied us his script to the guidebox removal. Reduction Bouvier IC4665 par Patrick : difficultes photometriques (images Y): - La mosaique composee de 10 champs juxtaposes et 2 champs independants ne comporte que 3 champs photometriques. Ceux ci sont selectionnes a partir des ZP_corr (ZP relatifs) fournis par SCAMP. Ces trois champs sont dans la mosaiques. Les deux champs externes ne peuvent donc pas etre calibres. Dans la mosaique, les champs a cote des champs qui sont photometriques sont calibres par overlap mais les champs les plus eloignes sont tres difficiles a recaler (faibles overlap). La photometrie qui en resulte est tres passable pour les champs independants et approximative (0.1mag) pour la mosaique. Seules les images a poses longues sont utilisees pour la calibration photometrique. Les poses courtes sont ensuite recalees sur les poses longues. - L'astrometrie est obtenue a partir d'une solution globale incluant tous les filtres. La photometrie est ensuite incluse dans les .head avant le SWarp. - La photometrie est ensuite testee en comparant les positions des etoiles dans les diagrammes couleur-couleur avec les simulations de Pickles. Comme prevu les shift en Y sont parfois importants (de l'ordre de 0.1mag). Patrick n'a pas recale les points zero avec Pickles, il laisse le PI decider. - Les images Y (et le reste des images Ks) sont sur ftpix pretes a etre releasees. Le mail sera fait dans la journee. Reduction McDonald par Patrick: - Une reduction "standard" est inadaptee en raison de la taille des galaxies centrales des pointes (25 pointes en H). Une serie de soustraction de fond de ciel a ete realisee en masquant (a la main) les galaxies centrales ce qui equivaut a un masquage plus agressif. Le resultat est meilleur. En outre la soustraction de fond de ciel dans SWarp (au moment du stack) est desactivee pour ne pas causer de probleme avec les grosses galaxies. Pour la plupart des pointes le resulat est visuellement tres correct MAIS il n'est pas evident que les images sont exploitables. - L'objectif scientifique de ce programme est l'etude de la brillance de surface des galaxies brillante et de leur halo. Or si on veut creer une carte de fond de ciel correct, il est necessaire de masquer tout le halo. Etant donne les faible ditherings (moins que la taille de la galaxie) et leur faible nombre (5 cubes par pointes), il n'est pas possible de masquer suffisamment la galaxie sans avoir des problemes pour construire le fond de ciel. Cela est particulierement visible pour les galaxies tres etendues pour lesquelles aucune solution satisfaisante n'a ete trouvee. - Pas de soustraction des structures etendues verticales et horizontales, le script est incorrect dans le cas des objets etendus (Filtrage quasi- unidimentionnel). Reduction Rizzi: - Les donnees sont toutes downloadees. Application du pipeline standard. - Les stacks (simple pass) sont produits. Il s'agit d'une unique mosaique composee de deux pointes. Deux stack sont produits : l'un en J et l'autre en Ks. Il n'y a pas de difficultes particulieres (pas d'objets etendus, le champ n'est pas encombre). La soustraction du fond de ciel est en cours. Redution Bouvier 07BF99 : - Plusieurs champs comportent des etoiles tres brillantes pour lesquelles le masquage standard n'est pas assez agressif. Des masques ds9 reg ont ete produits a la main et les cartes de poids ont ete modifiees. La soustraction du fond de ciel a ete effectuee a nouveau. La qualite est meilleure. - l'etape suivante sera de produire une nouvelle solution astro-photo- metrique et de stacker les images. {{IV. Developpement: Emmanuel, Patrick, Lila}} IV.1. Stage Lila: "Modelisation et soustraction du fond du ciel" Implementation et codage de l'estimation du fond par modeles polynomiaux: Lila rapelle que les resultats etaient peu satisfaisants car les bases polynomiales n'etaient pas toujours ortho-normees. Lila est donc passe au calcul des bases ortho-normees pour les modeles plan et paraboloide par la methode de Gram-Schmidt et l'implementation de la regularisation de Tikhonov les resultats sont meilleurs que ceux du modele initial, et le fitting avec un plan comble certains defauts de l'image resultat du fitting du modele "constant" Patrick a propose de tester les algorithmes sur un ensemble d'images WIRCam. IV.2. Logiciels Emmanuel - SCAMP: Yannick a rencontre un crash avec la nouvelle version de SCAMP sur les plus anciennes machines AMD du cluster (mix3,mix4, mix5). Le pb a ete identifie par Emmanuel comme etant un pb de compatibilite avec des instructions SIMD utilisees dans la librairie ATLAS compilee sur son desktop INTEL. Emmanuel a recompile SCAMP sur l'ancien Kiravix et installe l'executable sur mix3,mix4 et mix5. - Emmanuel a ajoute a la distribution SVN de Stuff la nouvelle courbe de transmission instrument+filtre i2 calculee par Patrick. IV.3. Outils Patrick - Developpement d'un script Python pour reliser un masquage d'un MEF avec un fichier region de ds9. (cat ww ne travaille pas avec les MEF). Une version mask_reg2.py permet de travailler sur les cartes de poids ou les cartes de flag. Yannick utilise en ce moment ce script sur les images de VIRGO du programme pilot 08AF20+08AC16. - Ecriture en cours d'un script Python pour le masquage des guide-box en utilisant les informations du header. Gregory{{V. SPICA2 developpement (Gregory)}} Developpement SPICA2: - Deploiement des icones de reconnaissance des plugins a toute l'architecture de SPICA2 (demo en meeting) - Rajout dans le plugin SExtractor de toutes les fonctions relatives a la gestion du panier par SPICA2 -saveItemforLater -addSelectionToCart -delSavedItem -showSavedItems -delCartItem -getSavedItem -saveCartItem Il reste a creer les fonctions de lancement des jobs. Gregory prefere attendre le retour de Mathias (M.) pour ne pas faire "trop" bugger son code. QFITS en python: Gregory a attaque l'ecriture de QFITS en python. Il attend le retour de Fred pour comprendre dans le detail ce qui est fait. {{VI. Cluster/Hardware/System}} - Yannick a signale un fort ralentissement du reseau au cours de deux debuts de week-consecutifs. Ce ralentissement commencait le vendredi, vers 22:20 et s'achevait le samedi, vers 13:30 et ressemblait etrangement aux problemes identifies il y a environ 1 an et demi. Les pbs ont ete identifies par Emmanuel: ils proviennent de cron-jobs de tests smart "longs" qui ont a nouveau ete laisses par erreur sur les nouvelles machines. Fred a corrige. - L'alimentation de kiravix a rendu l'ame le week-end du 16. Emmanuel a remplace son alim par un des 3 spares de 520W TERAPIX disponibles en salle info. - Le disque systeme de la nouvelle machine Kiravix (4-core) d'Emmanuel est devenu corrompu (I/O errors systematiques dans certains repertoires). SMART ne releve rien d'anormal. Emmanuel a donc reinstalle un nouveau systeme Fedora Core 9 from scratch. Les librairies "patchees" necessaires a la compilation n'etant pas encore installees, Emmanuel aura encore besoin de l'ancien kiravix durant quelques jours. - Emmanuel a demande a Fred un nouveau nom efigix2.iap.fr pour la 2eme machine Efigix destinee a fournir des web-services Efigi a la communaute (serveur d'images SDSS entre autres). - Fred a mis la RAM de mix11 dans mix12 qui dispose desormais de 32GB comme mix7 et mix5. - Une defaillance de mix13 affectant 4 disques a rendu la machine inoperante en RAID5 pendant 3 jours. Fred a du ouvrir la machine et triturer les multilanes. La machine est de nouveau operationnelle depuis mercredi. {{V. Divers (All):}} - Machines: Several of the new machines show the same problem: processes get stuck in uniterruptible sleep, and no now processes can be started; the load shoots up and the machine cannot be rebooted (although frequently it is still possible to type stuff on the console. The only way out is with the method of elephants. Is this a kernel / quad core machine problem?