Subject: [teralist] Synthese de la semaine du 19/09 au 01/10/2008 (V3) From: Emmanuel Bertin Date: Thu, 02 Oct 2008 14:26:58 +0200 To: teralist@iap.fr Chers tous, voici la synthese des activites couvrant cette periode du 19/09 au 01/10 a partir des bilans de Mathias M., Mathias S., Yannick, Henry Joy et Patrick. J'ai ajoute quelques omissions. Par ordre arbitraire: Operations Megacam (Yannick, Mathias S., Henry Joy) - Henry et Mathias S. ont prepare les pages de T05. Henry Joy a copie les principales pages descriptives de celles de T04 et les a mises a jour en consequence. Mathias a prepare les pages detaillant les offsets photometriques entre le CFHTLS T05 (Wide+Deep) et le SDSS-R6. - MAthias comparer la photometrie CFHTLS du champ Wide W3 a celle du SDSS en utilisant des magnitudes d'ouverture (MAG_APER) avec un diametre de 4.7". Il trouve une legere amelioration dans les filtres u,g,i par rapport au SDSS de 0.02 mag, en revanche il note une perte de 0.01 mag en r et 0.02 mag en z. Mathias va faire la meme analyse pour W1 et W4. - Yannick a produit les QFITS-in d'environ 400 nouvelles images CFHTLS Wide obtenues au CFHT et qui etaient manquantes dans les listes precedentes. Les images sont en cours d'evaluation et grading pour le CFHT. Cela devrait prendre 1 a 2 jours pour les noter. - Pour faciliter les processings/QFITS de toutes ces images, Yannick a demande au CFHTLS un bilan complet de tous les master files qui pourraient etre utilises par Terapix. Jean-Charles a fait le point et a rendu accessible la totalite des masters de MegaCam et WIRCam a Yannick. Cela concerne TOUS les flats, tous les masks, tous les bias et dark et tous les fichers de correction d'illumination. L'ensemble est actuellement sur mix20 : /data/mix20/raid2/AllFlat-Sept08/limu.cfht.hawaii.edu:872/detrend/ et correspond a environ 2 TB d'images. Ce directory a l'avantage d'etre une synthese de tous les masters MegaCam et WIRCam crees depuis 2003A. - Données Virgo: Mathias a effectue les plots et la comparaison avec leSDSS sur m87-0-0 - Programme A.Robin 08AD87: Mathias S. a termine les stacks et les qfits-out. Il reste encore de faire le tests sur les mouvements propres avec SCAMP; Emmanuel a en effet propose de modifier SCAMP pour afficher les mouvements propres directement au moment de la calibration. A noter que les propositions faites par Emmanuel pour ameliorer la precision modeste de la calibration astrometrique (augmenter le nombre de degres de liberte, donner plus de poids au catalogue de reference) n'ont pas abouti a des resultats concluants. Operations Wircam (Patrick, Henry Joy): - Donnees McDonald: Patrick a release les donnees. Mike McDonald a repondu qu'il etait tres content de la rapidite du traitement. Pas de nouvelle concernant la qualite de la reduction. - Donnees Rizzi: La release est prete. Patrick attend juste les corrections eventuelles de Henry pour releaser. - Donnees Barmby : Il s'agit d'observations de galaxies brillantes et grande. Patrick a effectue la premiere reduction sans masquage manuel (masquage avec les segmentation de SExtractor). C'est clairement insuffisant. Un second masquage des galaxies (avant la creation du ciel) a ete fait. Les stacks montrent une nette amelioration. On voit des details du halo bien plus loin ... mais ces details disparaissent brutalement a une distance egale au masque utilise. Patrick pensait que les ditherings etaient suffisants mais il semble que non. Pour recuperer les profils de brillance de surface il faut faire des masques de la taille du chip ... On a donc besoin d'observations OFF qui n'ont pas ete faites. Patrick ne va donc pas pouvoir recuperer l'integralite des details des halos avec ces donnees. Certaines galaxies ont ete observees alternativement sur les 4 chips. Patrick va donc essayer de masquer tout le chip ou se trouve la galaxie. La soustraction de fond de ciel est en cours. - Henry Joy n'a toujours pas de retour de Loic concernant le processing au CFHT des runs manquants sans correction de crosstalk. Developpements Spica (Mathias M.) - Le plugin QualityFITS-in supporte le mode batch selection (a partir d'un fichier XML) du selecteur d'images - Le shopping cart supporte egalement ce mode et sait lancer les items contenant une liste de selections d'images. - Mathias M. a implemente la sauvegarde de la selection des noeuds du cluster au niveau du shopping cart. Cela evite d'avoir a reselectionner (120 vms) les vms a la main en cas de retour sur la page du shopping cart pour lancer des processings. - La DTD (Document Type Definition) du fichier XML utilise par le selecteur d'image en mode 'batch selection' a ete ajoutee au projet - La page d'ingestion a ete amelioree: * support de la multi-selections de chemins, ce qui permet d'ingerer les donnees provenant de chemins distincts en une seule fois. Une demo pourra etre faite lors du terameeting. * soumission des jobs d'ingestion vers le cluster monitoree en temps reel depuis la page d'ingestion, ce qui permet de verifier (avant de suivre leur execution depuis la page 'Active Monitoring') si les jobs ont ete soumis avec succes. - Greg a cree le champ centerfield dans la table spica2_image. Ce champ represente une structure geometrique POINT (en Ra, Dec) inscrite dans la base qui est le centre de chaque pose. Le rajout de ce champ va nous permettre de selectionner une region (ou plusieurs) du ciel, en definissant un centre et un rayon definit dans un fichier xml (selection d'images en batch mode). Ainsi le batch mode permet de definir plusieurs boites, dont les centres des poses (centerfield) seront contenus dans celles-ci. Le script d'ingestion a ete modifie afin de prendre en compte ce parametre. Modification de la fonction batch_parse_content (outil de selection par geometrie): plusieurs mode de selection a definir en terameeting, en fonction des besoins des utilisateurs. - Greg a cree un script de generation de plots: Creation, a l'issu de la selection en batch mode, d'une image representant les selections dans la voute celeste, des poses, en projection Aitoff. Plusieurs autres modes de selection peuvent etre imagines, comme la reconstruction par des fonctions mysql+geodjango, de toute la surface d'un champ precis du ciel, par intersection des skyfootprint contigus, etc...(on en parle en terameeting). Ce type de plots peut etre genere a n'importe quel moment dans le pipeline et peut devenir un outil puissant(cf skywatcher de J.C Malapert).Yannick a souligne l'interet que peut avoir cet outil,car il realise a la main certaines de ces representations au cours d'une release. Autres developpements (Patrick, Emmanuel) - Le code de masquage des guidebox a ete teste par Henry. Il a trouve des problemes. Le script devra problement etre execute avant la phase de soustraction du ciel, car la presence des guide boxes laisse des residus sur les images soustraites du fond. Patrick a passe en revue 400 images WIRDS et a modifie le script pour les cas ou cela ne fonctionnait pas. Le script est OK pour 99% des cas. Seul les cas ou la guidebox inclue (par erreur) un ou deux pixels brillants (cosmiques ??) posent probleme. Un filtrage/lissage pourrait resoudre le probleme. Des tests sont en cours. - Le code de correction de crosstalk de Patrick est pret (la premiere version). Le script fonctionne bien sur les images individuelles (suppression visible des donuts). Il faut maintenant faire des stacks pour tester si les taches noires disparaissent. *Deux questions de Patrick : Est il suffisant de faire la correction apres la soustraction de fond ou faut il la faire avant? La version encodee (similaire a celle de Loic avec un masquage plus profond issu du stack) resout-elle le probleme de taches noires ?* - Mathias M. a travaille sur le packaging de Scamp sur MacOS X (x86). Il reste encore quelques petits problemes a resoudre. Les documents et scripts sont dans la partie /private de la base subversion: svn co svn+ssh://@terapix.iap.fr/private/documents/cmake -- scamp-cmake |-- INSTALL.MACOSX |-- make_atlas_dylibs.sh `-- scamp-dist-root |-- CMakeLists.txt |-- cmake | |-- config-cmake.h.in | |-- modules | | |-- FindAtlas.cmake | | |-- FindCDSClient.cmake | | |-- FindFFTW.cmake | | `-- FindPlplot.cmake | `-- scripts | |-- PackageMaker | | |-- License.txt | | |-- ReadMe.txt.in | | |-- Welcome.html.in | | `-- postflight.in | |-- make_bundle.sh.in | |-- make_dmg.sh.in | `-- make_package.sh.in `-- src |-- CMakeLists.txt |-- fits | `-- CMakeLists.txt `-- wcs `-- CMakeLists.txt - Henry a teste cette nouvelle version sur son Mac OSX. La seule chose qui bloque encore est l'installation de PLPlot. Une recompilation massive des packages FINK est en cours, qui devrait en principe aboutir a une version de PLPlot fonctionnelle pour SCAMP. - Emmanuel a installe un RPM "prototype" (linkage dynamique de FFTW et ATLAS) du nouveau SExtractor 2.8 sur le cluster, et cela fonctionne parfaitement. De nouvelles versions des packages source et des RPMs des principaux packages (SCAMP, SWarp, PSFEx, SkyMaker) ont ete produites et devraient etre installees sur le cluster d'ici jeudi soir sauf opposition. Pour toutes ces versions les binaires sont desormais dans /usr/bin et le suffixe "-MP" a ete retire des versions parallelises, la parallelisation etant desormais active par defaut. Les packages STIFF, Stuff, MissFITS et WeightWatcher suivront d'ici peu, concluant ainsi la migration des nouveaux binaires. - Une nouvelle version d'EyE (1.4.0) a ete compilee, et sera releasee d'ici quelques semaines (tests en cours a DES). - Le travail se poursuit sur les activites de morphometrie avec Anthony. Systeme/hardware - pas de nouvelles recues. Divers (Yannick, Henry Joy) - Les deux dernieres semaines de Yannick ont ete pas mal prises par les demandes de credits. Il a termine et envoye les demandes TERAPIX, INSU et PNCG, WUDS et NGVS. - Henry Joy sera a Teheran du 7 au 24 octobre et en Italie du 26 au 30 octobre. Il lira ses mails. Amicalement, Emmanuel.