Subject: [teralist] Synthese de la semaine du 22/08 au 18/09/2008 From: Emmanuel Bertin Date: Thu, 18 Sep 2008 23:55:27 +0200 To: teralist@iap.fr Chers tous, voici la synthese des activites couvrant cette longue periode du 22/08 au 18/09 a partir des bilans de Patrick, Mathias S., Mathias M. et Henry Joy. Merci a vous! Par ordre arbitraire: Operations Megacam (Mathias S., Patrick, Henry Joy) - T0005: Mathias a verifie que toutes les donnees de T0005 sont disponibles au CADC. - Programme PI: 08AD87 (A. Robin). Mathias a lance les Qfits-in (tres long- 50 min pour chaque image!), ainsi que SCAMP et les stacks sont en cours. La solution astrometrique est satisfaisante. Seuls quelques stacks sont necessaires. Les catalogues vont etre faits par SExtractor avec ajustement PSF (comme pour les runs precedents). *Mathias demande: les programmes PI vont-ils etre ingeres apres sur spica2?*. - Donnees Virgo: soustraction du fond de ciel en double-passe sur les images MEGACAM de Virgo par Patrick. Apres quelques amenagements, le pipeline NIR fonctionne bien sur les images de Virgo. Le ciel apparait tres plat sur les images individuelles et les stacks preliminaires. Un fond de ciel residuel est soustrait a la fin de la procedure grace a SExtractor. Cette etape doit etre modifiee (MESH_SIZE = NAXIS1/2) pour eviter des anomalies autour des objets etendus. La solution consiste au soustraire une simple constante au lieu d'ajuster un ciel qui a deja ete soustrait. La procedure actuelle (peu parallelisee) est tres longue : 10 jours sur une machine unique (quad) du cluster (pour 20 images MEGACAM). Une version parallelisee par chip est en cours d'ecriture. - Henry Joy rapporte que les membres de la collaboration Vipers, qui disposent d'un acces privilegie aux catalogues de la release T05, ont repere des decalages photometriques importants de pave a pave sur les donnees CFHTLS wide. Ils appliqueront probablement des corrections basees sur les traces stellaires. Aucun pb significatif n'a ete enregistre en revanche sur les photo-Z, sans-doute moins sensible a ce phenomene. - Henry Joy a participe en tant que tuteur a l'ecole Neon de travail sur archives astronomique du 27/08 au 06/09, et a donne comme sujet aux etudiants le re-cataloguage des donnees CFHTLS Deep multibande de la release T03. L'emploi d'ouvertures d'un diametre minimum de 2" semble reduire la dispersion dans les diagrammes couleur-couleur par rapport aux versions precedentes, et devrait donc etre teste sur T05. Le rapport des etudiants est disponible a http://www.eso.org/sci/meetings/neon-2008/projects/NEON_HiZGalaxies.pdf Operations Wircam (Patrick): - Donnees McDonald: Patrick annonce que la release est prete. Le rapport est egalement pret. Il ne reste qu'a inclure les corrections de Henry (Yannick ?) et de transferer le tout sur ftpix. - Donnees Rizzi: Les stacks finaux J et Ks sont en cours de traitement par Patrick. Pas de difficultes particulieres. La release sera prete (probablement) la semaine prochaine. - Donnees Narmby: Il s'agit d'une nouvelle requete PI pour Patrick. Elle est similaire a celle de McDonald sur les objets observes (galaxies brillantes proches) mais la strategie d observation (en particulier la position des galaxies et le dithering est bien meilleur). Il sera sans doute necessaire de faire des masques manuels pour les galaxies brillantes. Des premiers stacks finaux (en double passe) ont ete produits sans masquage specifique. Les images sont belles mais l'on devine une couronne negative (inferieure au fond de ciel) autour des galaxies. Un masquage plus agressif est manifestement necessaire. Pour une des galaxies le seeing est atrocement mauvais (PSFs tres larges et allongees). - Donnees Bouvier: Patrick a release les donnees Y du run IC4665. Pas de nouvelles de Jerome. Patrick a poursuivi la reduction des deux autres runs. L'astrometrie n'est pas excellente pour les champs tres absorbes. - Menage sur ftpix: WIRCAM occupe une place tres faible (qq 100Go). Patrick a envoye des mails aux PI pour les informer qu'apres un an, nous souhaiterions effacer leurs donnees. 3 PIs sur 8 ont repondu. - Download WIRDS: Patrick a modifie le script Python de download des donnees PI pour recuperer les donnees WIRDS retraitee par Loic. Elle sont stockees sur fcix4. Il y a 1.2 To d'images (!!!) Developpements Spica (Mathias M.) - Mathias a modifie la structure de la base de donnees pour permettre la gestion des profils utilisateurs; chaque utilisateur authentifie dispose automatiquement d'un profil pouvant contenir n'importe quelles informations personnalisees. La gestion des profils s'organise autour de l'objet 'SiteProfile', nouveau modele Django a l'origine de la creation de la table 'spica2_siteprofile'. Les profils sont traites dans une classe a part dissociee de la table utilisateurs. Cette utilisation decouplee permet de changer a tout moment l'ensemble des profils utilises par les utilisateurs, simplement en changeant la valeur de la variable globale AUTH_PROFILE_MODULE du fichier de configuration de l'application. - Ajout du support des themes graphiques. La partie de l'arborescence SVN relative aux fichiers graphiques et de styles a ete remaniee, la majorite des templates HTML a ete modifiee. Un nouveau theme graphique 'default' a ete cree comprenant l'actuel jeu d'icones et de feuilles de styles. Le support des themes graphiques est un exemple de l'utilisation des profils utilisateurs. - Le modele Django relatif au plugin QualityFits-In a ete mis a jour. Les champs 'spica1grade' et 'spica1comment' de la table de la base ont ete renommes respectivement en 'prevrelgrade' et 'prevrelcomment' (pour previous release grade and comment). L'utilisation de noms plus generiques (sans l'utilisation du mot spica1) s'imposait. - Apres discussion avec Yannick et Emmanuel concernant l'automatisation des procedures de selection dans les grands releves (operations identiques sur des milliers de paves), le selecteur d'images utilise dans la partie 'processing' de Spica a ete enrichi de maniere a supporter un nouveau mode de selection automatique (batch selection). Il est desormais possible d'uploader un fichier XML definissant un ensemble de regles simples a appliquer pour selectionner des images. Le mode batch permet donc de fabriquer facilement des listes de selection d'images. Pour le moment, la structure du document XML est simpliste; une selection est un ensemble defini par un label, les coordonnees d'un point ainsi que le rayon de la zone de recherche: 33.1 -6.3 0.1 L'utilisation du format XML offre une certaine souplesse quant a l'evolution des possibilites du mode de selection groupee automatique. Cependant, si le selecteur d'images est au point, des changements importants dans l'API font que le shopping cart n'est plus fonctionnel a l'heure actuelle. Ce dernier sera modifie dans les jours qui viennent. - Un gros travail de documentation de l'API de Spica2 a ete mis en place par Mathias. La taille du projet necessite l'emploi d'outils automatises de generation de documentation a partir du code source. Doxygen (www.doxygen.org) est utilise pour parser le code Python et 'Natural Docs' (www.naturaldocs.org) pour le code JavaScript. Il est possible de consulter l'API depuis l'interface web: http://clix.iap.fr:8000/spica2/api/python/ http://clix.iap.fr:8000/spica2/api/javascript/ http://clix.iap.fr:8001/js/files/imageselector-js.html * Pour Fred: Natural Docs est un script Perl standalone, installe dans /usr/local/bin sur clix*. Autres developpements (Patrick, Emmanuel) - Guide Box: le script de Patrick pour le masquage des guide boxes (portage Python ameliore) du code de Loic fonctionne. Il l'a teste sur un de ses Runs pour lequel les guide boxes etaient non masquees. Pas de test a plus large echelle. - Patrick a supprime la soustraction du fond de ciel dans le SWarp des stacks. - Soustraction de fond de ciel pour images MEGACAM: la taille des images impose l'utilisation de la version "plus" parallelisee. Une des etapes reste a paralleliser (sur les images et sur les chips). C'est en cours d'implementation par Patrick. - Les configurations des packages PSFEx, SCAMP, SExtractor et SkyMaker ont ete modifiees par Emmanuel de sorte que les binaires des RPMs seront desormais linkes en dynamique. D'une part il devenait impossible de linker en statique une librairie comme PLPLot qui depend elle-meme d'inombrables librairies dont les versions statiques ne sont plus disponibles dans les OS recents, et d'autre part la librarie ATLAS ne fonctionne de facon optimisee qu'une fois compilee pour un processeur et un nombre de coeurs specifiques a chaque machine. Les tests de performance effectues par Emmanuel indiquent que la legere chute de performance induite par le linkage dynamique est largement compensee par l'emploi de versions specifiquement optimisees des librairies. Il est fortement deconseille de se reposer sur les RPMs "portables" des librairies ATLAS, FFTW et surtout PLPlot (mesurees jusqu'a 4 fois plus lentes!). - Emmanuel travaille activement a la mesure automatique des barres, des bras spiraux et autre anneaux avec une nouvelle approche, les premiers tests en vraie grandeur sont prevus ce week-end. Systeme/hardware (Mathias M., Emmanuel, Henry Joy) - Suite a une accumulation de problemes - vraisemblablement hardwares - sur la machine terabsd.iap.fr de Mathias M., Emmanuel lui a passe son ancienne machine pour qu'il puisse y installer un systeme FreeBSD. Cette nouvelle machine, qui porte le meme nom, est operationnelle depuis le milieu de semaine. - dhcpix25.iap.fr est devenue efigix2.iap.fr (machine toujours hors cluster). - Henry Joy rapporte qu'un compte IAP a ete pirate et utilise pour envoyer du spam durant une semaine a la fin-aout. Le risque est pour l'IAP de se retrouver sur une liste noire en tant que site spammeur, ce qui pourrait compromettre l'envoi de mails depuis l'IAP vers certaines adresses. Divers (Emmanuel, Henry Joy) - Un pb serieux a oppose debut-septembre les services comptables de l'ANR, du CNRS et de l'IAP concernant les commandes EFIGI de la fin 2007. En effet les principales commandes ont ete faites plus de 2 semaines apres la date limite, et les principales factures se sont etagees jusqu'a debut 2008. La mobilisation de Nicole Blondin, et surtout de Valerie Bona et Laurent Vigroux a permis d'eviter une injonction de payer de 60kEUR. Emmanuel rappelle a ce propos la necessite de systematiquement transmettre, apres photocopie, tout bon de livraison a l'administration (certains bons de livraison du materiel livre fin 2007/debut 2008 n'ont pu etre retrouves, ce qui a considerablement complique la tache de Valerie dans le travail de justification). - Lila Hadji a finalement termine son stage. Emmanuel retient une impression tres positive de son travail, a la fois sur les aspects theoriques, d'implementation, et l'inebranlable enthousiasme dont Lila a fait preuve durant son sejour. Elle serait tres interessee par refaire un stage a l'IAP pour son M2. Emmanuel a deux sujets possibles en stock, dont un qui pourrait faire l'objet d'un sejour aux NCSA pris en charge par le Dark Energy Survey. Amicalement, Emmanuel.