Subject: [teralist] Megasynthese des semaines du 4 et du 11 decembre From: Emmanuel Bertin Date: Fri, 15 Dec 2006 01:24:24 +0100 To: teralist@iap.fr Chers tous, voici une grosse synthese partielle et partiale des activites des 11 derniers jours, qui inclue les infos de la precendente synthese! Par ordre arbitraire: Achats (Fred): - Certains achats sont arrives, comme le materiel LDLC-pro et l'imprimante a etiquettes. Demarrage T04 (Laurent, Fred, Yannick): - le transfert des donnees et metadonnees des releases precedentes est termine. - Yannick a largement verifie que tout etait ok au niveau des interfaces (3 pbs trouves, corriges par Laurent depuis) et devait mettre en ligne les liens vers T02 et T03 en debut de semaine. *Yannick est-ce que c'est fait finalement?*. - Laurent suggere de reprendre l'idee d'un back-up des meta-donnees sur Lyon. - download des images: 2174 images ont ete recuperees dans /data/fcix2/raid1/from_CADC/fred (moyenne de 3Mo/s avec 10 wget). Le snooppix s'etait arrete sans avoir toutes les images. Fred l'a relance, mais il re-downloade certaines images deje downloadees (bug quelque part dans Snooppix 2.0?). Les images deje downloadees sont dans /data/fcix2/raid1/from_CADC/fred en attendant de faire le tri. Fred quel est le statut depuis? As-tu pu verifier la presence de doublons? - replication machines: mix1/2/5/6/fcix ont ete mis-a-jour, puis mix3/mix4 (peut-etre avec pxe). ftpix devait suivre, puis dbterapix (arret spica, manclass, etc...) et enfin clix dans la nuit du 14 au 15. Donnees W1-u "Willott" (Yannick, Fred, Laurent): - Yannick a contacte J.J. Kavelaars avant de rendre disponible les donnees. J.J. a avance l'idee de 'community upload' au CADC, et preconise donc une accessibilite via le CADC avec une convention de nommage particuliere. Cela sera debattu en meeting au CADC le 7 decembre. En attendant, les donnees seront mises sur leur FTP des le debut de cette semaine. *Yannick: ca a ete fait?*. MEGACAM P.I. (Mireille, Mathias, Emmanuel) - Le swarp des 7 champs en differents filtres du run 06AF26 est fini. Le qualityfits_out est termine ainsi que les images couleur. Rien a signaler, tout semble OK sauf sur un des champs ou l'astrometrie n'est pas geniale mais reflete ce que SCAMP avait trouve. Le PI (Genevieve Soucail) veut faire elle-meme les catalogues. Mireille a quand-meme produit les diagrammes couleur-couleur, qui semblent reveler quelques decalages par rapport a Pickles: *Yannick as-tu jete un coup d'oeil?* - qqs essais avec SCAMP et les data d'A Robin run 04AF09 en separant certains ldac mais pas encore de conclusion; les resultats ne sont vraiment pas terribles. Le run 05AF14 donnait de meilleurs resultats. Emmanuel a fait des tests avec ces donnees et differentes configurations, et ne retrouve pas des resultats tres coherents d'un catalogue a l'autre; il est clair que d'un catalogue astrometrique a l'autre on observe de larges systematiques (~0.3''); mais curieusement meme avec les catalogues les plus fiables (SDSS) on observe des effets "d'escalope": bug ou ambiguite de matching en champ encombre? Calibration photometrique avancee (Mathias) - Mathias un travail d'estimation precise des filtres de transmission MEGACAM en collaboration avec N. Regnault (SNLS). Les nouvelles courbes, legerement differentes de celles envoyees par Henry, semblent reproduire au mieux les transformations entre SDSS et MEGACAM (si les courbes SDSS sont correctes). Peut-etre faudrait-il les transmettre a Roser Pello pour comparaison dans les photo-z. Il reste a recalculer les couleurs synthetiques des librairies stellaires, et tenter un travail similaire pour WIRCAM. *Chiara, Yannick, je suppose qu'il n'y a pas d'information nouvelle du CFH sur les courbes de transmission des composants WIRCAM?* Incidents ponctuels ou recurrents sur le cluster (Fred): - Fred et Christophe Gobet ont investigue le pb du disjonctage sur la ligne du rack mix7, mix9, etc. Le disjoncteur ne semble pas en cause, mais l'onduleur ou les machines cumulees (une vingtaine d'elements !) peuvent generer un courant de defaut en exces des 30mA de la norme C. Ce qu'on peut faire: mesurer les courants de defaut de chaque machine (necessite l'arret des dites machines), ou remplacer le disjoncteur par un autre de norme D (300mA, le seuil tolere pour la protection des personnes etant 30mA (paralysie respiratoire)). Si le problème vient des alims ou de l'onduleur, demander a le(s) changer sous garantie. Christophe va contacter une entreprise d'electricite pour savoir si elle connaitrait des methodes de mesures sioux pour ce genre de cas. - Le pb de la chute de rendement de SWarp (I/O) s'est a-nouveau produit samedi sur mix9 vers les 3h du matin. Le cronjob quotidien updatedb est lance vers cet horaire, donc Fred ne comprend pas que le pb se produise uniquement le samedi! Les procedures ont ete tuees et relancees par Chiara mais pas moyen de revenir a la vitesse normale. mix9 a finalement ete rebootee (des modules gentoo ont ete installes en meme temps). Tout est a nouveau normal... a voir samedi prochain. - *Le 13/12 a 6h du matin un mail de Warning sur teraop a signale "full partition(s) on mix"* QualityFITS (Fred) - Comptages de T03, repondre a Agnello Grado, investiguer le bug des sous-images, documenter: pas d'avancee (je crois). SPICA (Laurent): - gestion VOTables : pas d'avancement, pas encore fonctionnel. - le test de stack entre T02 et T03 (QF1.12 et QF1.13) sur 06AL26 s'est bien deroule, malgre un pb "d'escalope" residuel imputable a SCAMP. - Le travail sur le packaging de SPICA a demarre. - Laurent a participe a la journee AVO a l'observatoire mercredi 13 (presentation de libVOTable, apres de petits tests effectues lundi), donc pas la jeudi et vendredi. Laurent reitere a cette occasion son souhait de se debarrasser de Spica pour passer sur du WS (WS de QF par exemple). - Le processing de 06AD89 a ete bloqie par un transfert entre pix5 et mix6 (stockage de secours des ldac), probablement en raison du renouvellement des cles SSH suite a la replication sur mix6. *Laurent MissFITS (Chiara): - Pret et teste pour toutes les configurations. Les distributions sont disponibles pour tous commentaires sur kiravix. Les nouveaux RPM de MissFITS et WeightWatcher ont ete installes sur mix1 et pix3. WeightWatcher (Chiara): - Les surfaces efficaces sont desormais ecrites dans le header des images. Le rpm a ete genere et est disponible sur kiravix. Le bug decouvert par Henry a ete corrige. Pour l'instant pas d'autre test effectue et personne a TERAPIX ne s'en est servi. SCAMP, Skymaker,SWarp, SExtractor (Emmanuel) - L'implantation du fit de profils generalises dans SExtractor fonctionne pour l'instant pour de Vaucouleurs + exponentiel avec reponse impulsionnelle (variable). Vitesse moyenne environ 3 galaxies/s (pas encore optimise). Sersic en cours de test. - bug SCAMP avecc un grand nombre de fichiers catalogues (>256): corrige dans SVN, teste, mais pas encore poste de version RPM. Le pb des escalopes residuelles est en cours d'investogation. - Un gros bug de PSF sur les grosses galaxies dans SkyMaker pas encore corrige. - Pb de threads sur le binaire de SWarp: pas encore investigue. Postes, management, misc. (Yannick, Henry, Emmanuel): - *Henry, du nouveau sur les conclusions du meeting RTRA?* - Pas de candidat au poste de CDD IE pour l'instant. *Peut-etre faudra-t-il remanier le texte de l'offre?*. - LSST: la lettre en version finale est acceptee par tous les directeurs de labos impliques. Pas de nouvelle du meeting LSST, le Board LSST devait donner un avis "officiel" cette semaine, par contre les 3 pays europeens impliques font se reunir pour etablir un consortium europeen. Il y aura sans doute un meetign euro-lsst en fevrier. Nous (nous sommes 3, un par pays) devons mettre ca sur pieds avant Noel (2006). - *Yannick as-tu de nouveau concernant le poste Panorapix?* - AstroWISE: E.Valentijn a envoye un certain nombre d'actions a completer "debut decembre", dont l'installation d'AstroWISE par Frederic a TERAPIX, et la redaction d'un rapport sur le travail effectur sur le Panorapix OpenGL. - Emmanuel sera prochainement fait membre officiel du consortium DES (Dark Energy Survey), essentiellement en tant que developeur. Une visite au NCSA (Illinois) est envisage pour l'ete. - Une reunion "webservice V.O. pour la simulation d'image" a eu lieu a l'IAP jeudi 14 decembre entre J.Blaizot,G.Lemson,E.Bertin et O.Ricou. Un petit resume des differentes technologies en jeu a ete fait. A cours terme, une adaptation de SkyMaker a un format XML preliminaire de description des objets sera faite pour fin-fevrier; ceci afin de pouvoir rajouter de maniere transparente un certain nombre d'attributs aux galaxies et de faciliter l'usage en webservice. Du cote EFIGI, il est tres difficile en ce moment de trouver des stagiaires sur des taches techniques en milieu academique; on investigue avec des candidats etrangers (Maghreb); si aucun ne convient, O.Ricou s'y collera lui-meme: Condor sur le cluster et interface SOAP; les details des conditions d'acces d'Olivier au cluster sont a discuter. A plus long terme, on peut envisager une integration de certains services a Astrogrid, sous certaines conditions. Photometrie (Henry): - Henry a travaille sur des diagrammes en BzK et peut fournir pour des calibrations un echantillon "propre" de couleurs IR d'etoiles avec la photometrie CFHTLS. - au meeting zCOSMOS a Toulouse il a ete evoque d'utiliser les catalogues CFHTLS T03 comme entrees pour zCOSMOS. WIRCAM (Chiara): - Donnees McHardy (RUNID 06AO02): la soustraction du fond ciel en deuxieme passage en cours. - Test sur la soustraction de fond ciel en double passe comme Joel Vernet le suggerait: les images ont des "trous", ce qui rend cette idee inapplicable en pratique. - Donnees Omont : Audrey galamet (etudiante de Omont) a refait le pretraitement sur les images brutes, (seulement pour un champ en bande J), en particulier la correction de crosstalk. Chiara a recupere les images pour faire un stack et voir si leur correction est suffisante. Ils ont demande a Loic toutes les images brutes pour refaire le pretraitement. Loic a repondu que Kanoa est en train de finaliser la distribution des donnees brutes au PI. - Donnees Bouvier: rendez-vous est pris avec Estelle Moraux lundi 18 pour en discuter. A la question de Bouvier "Ou en est la calibration du systeme, en particulier du filtre Y ?" Loic repond "J'y suis presque. J'ai la mesure de quelques standards en Y. J'espere avoir le temps de finaliser l'analyse d'ici la fin de semaine. Au pire, je vous enverrai les mesures brutes pour que vous ayez qqchose a vous mettre sous la dent." - Donnees Deharveng (06AF13) : elles ne sont pas dispnibles au CFHT, Kanoa est train de finaliser la distribution des donnees WIRCam pretraitees. Il s'agit de 81 Go de donnees - Donnees Cuby: il est presse, ses donnees sont pretraitees et disponibles mais pas calibrees photometriquement. - Photometrie COSMOS: pas de nouvelles de Herve. - Questions: *Quelles priorites pour Chiara dans tout cela?*, *Mix1 est il disponible pour les petit RUNID?* Amicalement, Emmanuel.