Chers tous Voici le resume des activites de la periode du 28 octobre au 13 novembre 2008. Alertez moi s'il manque des points que vous jugez importants. Le Tera- meeting est prevu jeudi 13 novembre a 15:00, salle 281. Amicalement Yannick {{I. Processing/doc T0005 et T0006: Yannick, Mathias}} Le re-processing des 48 stacks et leur transfert au CADC sont termines. Tous les directory fcix3 et fcix4 contenant des donnees T0005 ont ete updates. Mathias S. s'est charge d'une partie du post-processing: fabrication des merged catalogs, plots et comparaison avec SDSS, calcul des completude pour tous les Wide et Deep. Il reste a trouver un moyen de verifier la bande "y" (le nouveau filtre i.MP9702). Mathias S. a contacte N. Regnault pour ces nouvelle transformations. Il n'a pas cette info, mais va demander a ses collegues. Yannick a poursuivi l'ecriture de la documentation T0005, produit les pages Web de donnees associees et revu les pages Web de documentation. Le document a ete revu hier par JJ Kavelars au CADC et est quasi-pret. Les tables pricnipales sotn toutes pretes. L'annonce du passage de pre-release a release devrait etre fait aujourd'hui ou demain matin. Une nouvelle requete du CFHT pour l'evaluation des donnees Wide T0006 avant le prochain run de mi-novenbre est arrivee. Le transfert, le QFITS et l'evaluation ont ete faits au cours du week end dernier. Il n'y avait que 2 poses sur 107 a reprogrammer. {{II. Processing Megacam PI: Patrick, Yannick, Mathias S.}} 08AC24: Hudson: yannick a lance le Scamp avec els data WIRCam + MegaCam. En cours. PI: 08BD88: les 87 stacks ont ete produits par Mathias. S., avec les QFITS-out. Les catalogues sont en cours. NGVS (Deep) : Patrick a lance les soustractions de fond de ciel. Elles sont achevees a 75%. Un pointe n'a pas fonctionne et il a ete relance. Les images n'ont pas encore ete verifiees. {{III. Processing WIRCam Patrick:}} WIRDS : - Patrick a downloade les RunID 08BC99 et 08BF99; Henry s'est charge du download de deux autres RunID. - Patrick traite le run 08AC99 pour le test du nouveau script de soustraction du fond de ciel. (etape de soustraction du fond de ciel en cours). LODIEU : - La soustraction du fond de ciel est terminee. Le check visuel des images est en cours. {{IV. YOUPI developpement et misc: Mathias M., Greg.}} - L'implementation du plugin Scamp est terminee. La presentation a l'ecran est similaire a celle du plugin qualityFITS-in (avec des vignettes miniatures, la possibilite d'acceder en un clic a la page de scamp.xml etc.) Il est egalement possible, en parsant le fichier scamp.xml a la volee, de definir des regles de selection de certains fichiers LDAC puis de re-scamper la sous-selection d'un seul clic. Pour le moment, il n'est pas possible de sauver cette sous-selection. Une demo pourra etre faite par Mathias S. ou Greg. Voir la page de resultats depuis: http://clix.iap.fr:8000/youpi/results/ - Le design du shopping cart a ete ameliore: l'affichage des articles actuellement dans le panier est distinct de celui des articles sauvegardes; ces derniers sont accessibles depuis un nouvel onglet 'Saved items'. http://clix.iap.fr:8000/youpi/cart/ - Documentation de Youpi: Migration de la documentation du projet de LaTeX vers DocBook XML. Cela permet d'avoir une version papier LaTeX et une documentation au format HTML egalement de qualite. Les articles (deux pour le moment) ont ete integres dans un 'handbook' plus general qui contiendra tous les aspects de documentation relative au projet: http://terapix.iap.fr/wsvn/index/private/software/youpi/trunk/doc/handbook/handbook.pdf?op=file&rev=0&sc=0 - Normalisation du depot svn de Youpi: Toutes les occurences 'spica2' ont ete modifiees en Youpi, que ce soit dans le code source ou au niveau des noms de repertoires physiques du projet. Tout le code a ete deplace dans le trunk (ligne de developpement principale), les repertoires 'branches' et 'tags' ont ete crees et pourront etre utilisees pour tagger de futures releases ou de nouvelles branches de developpement. - Greg s'affaire pour nous trouver un bon logo YOUPI... {{V. Developpement processing`: Patrick }} Tests CROSSTALK par Patrick: - Tests extensifs des algorithmes de soustraction du crosstalk sur un jeu de donnees D3-1 en band H. - Les taches noires de la correction CFHT proviennent bien d'un masquage insuffisant des objets avant de realiser la mediane par bande d'ampli. Celles ci disparaissent quand on utilise un stack profond pour masquer les objets avant de realiser la mediane. - L'algorithme de correction 32channels avec masque issu du stack semble suffisant pour obtenir une bonne soutraction et un fond de ciel homogene. Par contre un probleme subsiste : Le masquage inclut les "donuts" tres visibles sur le stack. Ils ne sont donc pas soustrait. Un correctif est en cours d'implementation consistant a repere les objets a n*64px en y d'une source brillante et ne pas les masquer. Le probleme est le temps de calcul prohibitif en Python. Une sousroutine est en cours d'ecriture en C pour accelerer ce calcul. - Un script de creation des fichiers Condor pour la correction du XT est disponible. Il permet le calcul d'une correction WIRCAM toutes les deux secondes environ lorsque toutes les machines sont utilisees. - Un script de decoupage des listes d'images pour la soustraction du fond de ciel est en cours de test. Il permet de scinder les listes trop longues pour diminuer le grain de parallelisation et optimiser l'utilisation des ressources de calcul. {{VI. Hardware/system/cluster Fred:}} - Fred a configure ssh hpn sur tout le cluster: passer l'option "-o NoneSwitch=yes" à ssh/scp ou "-e 'ssh -o NoneSwitch=yes'" à rsync pour transférer sans chiffrement Une partie des commandes est arrivee. Fred a commence l'installation: - fcix3 a maintenant 2 dual-coeurs et une batterie carte RAID areca. - fcix4: 2 procs dual coeurs (de mix10) + batterie carte RAID areca. Fred a finalement regroupé les 2 CPUs de fcix3/fcix4 dans fcix3, et les 2 CPUs de mix10 dans fcix4. Fred a constaté qu'avec 2 CPUs de fréquences différentes, le plus rapide s'alignait sur le plus lent... Cette config permettra donc à fcix4 (qui peut contenir plus de données) d'être plus rapide. - ftpix: 12 disques de 1.5TB installés, elle est maintenant équipée de 15TB utiles. Avant cette uopdate, les donnees avaient ete sauvegardée sur mix15/fcix .Le re-tranfert des données est en cours (avec cette fois le couple tar/netcat). - mix5, mix7, mix10 sont maintenant dotes de 2 quad-coeurs - Le raid de mix5 s'est bien reconstruit après changement du câble SATA du disque en erreur. - mix7: RAID pas encore reconstruit. Problème non reconnu (backplane ?). - SL2S: 8 disques 1.5TB en plus. - mix3/proc AMD B3 agorus: pas de nouvelles. Bilan reception des commandes: - *L16261/MEGACA/08* *reçu le xx/xx/08* 2 machines 2U, 8 c?urs 2.1GHz, 12TB disk brut (10.5TB utile en RAID5), 16GB RAM - Carri 2*4213.39? .......... 8426.78 ? - *L16261/MEGACA/08* *reçu le xx/xx/08* 1 machine 3U, 8 c?urs 2.1GHz, 24TB disk brut (21 TB utile en RAID6), 64GB RAM - Carri ..................... 7398.41 ? - *L16261/MEGACA/08* *reçu le xx/xx/08* 5 disques 1.5TB Seagate spare - Carri 5*165? ................................................................ 825 ? - *L16259/MEGACA/08* *reçu le 12/11/08* 2 batterie back up pour cartes RAID de fcix3 et fcix4 - Carri ............................................... 213.20 ? - *L16322/MEGACA/08* *reçu le 12/11/08* KVM cosmix - Carri .......................................................................................... 656.65 ? - *L16320/MEGACA/08* *reçu le 31/10/08* 2 quad core 2.1GHz upgrade mix10 - Carri 2*258.5 ............................................................ 517 ? - *L16326/MEGACA/08* *reçu le 23/10/08* 1 écran 24" Dell 2408FPW .................................................................................... 472 ? - *L16397/MEGACA/08* *reçu le 12/11/08* 2 quad station I9000 - Carri 2*1108.03 ...................................................................... 2216.06 ? - *L16377/MEGACA/08* *reçu le xx/xx/08* 1 machines 2U, 8 c?urs 2.1GHz, 12TB disk brut (10.5TB utile en RAID5), 16GB RAM - Carri 4213.39? .......... 4213.39 ? - *L16377/MEGACA/08* *reçu le 04/11/08* 6 disques 1.5To -> ftpix Carri 6*165? ...................................................................... 990 ? - *L16384/MEGACA/08* *reçu le 04/11/08* 6 disques 1.5To -> ftpix Carri 6*165? ...................................................................... 990 ? - *L16396/MEGACA/08* *reçu le 04/11/08* 8 disques spares (cosmix, mix7, (mix{8,9}, efigix, fcix2)) Carri 3*45.5+3*175.5+2*67.6 ...................... 798.2 ? - *L16398/MEGACA/08* *reçu le 04/11/08* 2 disques spares Hitachi 400Go - LCDI ....................................................................... 108.7 ? - *L16376/MEGACA/08* *reçu le xx/xx/08* 1 barebone Tyan GT24 youpi - 1quad opteron 2GHz 8GB RAM, 2 disques 300Go velociraptor en RAID - Carri ...... 2106.56 ? - *L16373/MEGACA/08* *reçu le 12/11/08* 5 claviers logitech QWERTY - Carri .......................................................................... 82.38 ? - *L16399/MEGACA/08* *reçu le 31/10/08* câbles RJ45 LDLC ............................................................................................ 39.60 ? - *L16404/MEGACA/08* *reçu le 03/11/08* divers LDLC ................................................................................................. 842.11 ? --------- Total 30896.04 ? - *L16287/DESIR/08* *reçu le xx/xx/08* 1 serveur de stockage 9U 2 Xeons 2.5GHz 8GB RAM 2x24x1.5TB disk - Carri ...................................... 13761.44 ? - *L16287/DESIR/08* *reçu le xx/xx/08* 6x2x2GB RAM pour fcix{3,4} et clix - Carri ................................................................... 792 ? --------- Total 14553.44 ? - *L16288/SL2S/08* *reçu le 04/11/08* upgrade machine sl2s: 9 disques 1.5TB - Carri - 9*165? ....................................................... 1485 ? - *L16289/SL2S/08* *reçu le xx/xx/08* upgrade machine sl2s: 4x2x2GB RAM - Carri - 4*156? ........................................................... 624 ? --------- Total 2109 ? {{VII. Divers (All):}} Poste CCD-IR: L'INSU a finalement accepte l'option d'avoir Yuliana Goranova en IE d'abord (sans these) et en IR ensuite (apres soutenance). Yuliana a donc accepte le poste et devrait arriver vers le 7 decembre. Apres discussion avec Mathias M. et Henry on enviage de la mettre directement sur l'operation avec YOUPI de facon a ce qu'elle puisse interagir avec Mathias M. et Gregory pour tester et valider progressivement YOUPI, puis etre operationnelle des qu'une version mode production sera mise en place.