Contexte

Renater nous informe de travaux de maintenance sur le routeur Renater de Cachan. Cet équipement route tous les établissements reliés à Rubis, dont le campus de Meudon de l'Observatoire de Paris.

Interruptions de service

Renater prévoit une interruption de service dans la plage suivante :

• du lundi 23/09/2024 20:00 au 24/09/2024 06:00

Nous n'avons pas de détail sur le nombre et la durée des coupures dans ces crénaux horaires.

Numéros de ticket NOC : 126448.

Impact

Tout le MAN Rubis sera isolé de l'Internet et donc en particulier le campus de Meudon.

Dernière minute

• la maintenance a bien eu lieu cette nuit, environ de 22:15 à 23:00 (depuis notre supervision)

En bref

La DIO a pris la décision d'arrêter le serveur qui porte le site web institutionnel de l'établissement (www.obspm.fr, www.observatoiredeparis.psl.eu) pour arrêter une attaque et une compromission en cours. Le serveur restera arrêté jusqu'à nouvel ordre, le temps qu'une analyse des faits soit réalisée et que des conclusions en soient tirées.

Contexte

La DIO a été alertée par sa supervision ce samedi d'une activité anormale sur le serveur qui porte le site web institutionnel. Ce site web (non géré par la DIO) tourne grâce à un logiciel CMS (non géré par la DIO) qui lui-même tourne sur un serveur (géré par la DIO).

C'est une faille du logiciel CMS, actuellement dans une version vulnérable, qui a été exploitée pour porter une attaque hier vendredi dans la soirée.

Pour agir vite et stopper l'attaque, la DIO a pris la décision (confirmée à postériori par la présidence) d'arrêter la machine virtuelle sous-jacente qui sert de serveur web pour le CMS compromis.

Nous sommes désolés pour cette gêne occasionnée.

Dernière minute

• 12/09/2024 09:00 :
  • après analyse de la situation, prise d'un maximum de précaution et actions pour éliminer tous les éléments dans lesquels nous n'avions plus confiance, le site web est à nouveau en ligne pour l'ensemble de l'Internet, avec les données d'une date antérieure

Maintenance du point de montage scratch2 sur Tycho

Le montage /scratch2 sur Tycho sera indisponible le mardi 20 août de 13h à 16h afin de faire une mise à jour de BeeGFS de la version 7.3.0 à 7.4.4

Cette nouvelle version corrige des problèmes de compatibilité avec les derniers kernels Linux.

/scratch2 sera démonté sur la frontale Tycho, tous les noeuds Tycho et sur Johannes.

Merci pour votre compréhension.

Dernière minute

• 15h30 : la mise à jour est terminée, les accès à /scratch2 sont rétablis.

Un redémarrage de la frontale Tycho a été fait à l'occasion de cette maintenance pour passer les dernières mises à jour de sécurité.

Coupure de courant

Le site de Meudon a subi une coupure de courant le

30/05/2024 aux environs de 9h

Impacts

En ce qui concerne l'informatique gérée par la DIO, voici les impacts :

• coupure des serveurs de calcul dans le conteneur qui ont été brutalement arrêtés, notamment :
  • la grappe DIO
  • la mésomachine de calcul mesopsl.obspm.fr

L'accès aux serveurs de calcul est en cours de rétablissement.

Nous sommes désolés de cette interruption de service indépendante de notre volonté.

Merci pour votre compréhension.

Dernière minute

• 11h : Les accès aux serveurs de calcul sont rétablis

Contexte

Le campus de Meudon sera totalement isolé du réseau Rubis/Renater, donc de l'Internet :

• du jeu. 16 mai 20h00
• au ven. 17 mai 06h00

Suite à la pose de nouvelles fibres optiques dans les nouveaux cheminements du campus de Meudon, la DIO a demandé à Renater un dévoiement des deux arrivées Rubis dans les nouveaux cheminements (cf. article BIOP, section « Dévoiement des arrivées Renater : plus fiable » ).

Trois tronçons de nouveaux câbles Renater ont été posés les 18-19/03/2024. Il faut maintenant procéder à la coupure des anciens câbles à deux endroits et aux soudures des nouveaux câbles.

Il n'y a pas que l'Observatoire qui est impacté par ces travaux, des liaisons desservant d'autres établissements connectés à Rubis (CNRS Bellevue, ONERA, etc.) seront touchées.

Les bénéfices retirés de cette opération sont :

• les deux câbles nous connectant à Rubis/Renater prennent des chemins désormais totalement différents : suppression d'un point de défaillance unique
• les câbles cheminent désormais dans des fourreaux et chambres à l'état de l'art :
  • les nouvelles chambres de tirages ont des couvercles en fonte plus résistants au passage des tondeuses à gazon (les anciens couvercles en béton s'effondraient)
  • les nouveaux fourreaux sont en PVC, moins fragiles que les anciens en fibrociment amianté
  • les nouveaux fourreaux sont finement géolocalisés et munis d'un filet avertisseur (moins de risque de coup de pelleteuse malencontreux)

Nous vous remercions pour votre compréhension de ces travaux qui vont améliorer la fiabilité des accès à Rubis/Renater de notre campus.

Services impactés

• tout le campus de Meudon sera isolé de l'Internet
• tous les services hébergés à Meudon seront isolés de l'Internet, notamment :
  • les machines de calcul intensif (MesoPSL, tycho)
  • gitlab.obspm.fr

Services non impactés

• tous les services hébergés à Paris restent disponibles, notamment :
  • la messagerie
  • le site web institutionnel
  • SIFAC

Dernière minute

• jeudi, 18:00 : arrivée des premières personnes, qui font des mesures préalables avec un réflectomètre au niveau de la baie réseau au bâtiment 15

• jeudi, 19:00 : arrivée d'autres personnes. Résultat des mesures, 2 fibres cassées au niveau des connecteurs dans le tiroir optique de 12, il faut ressouder les connecteurs pour l'ensemble des 12 fibres du tiroir

• jeudi, 19:40 : le tiroir est réparé, départ de 4 personnes sur la première chambre, préparation de la coupure, appel au NOC pour avoir le go de la coupure à 20h ou après

• jeudi, 20:15 : coupure et début du travail (en parallèle par deux binômes) d'installation des 2 nouvelles boîtes d'épissures et de soudage des nouvelles fibres

• jeudi, 22:35 : la connexion principale du campus de l'Observatoire est opérationnelle

• jeudi, 22:45 : la connexion de secours du campus de l'Observatoire est elle-aussi opérationnelle

• jeudi 22:45 : appel au NOC qui va vérifier les puissances optiques reçues par les transceivers opto-électroniques pour vérifier grossièrement que les nouvelles fibres n'ont pas d'atténuations anormales

• jeudi, 23:10 : confirmation par le NOC que les valeurs sont correctes, fin de l'opération

Coupure de courant

Le site de Meudon a subi une micro coupure de courant le

21/04/2024 aux environs de 16h

Impacts

En ce qui concerne l'informatique gérée par la DIO, voici les impacts :

• coupure des serveurs de calcul dans le conteneur qui ont été brutalement arrêtés, notamment :
  • la grappe DIO
  • la mésomachine de calcul mesopsl.obspm.fr

Nous sommes désolés de cette interruption de service indépendante de notre volonté.

Merci pour votre compréhension.

Dernière minute

• 22/04/2024, 10h30 : le switch Ethernet de tête du datacenter qui était dans un état indéterminé a été redémarré électriquement, l'ensemble du datacenter est à nouveau atteignable via le réseau

Coupure de courant

Le site de Meudon a subi une micro coupure de courant le

18/04/2024 aux environs de 14h

Impacts

En ce qui concerne l'informatique gérée par la DIO, voici les impacts :

• coupure des serveurs de calcul dans le conteneur qui ont été brutalement arrêtés, notamment :
  • la grappe DIO
  • la mésomachine de calcul mesopsl.obspm.fr

Un redémarrage de la grappe de calcul Tycho et des serveurs de calcul MesoPSL est actuellement en cours.

Nous sommes désolés de cette interruption de service indépendante de notre volonté.

Merci pour votre compréhension.

Dernière minute

• 15h45 : Seconde microcoupure électrique du site

• 18h30 : Remise en service de Tycho et MesoPSL à l'exception de quelques serveurs MesoPSL qui ne sont pas encore opérationnels (sur astro_fat, totoro et loreli).

• 19/04 à 16h : Tous les services sont maintenant rétablis

Depuis le 01/02/2024, Google (GMail) a durci sa politique de réception d'e-mail pour lutter contre le spam. Après pas mal de travail et de cycles d'essai/erreur, la DIO a réussi à faire en sorte que les e-mails avec un expédieur en @obspm.fr soient acceptés par GMail.

La DIO travaille actuellement pour que les expéditeurs en @observatoiredeparis.psl.eu soient acceptés de la même façon.

En attendant, nous vous invitons à positionner le champ From (expéditeur) avec votre adresse @obspm.fr et non pas @observatoiredeparis.psl.eu si vous avez besoin d'envoyer des e-mails vers GMail.

Merci pour votre compréhension.

Incident

Dans la nuit du 29 au 30 janvier 2024, deux comptes de l'Observatoire ont été utilisés sur les serveurs de messagerie de l'Observatoire pour envoyer du spam dans le monde entier (≃ 200 000 e-mails de spams ont été envoyés).

Cela veut dire que les mots de passe de ces deux comptes ont été subtilisés par des malveillants via des sites d'hameçonnage (phishing).

Impact : impossibilité d'envoi vers certains établissements

Même si ces envois ont été stoppés le plus tôt possible par un collègue au cours de la nuit (!), le spam massif envoyé depuis les serveurs de l'Observatoire ont fait chuter leur réputation dans certains systèmes anti-spam.

À l'heure de la mise à jour de cette brève, nous observons que les établissements ou entreprises suivants, qui reviennent souvent dans les destinataires, refusent les messages en provenance de l'Observatoire (liste bien évidemment non exhaustive) :

• Tout l'e-mail dépendant de Microsoft
  • Hotmail (@hotmail.fr, @hotmail.com)
  • Outlook (@outlook.fr)
  • MSN (@msn.com)
  • Live.com (@live.com, @live.fr)
  • PSL (@psl.eu) qui héberge son mail chez Microsoft
• les serveurs de messagerie utilisant la liste zen.spamhaus.org

Nous ne savons pas quel est le délai de rétablissement de la bonne réputation de nos serveurs dans les systèmes utilisés par ces organismes.

Contournement

Il semble que pour l'instant seul smtp-p.obspm.fr a mauvaise réputation. Pour les personnes qui utilisent ce serveur d'envoi et qui observeraient des blocages, il est possible de temporairement changer de configuration dans votre client de messagerie pour smtp-m.obspm.fr, le temps que smtp-p.obspm.fr retrouve une bonne réputation (tutoriel de configuration de messagerie).

Rappel

Il est indispensable d'être vigilant et de saisir son mot de passe uniquement sur des sites web de confiance.

Coupure électrique

Lors de l'entretien annuel du TGBT du bâtiment A, l'électricité alimentant la salle informatique mutualisée du campus de Paris (dite A-111) sera coupée. La prévision de cette coupure est :

samedi 20 Janvier 2024, de 8h00 à 17h00 (durée de la coupure électrique)

L'onduleur de la salle est dimensionné pour des petites coupures de l'ordre de quelques minutes uniquement. l'ensemble de l'informatique (y compris la téléphonie) sera donc coupé :

samedi 20 Janvier 2024, à partir de 06h00 (début de la coupure informatique)

Nous essayerons de redémarrer un maximum de services à la reprise du courant, mais il est possible que certains services ne puissent reprendre que lundi matin.

Dernière minute

• 20/01/2024 16:00 L'essentiel des services sont repartis à l'exception notable du serveur mail.

• 20/01/2024 17:00 Le serveur mail est reparti. Les éventuels problèmes résiduels seront réglés à partir de lundi matin.