{"id":1858,"date":"2023-10-19T16:21:00","date_gmt":"2023-10-19T14:21:00","guid":{"rendered":"https:\/\/zetaly.io\/?p=1858"},"modified":"2026-10-16T11:07:14","modified_gmt":"2026-10-16T09:07:14","slug":"smf-decodes-ameliorer-accessibilite-des-donnees-it-avec-le-collecteur-en-libre-service-de-zetaly","status":"publish","type":"post","link":"https:\/\/zetaly.io\/fr\/blog\/smf-decoded-enhancing-it-data-accessibility-with-zetalys-self-service-collector\/","title":{"rendered":"Que sont les enregistrements SMF ? Donn\u00e9es SMF mainframe expliqu\u00e9es"},"content":{"rendered":"

Les enregistrements SMF (SMF records) sont le journal d'activit\u00e9 d'un mainframe IBM. Le syst\u00e8me d'exploitation z\/OS les \u00e9crit gr\u00e2ce \u00e0 System Management Facilities (SMF), son composant d'enregistrement int\u00e9gr\u00e9. Ils couvrent tout ce qui peut \u00eatre mesur\u00e9 sur la machine (inventaire mat\u00e9riel et logiciel, utilisation, performance et activit\u00e9 de s\u00e9curit\u00e9) (IBM<\/a>).<\/p>\n\n\n\n

IBM renouvelle ses mat\u00e9riels et logiciels mainframe tous les deux \u00e0 trois ans, mais garde le format SMF r\u00e9trocompatible. Une entreprise peut donc comparer des donn\u00e9es SMF sur de nombreuses ann\u00e9es sans changer sa fa\u00e7on de les lire.<\/p>\n\n\n\n

Ce que contient un enregistrement SMF<\/h2>\n\n\n\n

Chaque enregistrement SMF commence par un en-t\u00eate, suivi des donn\u00e9es. L'en-t\u00eate indique le type d'enregistrement, le sous-type quand l'enregistrement en a un, la longueur de l'enregistrement, ainsi que la date et l'heure auxquelles SMF l'a \u00e9crit (IBM<\/a>).<\/p>\n\n\n\n

Le type d'enregistrement identifie le composant ou la fonction qui a \u00e9crit l'enregistrement. Par exemple, le type 30 d\u00e9crit le travail des jobs et de leurs steps, le type 101 d\u00e9crit l'activit\u00e9 de la base de donn\u00e9es Db2, et le type 110 d\u00e9crit CICS (Customer Information Control System), le logiciel qui ex\u00e9cute les transactions en ligne (IBM<\/a>).<\/p>\n\n\n\n

Les sous-types SMF divisent un type d'enregistrement selon la nature de l'\u00e9v\u00e9nement ou selon la vue des donn\u00e9es. Dans le type 30, par exemple, le sous-type 1 est \u00e9crit au d\u00e9marrage d'un job, le sous-type 2 rend compte de l'activit\u00e9 de chaque intervalle, et le sous-type 5 est \u00e9crit \u00e0 la fin du job (documentation Zetaly<\/a>). Chaque sous-type peut avoir sa propre structure. IBM utilise les sous-types pour que des donn\u00e9es li\u00e9es partagent un m\u00eame type d'enregistrement au lieu de plusieurs num\u00e9ros (IBM<\/a>).<\/p>\n\n\n\n

La notation habituelle relie les deux nombres par un trait d'union. SMF 30-1 d\u00e9signe le type d'enregistrement 30, sous-type 1.<\/p>\n\n\n\n

Combien existe-t-il de types d'enregistrements SMF ?<\/h2>\n\n\n\n

Dans l'en-t\u00eate standard, le type d'enregistrement occupe un octet. Il peut donc prendre 256 valeurs, de 0 \u00e0 255 (IBM<\/a>). Un en-t\u00eate \u00e9tendu va jusqu'au type 2047. IBM r\u00e9serve les types 0 \u00e0 127 et 1152 \u00e0 2047 \u00e0 ses propres produits. Les types 128 \u00e0 1151 sont ouverts aux autres \u00e9diteurs de logiciels et aux programmes internes de chaque entreprise (IBM<\/a>).<\/p>\n\n\n\n

La section consacr\u00e9e aux enregistrements SMF dans la documentation z\/OS 3.2 d'IBM d\u00e9crit plus de 120 types d'enregistrements IBM (IBM<\/a>). Les autres \u00e9diteurs utilisent la plage ouverte pour leurs propres donn\u00e9es. Par exemple, Zetaly Automated Capacity (ZAC) \u00e9crit ses indicateurs dans le type d'enregistrement SMF 225.<\/p>\n\n\n\n

Quand z\/OS \u00e9crit-il les enregistrements SMF ?<\/h2>\n\n\n\n

Le syst\u00e8me z\/OS \u00e9crit certains enregistrements quand un \u00e9v\u00e9nement se produit, et d'autres \u00e0 intervalle fixe. Un enregistrement d'\u00e9v\u00e9nement est captur\u00e9 au moment de l'\u00e9v\u00e9nement. Par exemple, SMF 30-1 est \u00e9crit au d\u00e9marrage d'un job, et SMF 30-5 \u00e0 sa fin.<\/p>\n\n\n\n

Les compteurs, les chiffres de capacit\u00e9 et les donn\u00e9es d'inventaire sont mesur\u00e9s sur un intervalle et \u00e9crits \u00e0 la fin de cet intervalle. La plupart des sites utilisent un intervalle de 15 minutes.<\/p>\n\n\n\n

SMF transf\u00e8re ensuite les enregistrements vers des data sets SMF ou vers des log streams. Un log stream garde d'abord les enregistrements en m\u00e9moire, puis les \u00e9crit sur disque quand sa m\u00e9moire tampon est pleine. Des programmes de dump copient plus tard les enregistrements sur bande ou sur disque pour un stockage de longue dur\u00e9e (IBM<\/a>).<\/p>\n\n\n\n

Qui utilise les donn\u00e9es SMF, et pour quoi faire<\/h2>\n\n\n\n

Les donn\u00e9es SMF servent \u00e0 bien d'autres \u00e9quipes que les ing\u00e9nieurs mainframe. IBM cite parmi leurs usages la facturation des utilisateurs, le suivi de la fiabilit\u00e9, l'analyse de la configuration, la planification des jobs, le profilage de l'utilisation des ressources et le maintien de la s\u00e9curit\u00e9 (IBM<\/a>).<\/p>\n\n\n\n

En pratique, les \u00e9quipes finance et FinOps (gestion financi\u00e8re des op\u00e9rations IT) utilisent les donn\u00e9es SMF pour r\u00e9partir les co\u00fbts du mainframe entre les d\u00e9partements et pour planifier la capacit\u00e9. Les \u00e9quipes d'exploitation s'en servent pour comprendre pourquoi une application ralentit. Les \u00e9quipes s\u00e9curit\u00e9 et audit utilisent les enregistrements de type 80, qu'IBM nomme security product processing (IBM<\/a>).<\/p>\n\n\n\n

Les r\u00e9ponses les plus utiles s'obtiennent souvent en combinant plusieurs types et sous-types. Par exemple, Db2 \u00e9crit des donn\u00e9es de comptabilisation par thread dans SMF 101 sous-type 3, et par package dans SMF 101 sous-type 239. Un thread est une unit\u00e9 de travail de la base de donn\u00e9es, et un package regroupe les requ\u00eates de base de donn\u00e9es d'un programme. Ensemble, les deux sous-types montrent ce que co\u00fbte chaque programme dans chaque transaction.<\/p>\n\n\n\n

Avec cette vue, une \u00e9quipe peut trouver le programme \u00e0 l'origine d'un ralentissement soudain apr\u00e8s une nouvelle version. Elle peut comparer les temps de r\u00e9ponse avant et apr\u00e8s la mise en production, et voir si un programme attend le r\u00e9seau, des verrous ou l'acc\u00e8s disque.<\/p>\n\n\n\n

Les principaux types d'enregistrements SMF<\/h2>\n\n\n\n

Le tableau pr\u00e9sente les types d'enregistrements qui alimentent les principaux tableaux de bord de Zetaly, et la question \u00e0 laquelle chacun r\u00e9pond. Chaque type renvoie vers sa page dans la documentation Zetaly, qui d\u00e9crit chaque champ.<\/p>\n\n\n\n

Type d'enregistrement<\/strong><\/td>Domaine<\/strong><\/td>Question \u00e0 laquelle il r\u00e9pond<\/strong><\/td><\/tr>
SMF 30-3<\/a><\/td>Activit\u00e9 batch<\/td>Comment les jobs planifi\u00e9s utilisent-ils la fen\u00eatre de traitement, et o\u00f9 peut-on raccourcir cette fen\u00eatre ?<\/td><\/tr>
SMF 70-1<\/a><\/td>Activit\u00e9 CPU<\/td>Quel temps processeur chaque machine et chaque partition logique (LPAR) utilisent-elles, sur les processeurs g\u00e9n\u00e9raux et sur les processeurs sp\u00e9cialis\u00e9s zIIP (IBM Z Integrated Information Processor) ?<\/td><\/tr>
SMF 74-1<\/a><\/td>Performance du stockage<\/td>Quels types d'op\u00e9rations d'entr\u00e9e-sortie (I\/O) s'ex\u00e9cutent, et \u00e0 quelle vitesse les disques r\u00e9pondent-ils ?<\/td><\/tr>
SMF 74-1<\/a> et DCOLLECT<\/td>Capacit\u00e9 de stockage<\/td>Quelle capacit\u00e9 de stockage est disponible, des baies de stockage jusqu'\u00e0 chaque volume ? (DCOLLECT est un utilitaire IBM qui liste les data sets et les volumes.)<\/td><\/tr>
SMF 101<\/a><\/td>Activit\u00e9 Db2<\/td>Combien de requ\u00eates Db2 traite-t-il, et \u00e0 quelle vitesse y r\u00e9pond-il ?<\/td><\/tr>
SMF 110-1<\/a><\/td>Activit\u00e9 CICS<\/td>Combien de transactions en ligne s'ex\u00e9cutent, et quel est leur temps de r\u00e9ponse ?<\/td><\/tr>
SMF 80<\/a><\/td>Activit\u00e9 de s\u00e9curit\u00e9<\/td>Quels \u00e9v\u00e9nements le logiciel de s\u00e9curit\u00e9 a-t-il enregistr\u00e9s ?<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Source : documentation Zetaly, correspondance SMF de chaque tableau de bord<\/a><\/p>\n\n\n\n

Zetaly transforme les enregistrements SMF et d'autres donn\u00e9es mainframe en 114 tables pr\u00eates \u00e0 l'emploi. Un m\u00eame enregistrement peut alimenter plusieurs tables. Par exemple, SMF 115-1 produit une table pour les donn\u00e9es de log et une table pour les donn\u00e9es de stockage. Le Data Collection Summary<\/a> liste chaque table avec son type et son sous-type d'enregistrement.<\/p>\n\n\n\n

Pourquoi les donn\u00e9es SMF sont difficiles \u00e0 exploiter<\/h2>\n\n\n\n

Les enregistrements SMF sont \u00e9crits en binaire, pas en texte (IBM<\/a>). Le format binaire gardait les enregistrements compacts quand le stockage co\u00fbtait cher, et IBM l'a conserv\u00e9 pour que les anciens et les nouveaux enregistrements restent comparables. Personne ne peut lire un enregistrement binaire sans un programme qui le d\u00e9code.<\/p>\n\n\n\n

Chaque type et chaque sous-type d'enregistrement a sa propre structure, et chacun demande donc ses propres r\u00e8gles de d\u00e9codage. Le volume ajoute \u00e0 la difficult\u00e9. Une partition logique de production \u00e9crit en g\u00e9n\u00e9ral 20 \u00e0 50 gigaoctets (Go) de donn\u00e9es SMF par jour, \u00e0 un rythme de quelques centaines \u00e0 plusieurs milliers d'enregistrements par seconde.<\/p>\n\n\n\n

Une fois d\u00e9cod\u00e9es, les donn\u00e9es doivent encore \u00eatre interpr\u00e9t\u00e9es. Une r\u00e9ponse utile demande en g\u00e9n\u00e9ral de croiser plusieurs types d'enregistrements, et ce travail exige une bonne connaissance de l'exploitation mainframe.<\/p>\n\n\n\n

Des enregistrements SMF \u00e0 l'analyse des donn\u00e9es SMF<\/h2>\n\n\n\n

Les entreprises lisent les donn\u00e9es SMF de plusieurs fa\u00e7ons. Le tableau pr\u00e9sente les principales.<\/p>\n\n\n\n

M\u00e9thode<\/strong><\/td>Fonctionnement<\/strong><\/td>Usage type<\/strong><\/td><\/tr>
Programmes de dump d'IBM (IFASMFDP, IFASMFDL)<\/td>Copient les donn\u00e9es SMF en batch, filtr\u00e9es par type, sous-type, date ou syst\u00e8me<\/td>Archivage et extraction cibl\u00e9e<\/td><\/tr>
SMF exits (IEFU83, IEFU84, IEFU85)<\/td>Copient ou filtrent chaque enregistrement au moment o\u00f9 z\/OS l'\u00e9crit<\/td>Alimentation d'un autre outil, filtrage<\/td><\/tr>
Interface temps r\u00e9el<\/td>Une application s'abonne et lit les enregistrements \u00e0 leur arriv\u00e9e, sans passer par un data set<\/td>Supervision, alertes, gestion des informations et des \u00e9v\u00e9nements de s\u00e9curit\u00e9 (SIEM)<\/td><\/tr>
API System Logger<\/td>Un programme lit directement le log stream<\/td>Outils sp\u00e9cialis\u00e9s<\/td><\/tr>
Traitement des fichiers archiv\u00e9s<\/td>Outils de tri, scripts REXX, SAS, MXG, chargement dans Db2, ou outils internes<\/td>Reporting, comptabilisation, planification de capacit\u00e9<\/td><\/tr>
Produits de streaming<\/td>Envoient les enregistrements vers une plateforme externe (par exemple IBM Z Common Data Provider vers Splunk ou Elastic)<\/td>Observabilit\u00e9 centralis\u00e9e, SIEM<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Source: Zetaly<\/p>\n\n\n\n

Zetaly Data Platform (ZDP)<\/a> appartient au groupe des produits de streaming. Son composant de collecte, Zetaly Streaming Agent (ZSA), fonctionne \u00e0 partir d'un exit SMF. L'exit agit sur le flux des enregistrements et non sur leur stockage. Chaque entreprise garde donc son propre choix de data sets SMF ou de log streams.<\/p>\n\n\n\n

ZDP transforme les enregistrements bruts en donn\u00e9es que les \u00e9quipes peuvent interroger, en cinq \u00e9tapes.<\/p>\n\n\n\n

    \n
  1. 1. Sur le mainframe, l'exit SMF capture chaque enregistrement, le convertit et le place dans une file d'attente.<\/li>\n\n\n\n
  2. 2. ZDP r\u00e9cup\u00e8re les nouveaux enregistrements dans la file d'attente.<\/li>\n\n\n\n
  3. 3. ZDP d\u00e9code chaque enregistrement, enrichit les donn\u00e9es si n\u00e9cessaire et les stocke dans une base de donn\u00e9es, avec une table par type de donn\u00e9es.<\/li>\n\n\n\n
  4. 4. ZDP applique les r\u00e8gles de cycle de vie des donn\u00e9es d\u00e8s leur arriv\u00e9e, par exemple l'agr\u00e9gation par heure ou par jour et la suppression des donn\u00e9es anciennes.<\/li>\n\n\n\n
  5. 5. L'API Zetaly (interface de programmation d'application) fournit les donn\u00e9es avec des filtres, comme une plage de dates ou une liste de champs. Les \u00e9quipes explorent les donn\u00e9es dans Zetaly Data Explorer (ZDE), l'interface web de ZDP, ou construisent des tableaux de bord dans Zetaly Service Intelligence (ZSI)<\/a>, qui ajoute la projection de tendances, la d\u00e9tection d'anomalies et les alertes.<\/li>\n<\/ol>\n\n\n\n
    \"How<\/figure>\n\n\n\n

    Source: Zetaly<\/p>\n\n\n\n

    La collecte a un co\u00fbt, et ZDP le maintient bas. Dans une grande banque au Br\u00e9sil qui collecte environ 30 000 enregistrements par seconde, la collecte ZDP utilise environ 0,2 % de la capacit\u00e9 des processeurs g\u00e9n\u00e9raux.<\/p>\n\n\n\n

    Types d'enregistrements que ZDP ne d\u00e9code pas nativement<\/h3>\n\n\n\n

    Pour un type d'enregistrement hors de la liste standard, une \u00e9quipe peut \u00e9crire ses propres r\u00e8gles de d\u00e9codage avec le parser personnalis\u00e9 de ZDP. L'\u00e9quipe reprend la description des champs dans la documentation IBM, indique la position et la longueur de chaque champ, et choisit comment convertir les octets (par exemple du binaire vers un nombre entier). Elle teste ensuite les r\u00e8gles sur des enregistrements r\u00e9els avant de les utiliser.<\/p>\n\n\n\n

    \"Custom<\/figure>\n\n\n\n
    \"Step<\/figure>\n\n\n\n
    \"Step<\/figure>\n\n\n\n

    Questions fr\u00e9quentes<\/h2>\n\n\n
    \n
    \n
    \n

    Que sont les enregistrements SMF ?<\/h3>\n
    \n\n

    Les enregistrements SMF sont les enregistrements d'activit\u00e9 d'un mainframe IBM. Le composant z\/OS System Management Facilities (SMF) les \u00e9crit pour consigner l'inventaire, l'utilisation des ressources, la performance et les \u00e9v\u00e9nements de s\u00e9curit\u00e9. Chaque enregistrement comporte un en-t\u00eate (type, sous-type, longueur, heure) suivi de donn\u00e9es binaires. Les entreprises s'en servent pour les co\u00fbts, la capacit\u00e9, la performance et l'audit.<\/p>\n\n<\/div>\n<\/div>\n

    \n

    Qu'est-ce que SMF dans un mainframe ?<\/h3>\n
    \n\n

    SMF signifie System Management Facilities. Ce composant du syst\u00e8me d'exploitation IBM z\/OS collecte des informations sur l'activit\u00e9 du syst\u00e8me et des jobs, et les range dans des enregistrements. IBM cite parmi les usages des donn\u00e9es SMF la facturation, le suivi de la fiabilit\u00e9, l'analyse de la configuration, la planification des jobs, le profilage des ressources et la s\u00e9curit\u00e9.<\/p>\n\n<\/div>\n<\/div>\n

    \n

    Combien existe-t-il de types d'enregistrements SMF ?<\/h3>\n
    \n\n

    L'en-t\u00eate SMF standard stocke le type d'enregistrement sur un octet (valeurs 0 \u00e0 255), et un en-t\u00eate \u00e9tendu va jusqu'\u00e0 2047. IBM r\u00e9serve les types 0 \u00e0 127 et 1152 \u00e0 2047 \u00e0 ses produits. Les types 128 \u00e0 1151 sont ouverts aux autres \u00e9diteurs et aux programmes internes. La documentation z\/OS 3.2 d'IBM d\u00e9crit plus de 120 types IBM.<\/p>\n\n<\/div>\n<\/div>\n

    \n

    Quelle est la diff\u00e9rence entre un type et un sous-type d'enregistrement SMF ?<\/h3>\n
    \n\n

    Le type identifie le composant ou la fonction qui a \u00e9crit l'enregistrement, par exemple 30 pour les jobs et 110 pour CICS. Les sous-types SMF divisent un type selon la nature de l'\u00e9v\u00e9nement ou la vue des donn\u00e9es. SMF 30-1 est \u00e9crit au d\u00e9marrage d'un job, SMF 30-5 \u00e0 sa fin. Chaque sous-type peut avoir sa propre structure.<\/p>\n\n<\/div>\n<\/div>\n

    \n

    \u00c0 quelle fr\u00e9quence z\/OS \u00e9crit-il les enregistrements SMF ?<\/h3>\n
    \n\n

    Le moment d'\u00e9criture d\u00e9pend de l'enregistrement. Les enregistrements d'\u00e9v\u00e9nement, comme le d\u00e9marrage ou la fin d'un job, sont \u00e9crits au moment de l'\u00e9v\u00e9nement. Les compteurs, la capacit\u00e9 et les donn\u00e9es d'inventaire sont mesur\u00e9s sur un intervalle de collecte et \u00e9crits \u00e0 la fin de cet intervalle. La plupart des sites utilisent un intervalle de 15 minutes.<\/p>\n\n<\/div>\n<\/div>\n

    \n

    Comment lire les donn\u00e9es SMF si elles sont \u00e9crites en binaire ?<\/h3>\n
    \n\n

    Un programme doit d\u00e9coder les donn\u00e9es SMF avant qu'on puisse les lire. Les entreprises utilisent les programmes de dump d'IBM, les exits SMF, des scripts, SAS ou MXG, ou des produits de streaming vers une plateforme d'analyse. Zetaly Data Platform (ZDP) transforme 30 types d'enregistrements SMF en tables pr\u00eates \u00e0 l'emploi et accepte les r\u00e8gles de d\u00e9codage de chaque \u00e9quipe.<\/p>\n\n<\/div>\n<\/div>\n

    \n

    La collecte des donn\u00e9es SMF ralentit-elle le mainframe ?<\/h3>\n
    \n\n

    Toute collecte consomme de la capacit\u00e9 processeur, donc la m\u00e9thode compte. Zetaly Data Platform (ZDP) capture les enregistrements via un exit SMF et les envoie en continu hors du mainframe. Dans une grande banque au Br\u00e9sil qui collecte environ 30 000 enregistrements par seconde, la collecte ZDP utilise environ 0,2 % de la capacit\u00e9 des processeurs g\u00e9n\u00e9raux.<\/p>\n\n<\/div>\n<\/div>\n<\/div>\n<\/div>","protected":false},"excerpt":{"rendered":"

    SMF records are the activity log of an IBM mainframe. The z\/OS operating system writes them through System Management Facilities (SMF), its built-in recording component, and they cover everything that can be measured on the machine (hardware and software inventory, usage, performance, and security activity) (IBM). IBM renews its mainframe hardware and software every two […]<\/p>\n","protected":false},"author":5,"featured_media":1908,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"content-type":"","footnotes":""},"categories":[41],"tags":[],"class_list":["post-1858","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-data-integration"],"acf":[],"_links":{"self":[{"href":"https:\/\/zetaly.io\/fr\/wp-json\/wp\/v2\/posts\/1858","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/zetaly.io\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/zetaly.io\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/zetaly.io\/fr\/wp-json\/wp\/v2\/users\/5"}],"replies":[{"embeddable":true,"href":"https:\/\/zetaly.io\/fr\/wp-json\/wp\/v2\/comments?post=1858"}],"version-history":[{"count":0,"href":"https:\/\/zetaly.io\/fr\/wp-json\/wp\/v2\/posts\/1858\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/zetaly.io\/fr\/wp-json\/wp\/v2\/media\/1908"}],"wp:attachment":[{"href":"https:\/\/zetaly.io\/fr\/wp-json\/wp\/v2\/media?parent=1858"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/zetaly.io\/fr\/wp-json\/wp\/v2\/categories?post=1858"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/zetaly.io\/fr\/wp-json\/wp\/v2\/tags?post=1858"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}