Java en Production – L’audit

@Sebastien,

Merci pour vos encouragements.

Nous avons aussi étés impressionnés par la productivité de Spring pour implémenter cette annotation :
* La simplicité de @Around(value = "execution(* *(..)) && @annotation(audited)", argNames = "pjp,audited") pour indiquer à Spring AOP que nous voulons intercepter toutes les méthodes annotées par @Audited,
* La simplicité du SpelExpressionParser fourni par Spring Expression Language pour évaluer notre expression en lui injectant les paramètres d’invocation de la méthode auditée.

Cyrille (Xebia)

@Arnaud,

Merci pour vos encouragements. Je vous trouve un zest taquin à parler de « toin toin » Spring :-) .

Pour mieux comprendre l’approche avec Java EE 5+,

a) Je cerne bien l’annotation @javax.interceptor.Interceptors(Class[]) pour intercepter l’appel à mes méthodes métier et j’imagine @Interceptors(Auditor.class) mais je ne vois pas comment passer en paramètre de mon intercepteur Auditor.class le pattern du message que je veux émettre (2). Je trouverais dommage que toutes mes méthodes auditées soient traitées à la même enseigne façon « One Size Fits All » et de renoncer à mes beaux messages d’audit très expressifs.

b) Pour ce qui est de l’expression language qui nous a bien simplifié la vie, le « Unified Expression Language » officiel semble très focalisé JSP et JSF (1) et, faute d’exemple référencé par Google, je penserais plutôt à Jakarta Commons-JEXL qui est notamment utilisé par Perf4j et qui m’a donnée grande satisfaction dans le passé (ie avant que j’homogénéise mes applications avec Spring EL).

c) Pour les adresses IP, la corrélation des fichiers de logs (applications + access log) me semble délicate ; quelle jointure ai-je à ma disposition ? L’heure sera insuffisante en cas d’accès concurrent. J’imaginerais plutôt un ThreadLocal pour récupérer l’adresse ip via la requête http dans mes intercepteurs.

Je suis ouvert à toute suggestion !

Cyrille qui est bien content de placer le toin toin sur les serveurs J2EE 1.4 / JVM 1.5 de ses projets ;-)

(1) javax.el javadoc : « Provides the API for the Unified Expression Language shared by the JSP 2.1 and JSF 1.2 technologies. »
(2) cf Adam Bien : Interceptors (EJB 3) For Absolute Beginners – Or Pragmatic AOP in 2 Minutes (without XML :-))

@Arnaud,

a) je vois mieux pour l’interceptor :

Je garde mon annotation @Audited(message="bla bla bla") et j’ajoute une annotation @Interceptors.

@Audited avec Spring Framework :
[code]
@Audited(message = « transferMoney(#{args[0].accountNumber}, #{args[1].accountNumber}, #{args[3]}) »)
public void transferMoney(Account from, Account to, Amount amount) throws BusinessException { … }
[/code]

@Audited avec Java EE 5 :
[code]
@Interceptors(AuditInterceptor.class)
@Audited(message = « transferMoney(#{args[0].accountNumber}, #{args[1].accountNumber}, #{args[3]}) »)
public void transferMoney(Account from, Account to, Amount amount) throws BusinessException { … }
[/code]

Aspect d’audit avec Spring Framework :
[code]
@Around(value = « execution(* *(..)) && @annotation(audited) », argNames = « pjp,audited »)
public Object logMessage(ProceedingJoinPoint pjp, Audited audited) throws Throwable {
try {
Object returned = pjp.proceed();
String message = buildMessage(audited.message(), pjp.getThis(), pjp.getArgs(), returned, null);
logger.info(message);
return returned;
} catch (Throwable t) {
String message = buildMessage(audited.message(), pjp.getThis(), pjp.getArgs(), null, t);
logger.warn(message);
throw t;
}
}
[/code]

Interceptor d’audit avec Java EE 5 :
[code]
@AroundInvoke
public Object auditCall(InvocationContext context) throws Throwable {
// Get @Audited annotation information
Audited audited = context.getMethod().getAnnotation(Audited.class);
try {
Object returned = context.proceed();
String message = buildMessage(audited.message(), context.getTarget(), context.getParameters(), returned, null);
logger.info(message);
return returned;
} catch (Throwable t) {
String message = buildMessage(audited.message(), context.getTarget(), context.getParameters(), null, t);
logger.warn(message);
throw t;
}
}
[/code]

Les implémentations de l’annotation d’audit avec Spring Framework et Java EE 5 sont assez similaires ; Java EE 5 est un peu plus verbeux et un peu moins typé Spring Framework.

c) Pour « ThreadLocal bien ou pas bien », je me limiterai à constater que c’est communément utilisé.
Pour EJB container versus Servlet Container, j’ai le souvenir d’un évangéliste qui m’a un jour dit au JUG que ca n’avait pas d’importance. Je ne dois pas être au niveau car je souffre aujourd’hui même de problèmes de classloader sur une application J2EE 1.4.

Pour le « vrai » serveur applicatif, je ne rentrerai pas dans un débat sans fin mais je constaterai :

J’ai le souvenir d’avoir discuté avec des membre des Expert Group Java EE 5 et Java EE 6 d’une date réaliste de déploiement des versions Java EE 5 des serveurs des grands éditeurs (ie ce qu’on a dans beaucoup de DSI du CAC 40) : nous parlions de 2012 … alors que Spring 3 est utilisé ou utilisable sur quasiment tous les serveurs déployés. Nous avions aussi convenu que les premiers utilisateurs d’API Java EE 6 tourneraient sur Tomcat ou Jetty et le feraient avec JPA, JAX-WS et JAX-RS.

« Pas de nom, pas de lieu, pas de date », je ne raconterai pas mes expériences sur le sujet en public :-).

Par ailleurs, j’ai demandé à deux grands éditeurs d’In Memory Data Grid qui sont aussi très puissants sur les serveurs Java EE s’ils comptaient supporter ne serait-ce que l’assemblage des composants (CDI + Interceptors) dans leur grille. Réponse unanime : pas prévu dans l’agenda ; heureusement que j’ai le « toin toin » Spring Framework à ma disposition ;-).

Cyrille qui compte supprimer des milliers de lignes de EJB 2, MDB & cie pour les remplacer par du lightweight Java.

@Arnaud

Admis, alors que mon code « powered by Spring Framework AOP » est production ready avec seulement quelques lignes de « toin toin » technique, mon code Java EE 5 ressemblait plutôt à du Hello World de marchand de tapis ;-).

Il manque :
– La mise en cache de l’introspection de l’appel method.getAnnotation(Audited.class),
– La protection contre l’absence de l’annotation @Audited ,
– Probablement une moulinette pour vérifier que chaque annotation @Audited est associée avec un @Injectors(AuditInterceptor.class) et inversement.

Voici une version un peu plus production ready mais pas encore très robuste de l’interceptor d’audit version Java EE :
[code]
private final Map auditedAnnotationCache = new WeakHashMap();

/**
* Use a Map instead of of Set because there is no WeakHashSet in the JDK
*/
private final Map nonAnnotedMethodsCache = new WeakHashMap();

@AroundInvoke
public Object auditCall(InvocationContext context) throws Throwable {
// Get @Audited annotation (from cache if possible, skip audit if absent)
Method invokedMethod = context.getMethod();
if (nonAnnotedMethodsCache.containsKey(invokedMethod)) {
return context.proceed(); // not @audited, skip
}
Audited audited = auditedAnnotationCache.get(invokedMethod);
if (audited == null) {
audited = invokedMethod.getAnnotation(Audited.class);
if (audited == null) {
nonAnnotedMethodsCache.put(invokedMethod, null);
return context.proceed(); // not @audited, skip
} else {
auditedAnnotationCache.put(invokedMethod, audited);
}
}

try {
Object returned = context.proceed();
String message = buildMessage(audited.message(), context.getTarget(), context.getParameters(), returned, null);
logger.info(message);
return returned;
} catch (Throwable t) {
String message = buildMessage(audited.message(), context.getTarget(), context.getParameters(), null, t);
logger.warn(message);
throw t;
}
}
[/code]

Autant de « toin toin » technique pour un petit traitement métier, je préfère l’AOP by Spring Framework à celui de Java EE 5 ;-).

Je suis ouvert à toute proposition plus élégante !

On ne peut pas citer de nom mais je vous envie de travailler sur des data centers qui supportent déjà Java EE 6 en production ! Mon monde ne monte pas aussi vite de version de middleware … comme la plupart des grosses DSI et des gens qui ont des applications critiques :-).

Cyrille

@ Joël

La bienséance vous défendait d’avoir l’orgueil de vous citer dans les pointeurs relatifs à XADS, c’est donc moi qui l’ajouterai ! Dana Gardner / Briefings Direct : XDAS standard aims to empower IT audit trails from across complex events, perhaps clouds avec Ian Dobson, director of the Security Forum for The Open Group et vous même, Joël Winteregg, CEO and co-founder of NetGuardians ; nous n’accueillons pas tous les jours sur notre blog des invités de Dana Gardner :-) .

J’ai rapidement essayé d’implémenter notre exemple avec la librairie xads4j et, avec tout mon respect, je passerais par une couche intermédiaire (l’annotation @Audited, un builder, etc) pour factoriser la récupération des informations comme target (global à l’application) ou l’initiator (résolu à partir du contexte Spring Security) pour n’avoir qu’à préciser que l’action.

Je vais profiter que vous êtes un professionnel de l’audit informatique et je me permettrais quelques questions liées à l’analyse [temps réel] des données d’audit.

Comment aimez-vous stocker et aggréger les données d’audit ? Préférez vous stocker d’abord en local sur chaque machine (serveur d’application, serveur web, etc) puis seulement dans un deuxième temps envoyer au serveur centralisé d’audit ? Au contraire, osez-vous court circuiter le stockage local et uniquement envoyer le message au serveur centralisé ? Le cas échéant, quel mécanisme de communication fiable utilisez-vous pour être sur de ne perdre aucun message.
Comment faites-vous pour consolider des gros volumes de traces d’audit sans risquer de pénaliser les systèmes audités ? Les cartes réseau d’administration sont-elles suffisantes ? Demandez vous des cartes réseau dédiées ?

Les amateurs du stockage en base de données (plutôt qu’en fichier) avancent à juste titre la possibilité d’analyse quasi temps réel sur les données d’audit alors que les approches par fichiers imposent un délai pour que les traitements de centralisation intègrent ces fichiers. Quels délais d’intégration sont raisonnable dans le monde de l’audit ? Le temps réel semble très rarement nécessaire ? Cinq minutes présente des cas utilisation bien pratique, est-ce un délai raisonnable ?

Quels format de stockage et de transport aimez-vous utiliser ? Nous voyions dans le domaine des communications inter-applications un foisonnement des formats de sérialisation comme Google Protocol Buffer, Apache Avro ou encore Thrift. Profitez-vous de ces innovations pour un sujet à aussi forte volumétrie que l’audit ?

Le stockage et l’analyse de très gros volumes de données d’audit semble être un bon candidat aux scénarios des NoSQL (énorme volume de données partitionnables), est-ce une technologie qui suscite l’attention dans votre univers ?

Cyrille

Le billet a été mis à jour pour référencer la version 1.1.5 de la librarie xebia-spring-security-extras qui permet désormais une configuration Spring par namespace XML <security-extras:audit-aspect /> et dont l’intégration Maven a été simplifiée par son déploiement sur la Maven Central Repository.

Cyrille (Xebia)