http://3.bp.blogspot.com/-BRTDh6M-WxM/URzAwbrIh0I/AAAAAAAACIA/91HsYg-04S0/s1600/franquin-idees-noires.guillotine.jpg

Comme un pipe sous un shell unix
On décompose bien les traitements comme cela. Les tests peuvent être enchainés et ajouter/enlever très facilement.

Et les performances sont top

Mettez aussi un gros try / except générique qui loggue toute exception, pour pouvoir faire un debug post mortem. Idéalement, faites le dumper locals() et envoyez-vous un mail d’alerte. Vous ne voulez pas que le script ne tourne pas pendant une journée sans que vous le sachiez.

Pour la gestion des exceptions, je changerai carrément le hook de base de Python.

import sys

def myexcepthook(type, value, tb):
    import traceback
    from email.mime.text import MIMEText
    from subprocess import Popen, PIPE
    tbtext = ''.join(traceback.format_exception(type, value, tb))
    msg = MIMEText("There was a problem with your program:\n\n" + tbtext)
    msg["From"] = "root+importer@domain.com"
    msg["To"] = "admin@domain.com"
    msg["Subject"] = "[Sam&Max Importer] Crash report (Exception raised)"
    p = Popen(["/usr/sbin/sendmail", "-t"], stdin=PIPE)
    p.communicate(msg.as_string())


    reload()  # relaunch the importer if possible

sys.excepthook = myexcepthook

Ainsi, un mail est envoyé dès qu’une exception n’est pas géré dans le code (donc ça équivaut à un gros try/except), il exécute cette fonction. C’est plus propre et plus maintenable à mon goût :-)

Référence StackOverflow de la réponse qui m’a inspiré

Exemple : on doit lire plusieurs milliards de ligne de données, dont l’un des champs est une valeur numérique : “id_position_sexuelle” (plusieurs lignes peuvent avoir la même valeur). Pour connaître le nom de la position correspondante, on doit interroger un serveur externe. Mais ce serveur est vilain, il ne donne qu’un seul nom à la fois, à partir de l’id qu’on lui envoie, et il ne peut pas donner le nombre total de position existante. On ne peut donc pas pré-récupérer tout les noms de positions pour les mettre en cache.

Dans ce cas, à chaque fois qu’on trouve un id inconnu dans les données à lire, on interroge le serveur externe, et on enregistre le nom dans un fichier en local. Plus tard, si on retombe sur le même id, pas besoin de réinterroger le serveur.

Ellispis -> Ellipsis

dans la mauvais langue -> dans la mauvaise langue

si on peut processer la donnée -> si on peut traiter la donnée (?)

LEUR système n’escape pas -> LEUR système ne protège pas

une query de plus -> une requête supplémentaire

ajoutez les indexes -> ajoutez les index