Herezh++

Gérard,

J'ai partiellement résolu le problème. La gestion des pipes dans Herezh n'est pas en cause. Le problème vient de la façon dont est géré le multithreading dans Python car tout fonctionne bien si je lance séparément Herezh et Python dans 2 fenêtres de commande distinctes. Je vais essayer d'utiliser le multiprocessing dans Python au lieu du multithreadind.
Sinon les fonctions externes si top !
Frank

J'y vois maintenant plus clair. J'ai en fait 4 méthodes possibles:
1. Lancer Herezh et la fonction_ext.py dans 2 fenêtres de commande différentes (i.e. 2 process séparés)
2. Lancer les 2 process successivement dans un main.py en ajoutant "&" pour Herezh pour libérer le process
3. Lancer 2 process en parallèle dans main.py (module mutliprocessing)
4. Lancer 2 threads en parallèle dans main.py (module mutlithreading)

C'est 4 méthodes fonctionnent et donnent le même résultat (la 2e est plus simple à mettre en œuvre). Elles sont toutes les 4 plus ou moins sensibles à ce problème de goulot d'étranglement. Dans mon cas test élémentaire, et quelque soit la méthode, il est nécessaire d'introduire une temporisation de 1/100 de seconde max dans le fonction externe pour freiner chaque appel. Sinon Herezh s'arrête en cours d'itération.

Je suis en train d'écrire la fonction externe pour mon calcul d'effet du vent. Compte tenu de la taille du problème EF et des temps de calcul dans la fct externe il est probable que la temporisation ne soit plus nécessaire.
Merci pour tes encouragements !
Frank

Gérard,
Après pas mal de développements en Python j'ai obtenu la bonne fonction externe. Pour passer du champ de pression sur les tria du maillage CFD je dois faire 2 interpolations successives, la première sur une grille non structurée et la seconde pour construire une fonction d'interpolation p(theta, phi) qui est chargée dans la fonction externe. Les résultats Herezh obtenus sur le BSO avec le seul chargement de pression et les nœuds bloqués ne donnent pas du tout les bonnes valeurs de pression, ce qui est confirmé dans le .log avec l'affichage 8. Même en imposant une valeur constante dans la fonction externe elle n'est pas lue correctement.

Pour comprendre j'ai repris mon cas test élémentaire avec une pression constante avec des maillages plus importants (1000 et 10000 quadrangles). Le pipeOUT fournit les bonnes valeurs mais le pipeIN récupère n'importe quoi. Pour que cela fonctionne il faut augmenter temps de latence dans le fichier Python jusqu'à une seconde pour le gros maillage (la pression ne s'applique que sur une face). Cette temporisation rend l'utilisation de fonctions externes inexploitable. Le comportement est identique avec les 4 méthodes indiquées plus haut.

Question : as-tu déjà testé les fonctions externes pour appliquer une pression sur un gros maillage ? Le fonctionnement des pipes est peut-être différent lorsque les 2 programmes sont écrits en C++ ?

L'utilisation d'un champs de valeurs fonctionne bien et c'est apriori une bonne méthode pour moi car il n'y a pas de dépendance de la pression avec le déplacement des noeuds (je n'ai qu'un résultats CFD). Malheureusement avec cette méthode je ne peux pas faire varier la pression en fonction de la normale aux éléments pour le contrôle des lobes inversés. Résultat le petit déséquilibre amené par cet effet du vent sur la surpression totale suffit à créer une double peau ! Résultat déjà observé avant la mise au point de cette méthode de contrôle.

La seule solution fonctionnelle actuellement est celle que j'ai mise en œuvre en premier. Elle consiste à construire une fonction analytique approchée p(theta, phi) qui est ensuite introduite dans Herezh via une fonction nD. Cela permet d'appliquer sur la pression totale la pénalisation par le produis scalaire pour le contrôle des lobes.

Je suis quand même bien déçu de ne pas pouvoir aller plus loin en utilisant une fonction externe ! Ce n'est pas le fait d'Herezh bien sûr mais je tenais à te tenir informé de mes déboires...

Frank

Bonjour Frank,
quelques questions pour bien comprendre:
- est-ce que tu as essayé avec un seul processus en python, ceci pour être sûr qu'il n'y a pas deux process qui écrivent sur le même pipe en même temps ?
- je ne comprends pas pourquoi tu as besoin d'une temporisation: normalement l'écriture s'effectue par défaut "sans attente", c-a-d que le programme (python ou herezh) passe les infos à un "interface driver" (qui a la charge d'écrire dans le pipe) et il continue. Par contre en lecture, tant que la lecture n'est pas finie, le programme lit...
Du coup, tant qu'herezh n'a pas demandé une nouvelle information il faut que le programme python attende. De la même manière, tant qu'herezh n'a pas lu la totalité de l'info qu'il attend, il ne va pas plus loin.
Intuitivement, j'ai l'impression que c'est là qu'il faut chercher.
- je n'ai jamais fait de test de fonction externe avec un maillage très grand. Je vais le faire.

Oui il n'y a qu'un processus qui écrit puisque la fonction qui lit et écrit n'est appelée qu'une fois. Il y a une simple boucle "tant que" avec une déclaration des pipes l'un en lecture et l'autre en écriture.
J'ai repris la méthode proposée par Hugo. Il avait lui aussi remarqué qu'une temporisation était nécessaire.
Dans la mesure où le process attend la fin de la lecture/écriture pour poursuivre il ne devrait pas y avoir de problème en effet. Je pourrais essayer avec 2 programmes Python exécutés en parallèle pour voir s'il y a ce genre de problème.

Merci Gérard, c'est une bonne chose que cela fonctionne en C++. Difficile pour moi de rentrer dans le détail du programme. Ma culture C remonte à mes années de fac et encore sans la couche objet++. Il faudrait que je puisse m'approprier ce cas test et le traduire en Python avec différentes façons des gérer les pipes, en espérant qu'une fonctionne correctement. Sinon passer au C++.
Je vais demander à RTime de me payer une formation ;-)
Frank

Bonjour Gérard,

J'ai repéré ce que le script Python de Laurent avait de différent du mien. A chaque boucle il ouvre les pipes et ferme de suite après. Les instructions open et close étant au plus près l'une de l'autre. J'ai reproduit ce schéma dans mon script et... ça fonction parfaitement sans temporisation !!! C'était donc bien un problème de gestion des pipes dans mon script.

Avec cette correction, le process Python reste en attente de lecture du pipeOUT après la fin normal du calcul Herezh. Est-il possible que Herezh renvoe une chaine vide en fin de calcul de sorte à pouvoir sortir de la boucle while ?

Je n'ai pas repéré comment tu arrêtes ton programme en C++. Il y a bien une instruction "try" mais elle ne me semble pas faite pour ça.

Un grand merci pour ton aide, même en Python tu me débloques ;-)

Frank

Je comprends les difficultés dans Herezh. C'est pas un pb pour moi, j'avais juste l'envie de bien faire les choses et de ne pas arrêter brutalement le programme.