... | ... | @@ -4,18 +4,18 @@ |
|
|
anemone arome aster bleuet camelia capucine chardon clematite cobee coquelicot cosmos cyclamen dahlia digitale geranium gerbera glaieul hortensia iris jacinthe\
|
|
|
**##################################################################################**
|
|
|
|
|
|
Aujourd’hui nous allons lancer un workflow nextflow de métagénomique sur des données de tests (lectures courtes Illumina – mini gut).
|
|
|
Aujourd’hui nous allons lancer un workflow NextFlow de métagénomique sur des données de tests (lectures courtes Illumina – mini gut).
|
|
|
|
|
|
1. D’abord allez-jeter un œil à ce qu’est NextFlow : [A DSL for parallel and scalable computational pipelines | Nextflow](https://www.nextflow.io/)
|
|
|
2. Nous utiliserons aussi des images singularity. Documentez-vous là-dessus ici : [Singularity | Sylabs.io](https://sylabs.io/singularity/)
|
|
|
1. D’abord allez jeter un œil à ce qu’est NextFlow : [A DSL for parallel and scalable computational pipelines | Nextflow](https://www.nextflow.io/)
|
|
|
2. Nous utiliserons aussi des images Singularity. Documentez-vous là-dessus ici : [Singularity | Sylabs.io](https://sylabs.io/singularity/)
|
|
|
3. Nous utiliserons le workflow metaGWGS (branche master) trouvable ici : [genotoul-bioinfo / metagWGS · GitLab (inra.fr)](https://forgemia.inra.fr/genotoul-bioinfo/metagwgs)
|
|
|
1. **Pour l’installer suivez la documentation d’installation** : [docs/installation.md · dev · genotoul-bioinfo / metagWGS · GitLab (inra.fr)](https://forgemia.inra.fr/genotoul-bioinfo/metagwgs/-/blob/dev/docs/installation.md) **mais ce ne sera pas la peine d’installer NextFlow ni Singularity car ils sont déjà installés sur le cluster. Voir les notes : « NOTE: you are on** [**genologin cluster**](http://bioinfo.genotoul.fr/)**. »**
|
|
|
2. **Récupérer le contenu de**` /home/formation/public_html/M2_bioinfo/TPMetaG_WF/input`, il s’agit des fichiers d’entrée à analyser.
|
|
|
1. **Pour l’installer suivez la documentation d’installation** : [docs/installation.md · master · genotoul-bioinfo / metagWGS · GitLab (inra.fr)](https://forgemia.inra.fr/genotoul-bioinfo/metagwgs/-/blob/master/docs/installation.md) **mais ce ne sera pas la peine d’installer NextFlow ni Singularity car ils sont déjà installés sur le cluster. Voir les notes : « NOTE: you are on** [**genologin cluster**](http://bioinfo.genotoul.fr/)**. »**
|
|
|
2. **Récupérer le contenu de** `/home/formation/public_html/M2_bioinfo/TPMetaG_WF/input`, il s’agit des fichiers d’entrée à analyser.
|
|
|
|
|
|
Il y a des fastq qui sont les lectures pairées (R1 et R2) à analyser. L’échantillon 2 a été dupliqué, considérez-le comme un troisième échantillon. Dans le répertoire host, vous trouverez un génome de l’hôte réduit indexé pour bwa mem. Il s’agit en fait du chromosome 21 humain. Ce jeu de données est un jeu de test réduit permettant de manipuler le workflow dans des temps d’exécution et avec un besoin en ressources raisonnable. **Vous utiliserez les banques fournies ici :**` /home/formation/work/datasetsMetaGWGS/FT_banks_2021-10-19` **mais vous ne les copierez pas** (même si ce sont des banques de taille réduites elles prennent tout de même de la place, ne les dupliquez pas).
|
|
|
3. **Suivez la documentation d’usage du workflow** : [docs/usage.md · dev · genotoul-bioinfo / metagWGS · GitLab (inra.fr)](https://forgemia.inra.fr/genotoul-bioinfo/metagwgs/-/blob/dev/docs/usage.md) **sauf que vous utiliserez la branche master** que vous avez installée précédemment et que vous lancerez tout le workflow hormis le binning (étape 8).
|
|
|
Il y a des fastq qui sont les lectures pairées (R1 et R2) à analyser. L’échantillon 2 a été dupliqué, considérez-le comme un troisième échantillon. Dans le répertoire host, vous trouverez un génome de l’hôte réduit indexé pour bwa-mem. Il s’agit en fait du chromosome 21 humain. Ce jeu de données est un jeu de test réduit permettant de manipuler le workflow dans des temps d’exécution et avec un besoin en ressources raisonnable. **Vous utiliserez les banques fournies ici :** `/home/formation/work/datasetsMetaGWGS/FT_banks_2021-10-19` **mais vous ne les copierez pas** (même si ce sont des banques de taille réduites elles prennent tout de même de la place, ne les dupliquez pas).
|
|
|
3. **Suivez la documentation d’usage du workflow** : [docs/usage.md · master · genotoul-bioinfo / metagWGS · GitLab (inra.fr)](https://forgemia.inra.fr/genotoul-bioinfo/metagwgs/-/blob/master/docs/usage.md) **sauf que vous utiliserez la branche master** que vous avez installée précédemment et que vous lancerez tout le workflow hormis le binning (étape 8).
|
|
|
|
|
|
Ecrivez un script `launch.sh` tel que celui-ci :
|
|
|
Ecrivez un script `launch.sh` tel que celui-ci :
|
|
|
|
|
|
```shell
|
|
|
|
... | ... | @@ -29,38 +29,38 @@ nextflow run -profile test_genotoul_workq <metagwgs-src>/main.nf \ |
|
|
--reads '<datasets>/input/\*_{R1,R2}.fastq.gz' \
|
|
|
--host_fasta '<datasets>/input/host/genome.hg38.chr21_10000bp_region.fa' \
|
|
|
--host_bwa_index '<datasets>/input/host/genome.hg38.chr21_10000bp_region.fa.{amb,ann,bwt,pac,sa}' --min_contigs_cpm 1 \
|
|
|
--kaiju_db_dir '<bank>kaijudb_refseq_2020-05-25' \
|
|
|
--kaiju_db_dir '<bank>/kaijudb_refseq_2020-05-25' \
|
|
|
--taxonomy_dir '<bank>/taxonomy_2021-08-23' \
|
|
|
--eggnog_mapper_db_dir '<bank>/eggnog-mapper-2.0.4-rf1/data' \
|
|
|
--diamond_bank '<bank>/refseq_bacteria_2021-05-20/refseq_bacteria.dmnd' \
|
|
|
-with-report -with-timeline -with-trace -with-dag
|
|
|
```
|
|
|
|
|
|
**Remplacez `<metagwgs-src>` par le chemin de l’endroit où vous avez installé le workflow.**
|
|
|
**Remplacez** `<metagwgs-src>` par le chemin de l’endroit où vous avez installé le workflow.
|
|
|
|
|
|
**Remplacer `<datasets>` par le chemin vers vos inputs fastq récupérées en 3.2.**
|
|
|
**Remplacer** `<datasets>` par le chemin vers vos inputs fastq récupérées en 3.2.
|
|
|
|
|
|
**Remplacer `<bank>` par le répertoire suivant :** `/home/formation/work/datasetsMetaGWGS/FT_banks_2021-10-19`
|
|
|
**Remplacer** `<bank>` par le répertoire suivant : `/home/formation/work/datasetsMetaGWGS/FT_banks_2021-10-19`
|
|
|
|
|
|
**Commande de lancement :**
|
|
|
|
|
|
`sbatch -J functional_test --mem=6G launch.sh`
|
|
|
|
|
|
**Vous pouvez suivre l’avancée du workflow dans la fichier** `trace.txt`.
|
|
|
**Vous pouvez suivre l’avancée du workflow dans le fichier** `trace.txt`.
|
|
|
|
|
|
**Prendre un des process marqué COMPLETED et trouver les fichiers de sortie dans le répertoire work de travail du workflow. Le début du nom du dossier se trouve dans la deuxième colonne.**
|
|
|
**Prendre un des process marqués COMPLETED et trouver les fichiers de sortie dans le répertoire work de travail du workflow. Le début du nom du dossier se trouve dans la deuxième colonne.**
|
|
|
|
|
|
4. Si dans le fichier trace.txt ou trace.txt.n si vous avez des process FAILED et/ou ABORTED, il vous faut investiguer ce qu’il s’est passé.
|
|
|
|
|
|
**Pour cela allez voir dans le répertoire work et faites affiché les fichiers cachés par la commande ls –la.**
|
|
|
**Pour cela allez voir dans le répertoire work et faites afficher les fichiers cachés avec la commande** `ls –la`**.**
|
|
|
|
|
|
**Investiguez les fichiers** `.command.log`**,**`.command.err`**et** `.command.sh` **pour trouver l’erreur.** La corriger et relancer le workflow avec l’option **–resume** de nextflow (changer le launch.sh). Monitorez les jobs avec un` squeue –u nomdeFleur` et ce qui s’écrit dans le nouveau trace.txt.
|
|
|
**Investiguez les fichiers** `.command.log`**,** `.command.err`**et** `.command.sh` **pour trouver l’erreur.** La corriger et relancer le workflow avec l’option **–resume** de nextflow (changer le launch.sh). Monitorez les jobs avec un` squeue –u nomdeFleur` et ce qui s’écrit dans le nouveau trace.txt.
|
|
|
|
|
|
**Questions :**
|
|
|
|
|
|
1. Qu’est-ce que la répétabilité d’une analyse ? La reproductibilité d’une analyse ?
|
|
|
2. En quoi NextFlow et Singularity peuvent aider à améliorer répétabilité et reproductibilité ?
|
|
|
3. Que signifie les options nextFlow suivantes, à quoi servent-elles ?` -profile, -with-report, -with-timeline, -with-trace, -with-dag, -resume `?
|
|
|
3. Que signifie les options nextFlow suivantes, à quoi servent-elles ?` -profile, -with-report, -with-timeline, -with-trace, -with-dag, -resume` ?
|
|
|
4. Explicitez-en quoi consiste les étapes 1 à 7 du workflow en un résumé d’une page maximum.
|
|
|
5. Qu’y a-t-il dans les répertoires avec des noms bizarres (ceux dont le début est dans le fichier trace.txt) dans le dossier work ? Qu’y a-t-il dans le dossier results ?
|
|
|
6. Que fait l’option –resume de nextFlow ?
|
... | ... | |