Part 1: Visió general del mètode¶
Traducció assistida per IA - més informació i suggeriments
La identificació de variants és un mètode d'anàlisi genòmica que té com a objectiu identificar variacions en una seqüència genòmica respecte a un genoma de referència. Aquí farem servir eines i mètodes dissenyats per identificar variants germinals curtes, és a dir, SNPs i indels, en dades de seqüenciació de genoma complet.

Un pipeline complet d'identificació de variants normalment implica molts passos, incloent el mapatge a la referència (de vegades anomenat alineament genòmic) i el filtratge i priorització de variants. Per simplicitat, en aquest curs ens centrarem únicament en la part d'identificació de variants.
Mètodes¶
Us mostrarem dues maneres d'aplicar la identificació de variants a mostres de seqüenciació de genoma complet per identificar SNPs i indels germinals. Primer començarem amb un senzill enfocament per mostra que identifica variants de manera independent per a cada mostra. Després us mostrarem un enfocament de genotipatge conjunt més sofisticat que analitza múltiples mostres alhora, produint resultats més precisos i informatius.
Abans d'endinsar-nos en l'escriptura de codi de workflow per a cap dels dos enfocaments, provarem les comandes manualment amb algunes dades de prova.
Conjunt de dades¶
Proporcionem les dades i recursos relacionats següents:
- Un genoma de referència que consisteix en una petita regió del cromosoma 20 humà (de hg19/b37) i els seus fitxers accessoris (índex i diccionari de seqüència).
- Tres mostres de seqüenciació de genoma complet corresponents a un trio familiar (mare, pare i fill), que s'han reduït a una petita porció de dades del cromosoma 20 per mantenir les mides dels fitxers petites. Aquestes són dades de seqüenciació de lectures curtes d'Illumina que ja han estat mapades al genoma de referència, proporcionades en format BAM (Binary Alignment Map, una versió comprimida de SAM, Sequence Alignment Map).
- Una llista d'intervals genòmics, és a dir, coordenades al genoma on les nostres mostres tenen dades adequades per identificar variants, proporcionades en format BED.
Programari¶
Les dues eines principals implicades són Samtools, un conjunt d'eines àmpliament utilitzat per manipular fitxers d'alineament de seqüències, i GATK (Genome Analysis Toolkit), un conjunt d'eines per a la descoberta de variants desenvolupat al Broad Institute.
Aquestes eines no estan instal·lades a l'entorn de GitHub Codespaces, de manera que les farem servir mitjançant contenidors obtinguts a través del servei Seqera Containers (vegeu Hello Containers).
Consell
Assegureu-vos que esteu al directori nf4-science/genomics de manera que l'última part del camí que es mostra quan escriviu pwd sigui genomics.
1. Identificació de variants per mostra¶
La identificació de variants per mostra processa cada mostra de manera independent: l'identificador de variants examina les dades de seqüenciació d'una mostra a la vegada i identifica les posicions on la mostra difereix de la referència.
En aquesta secció provem les dues comandes que formen l'enfocament d'identificació de variants per mostra: indexar un fitxer BAM amb Samtools i identificar variants amb GATK HaplotypeCaller. Aquestes són les comandes que encapsularem en un workflow de Nextflow a la Part 2 d'aquest curs.
- Generar un fitxer d'índex per a un fitxer d'entrada BAM utilitzant Samtools
- Executar GATK HaplotypeCaller sobre el fitxer BAM indexat per generar identificacions de variants per mostra en format VCF (Variant Call Format)
Comencem provant les dues comandes amb una sola mostra.
1.1. Indexar un fitxer d'entrada BAM amb Samtools¶
Els fitxers d'índex són una característica habitual dels formats de fitxers de bioinformàtica; contenen informació sobre l'estructura del fitxer principal que permet a eines com GATK accedir a un subconjunt de les dades sense haver de llegir tot el fitxer. Això és important a causa de la mida que poden arribar a tenir aquests fitxers.
Els fitxers BAM sovint es proporcionen sense un índex, de manera que el primer pas en molts workflows d'anàlisi és generar-ne un utilitzant samtools index.
Descarregarem un contenidor de Samtools, l'iniciarem de manera interactiva i executarem la comanda samtools index sobre un dels fitxers BAM.
1.1.1. Descarregar el contenidor de Samtools¶
Executeu la comanda docker pull per descarregar la imatge del contenidor de Samtools:
Sortida de la comanda
1.20--b5dfbd93de237464: Pulling from library/samtools
6360b3717211: Pull complete
2ec3f7ad9b3c: Pull complete
7716ca300600: Pull complete
4f4fb700ef54: Pull complete
8c61d418774c: Pull complete
03dae77ff45c: Pull complete
aab7f787139d: Pull complete
4f4fb700ef54: Pull complete
837d55536720: Pull complete
897362c12ca7: Pull complete
3893cbe24e91: Pull complete
d1b61e94977b: Pull complete
c72ff66fb90f: Pull complete
0e0388f29b6d: Pull complete
Digest: sha256:bbfc45b4f228975bde86cba95e303dd94ecf2fdacea5bfb2e2f34b0d7b141e41
Status: Downloaded newer image for community.wave.seqera.io/library/samtools:1.20--b5dfbd93de237464
community.wave.seqera.io/library/samtools:1.20--b5dfbd93de237464
Si no heu descarregat aquesta imatge abans, pot trigar un minut a completar-se. Un cop acabat, teniu una còpia local de la imatge del contenidor.
1.1.2. Iniciar el contenidor de Samtools de manera interactiva¶
Per executar el contenidor de manera interactiva, feu servir docker run amb els indicadors -it.
L'opció -v ./data:/data munta el directori local data dins del contenidor perquè les eines puguin accedir als fitxers d'entrada.
Notareu que el vostre indicador canvia a quelcom com (base) root@a1b2c3d4e5f6:/tmp#, indicant que ara esteu dins del contenidor.
Verifiqueu que podeu veure els fitxers de dades de seqüència a /data/bam:
Amb això, esteu a punt per provar la primera comanda.
1.1.3. Executar la comanda d'indexació¶
La documentació de Samtools ens proporciona la línia de comandes per executar per indexar un fitxer BAM.
Només cal proporcionar el fitxer d'entrada; l'eina generarà automàticament un nom per a la sortida afegint .bai al nom del fitxer d'entrada.
Executeu la comanda samtools index sobre un fitxer de dades:
La comanda no produeix cap sortida al terminal, però ara hauríeu de veure un fitxer anomenat reads_mother.bam.bai al mateix directori que el fitxer d'entrada BAM original.
Contingut del directori
Això completa la prova del primer pas.
1.1.4. Sortir del contenidor de Samtools¶
Per sortir del contenidor, escriviu exit.
El vostre indicador hauria de tornar a ser el que era abans d'iniciar el contenidor.
1.2. Identificar variants amb GATK HaplotypeCaller¶
Volem executar la comanda gatk HaplotypeCaller sobre el fitxer BAM que acabem d'indexar.
1.2.1. Descarregar el contenidor de GATK¶
Primer, executem la comanda docker pull per descarregar la imatge del contenidor de GATK:
Sortida de la comanda
Algunes capes mostren Already exists perquè es comparteixen amb la imatge del contenidor de Samtools que hem descarregat anteriorment.
4.5.0.0--730ee8817e436867: Pulling from library/gatk4
6360b3717211: Already exists
2ec3f7ad9b3c: Already exists
7716ca300600: Already exists
4f4fb700ef54: Already exists
8c61d418774c: Already exists
03dae77ff45c: Already exists
aab7f787139d: Already exists
4f4fb700ef54: Already exists
837d55536720: Already exists
897362c12ca7: Already exists
3893cbe24e91: Already exists
d1b61e94977b: Already exists
e5c558f54708: Pull complete
087cce32d294: Pull complete
Digest: sha256:e33413b9100f834fcc62fd5bc9edc1e881e820aafa606e09301eac2303d8724b
Status: Downloaded newer image for community.wave.seqera.io/library/gatk4:4.5.0.0--730ee8817e436867
community.wave.seqera.io/library/gatk4:4.5.0.0--730ee8817e436867
Això hauria de ser més ràpid que la primera descàrrega perquè les dues imatges de contenidor comparteixen la majoria de les seves capes.
1.2.2. Iniciar el contenidor de GATK de manera interactiva¶
Inicieu el contenidor de GATK de manera interactiva amb el directori de dades muntat, tal com vam fer amb Samtools.
El vostre indicador canvia per indicar que ara esteu dins del contenidor de GATK.
1.2.3. Executar la comanda d'identificació de variants¶
La documentació de GATK ens proporciona la línia de comandes per executar per realitzar la identificació de variants sobre un fitxer BAM.
Cal proporcionar el fitxer d'entrada BAM (-I), el genoma de referència (-R), un nom per al fitxer de sortida (-O) i una llista d'intervals genòmics a analitzar (-L).
No obstant això, no cal especificar el camí al fitxer d'índex; l'eina el buscarà automàticament al mateix directori, basant-se en la convenció establerta de nomenclatura i co-localització.
El mateix s'aplica als fitxers accessoris del genoma de referència (fitxers d'índex i de diccionari de seqüència, *.fai i *.dict).
gatk HaplotypeCaller \
-R /data/ref/ref.fasta \
-I /data/bam/reads_mother.bam \
-O reads_mother.vcf \
-L /data/ref/intervals.bed
Sortida de la comanda
Using GATK jar /opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar
Running:
java -Dsamjdk.use_async_io_read_samtools=false -Dsamjdk.use_async_io_write_samtools=true -Dsamjdk.use_async_io_write_tribble=false -Dsamjdk.compression_level=2 -jar /opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar HaplotypeCaller -R /data/ref/ref.fasta -I /data/bam/reads_mother.bam -O reads_mother.vcf -L /data/ref/intervals.bed
00:27:50.687 INFO NativeLibraryLoader - Loading libgkl_compression.so from jar:file:/opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar!/com/intel/gkl/native/libgkl_compression.so
00:27:50.854 INFO HaplotypeCaller - ------------------------------------------------------------
00:27:50.858 INFO HaplotypeCaller - The Genome Analysis Toolkit (GATK) v4.5.0.0
00:27:50.858 INFO HaplotypeCaller - For support and documentation go to https://software.broadinstitute.org/gatk/
00:27:50.858 INFO HaplotypeCaller - Executing as root@a1fe8ff42d07 on Linux v6.10.14-linuxkit amd64
00:27:50.858 INFO HaplotypeCaller - Java runtime: OpenJDK 64-Bit Server VM v17.0.11-internal+0-adhoc..src
00:27:50.859 INFO HaplotypeCaller - Start Date/Time: February 8, 2026 at 12:27:50 AM GMT
00:27:50.859 INFO HaplotypeCaller - ------------------------------------------------------------
00:27:50.859 INFO HaplotypeCaller - ------------------------------------------------------------
00:27:50.861 INFO HaplotypeCaller - HTSJDK Version: 4.1.0
00:27:50.861 INFO HaplotypeCaller - Picard Version: 3.1.1
00:27:50.861 INFO HaplotypeCaller - Built for Spark Version: 3.5.0
00:27:50.862 INFO HaplotypeCaller - HTSJDK Defaults.COMPRESSION_LEVEL : 2
00:27:50.862 INFO HaplotypeCaller - HTSJDK Defaults.USE_ASYNC_IO_READ_FOR_SAMTOOLS : false
00:27:50.862 INFO HaplotypeCaller - HTSJDK Defaults.USE_ASYNC_IO_WRITE_FOR_SAMTOOLS : true
00:27:50.863 INFO HaplotypeCaller - HTSJDK Defaults.USE_ASYNC_IO_WRITE_FOR_TRIBBLE : false
00:27:50.864 INFO HaplotypeCaller - Deflater: IntelDeflater
00:27:50.864 INFO HaplotypeCaller - Inflater: IntelInflater
00:27:50.864 INFO HaplotypeCaller - GCS max retries/reopens: 20
00:27:50.864 INFO HaplotypeCaller - Requester pays: disabled
00:27:50.865 INFO HaplotypeCaller - Initializing engine
00:27:50.991 INFO FeatureManager - Using codec BEDCodec to read file file:///data/ref/intervals.bed
00:27:51.016 INFO IntervalArgumentCollection - Processing 6369 bp from intervals
00:27:51.029 INFO HaplotypeCaller - Done initializing engine
00:27:51.040 INFO NativeLibraryLoader - Loading libgkl_utils.so from jar:file:/opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar!/com/intel/gkl/native/libgkl_utils.so
00:27:51.042 INFO NativeLibraryLoader - Loading libgkl_smithwaterman.so from jar:file:/opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar!/com/intel/gkl/native/libgkl_smithwaterman.so
00:27:51.042 INFO SmithWatermanAligner - Using AVX accelerated SmithWaterman implementation
00:27:51.046 INFO HaplotypeCallerEngine - Disabling physical phasing, which is supported only for reference-model confidence output
00:27:51.063 INFO NativeLibraryLoader - Loading libgkl_pairhmm_omp.so from jar:file:/opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar!/com/intel/gkl/native/libgkl_pairhmm_omp.so
00:27:51.085 INFO IntelPairHmm - Flush-to-zero (FTZ) is enabled when running PairHMM
00:27:51.086 INFO IntelPairHmm - Available threads: 10
00:27:51.086 INFO IntelPairHmm - Requested threads: 4
00:27:51.086 INFO PairHMM - Using the OpenMP multi-threaded AVX-accelerated native PairHMM implementation
00:27:51.128 INFO ProgressMeter - Starting traversal
00:27:51.136 INFO ProgressMeter - Current Locus Elapsed Minutes Regions Processed Regions/Minute
00:27:51.882 WARN InbreedingCoeff - InbreedingCoeff will not be calculated at position 20_10037292_10066351:3480 and possibly subsequent; at least 10 samples must have called genotypes
00:27:52.969 INFO HaplotypeCaller - 7 read(s) filtered by: MappingQualityReadFilter
0 read(s) filtered by: MappingQualityAvailableReadFilter
0 read(s) filtered by: MappedReadFilter
0 read(s) filtered by: NotSecondaryAlignmentReadFilter
0 read(s) filtered by: NotDuplicateReadFilter
0 read(s) filtered by: PassesVendorQualityCheckReadFilter
0 read(s) filtered by: NonZeroReferenceLengthAlignmentReadFilter
0 read(s) filtered by: GoodCigarReadFilter
0 read(s) filtered by: WellformedReadFilter
7 total reads filtered out of 1867 reads processed
00:27:52.971 INFO ProgressMeter - 20_10037292_10066351:13499 0.0 35 1145.7
00:27:52.971 INFO ProgressMeter - Traversal complete. Processed 35 total regions in 0.0 minutes.
00:27:52.976 INFO VectorLoglessPairHMM - Time spent in setup for JNI call : 0.003346916
00:27:52.976 INFO PairHMM - Total compute time in PairHMM computeLogLikelihoods() : 0.045731709
00:27:52.977 INFO SmithWatermanAligner - Total compute time in native Smith-Waterman : 0.02 sec
00:27:52.981 INFO HaplotypeCaller - Shutting down engine
[February 8, 2026 at 12:27:52 AM GMT] org.broadinstitute.hellbender.tools.walkers.haplotypecaller.HaplotypeCaller done. Elapsed time: 0.04 minutes.
Runtime.totalMemory()=203423744
La sortida del registre és molt detallada, de manera que hem destacat les línies més rellevants a l'exemple anterior.
Els fitxers de sortida, reads_mother.vcf i el seu fitxer d'índex, reads_mother.vcf.idx, es creen dins del vostre directori de treball al contenidor.
El fitxer VCF conté les identificacions de variants, com veurem d'aquí a un moment, i el fitxer d'índex té la mateixa funció que el fitxer d'índex BAM, per permetre a les eines cercar i recuperar subconjunts de dades sense carregar tot el fitxer.
Com que VCF és un format de text i aquest és un fitxer de prova petit, podeu executar cat reads_mother.vcf per obrir-lo i veure el seu contingut.
Si desplaceu cap amunt fins al principi del fitxer, trobareu una capçalera composta de moltes línies de metadades, seguida d'una llista d'identificacions de variants, una per línia.
Contingut del fitxer (abreujat)
A l'exemple de sortida anterior, hem destacat l'última línia de capçalera, que dona els noms de les columnes per a les dades tabulars que segueixen. Cada línia de dades descriu una possible variant identificada en les dades de seqüenciació de la mostra. Per obtenir orientació sobre la interpretació del format VCF, vegeu aquest article útil.
1.2.4. Moure els fitxers de sortida¶
Qualsevol cosa que romangui dins del contenidor serà inaccessible per a treballs futurs.
El fitxer d'índex BAM es va crear directament al directori /data/bam del sistema de fitxers muntat, però no el fitxer VCF i el seu índex, de manera que cal moure'ls manualment.
Contingut del directori
Un cop fet, tots els fitxers ja són accessibles al vostre sistema de fitxers normal.
1.2.5. Sortir del contenidor de GATK¶
Per sortir del contenidor, escriviu exit.
El vostre indicador hauria de tornar a la normalitat. Això conclou la prova d'identificació de variants per mostra.
Escriviu-ho com a workflow!
Podeu passar directament a la Part 2 si voleu començar a implementar aquesta anàlisi com a workflow de Nextflow. Només caldrà que torneu aquí per completar la segona ronda de proves abans de passar a la Part 3.
2. Genotipatge conjunt d'una cohort¶
L'enfocament d'identificació de variants que acabem d'utilitzar genera identificacions de variants per mostra. Això és adequat per examinar les variants de cada mostra de manera aïllada, però proporciona informació limitada. Sovint és més interessant examinar com difereixen les identificacions de variants entre múltiples mostres. GATK ofereix un mètode alternatiu anomenat genotipatge conjunt de variants per a aquest propòsit.
El genotipatge conjunt de variants implica generar un tipus especial de sortida de variants anomenada GVCF (Genomic VCF) per a cada mostra, combinar les dades GVCF de totes les mostres i executar una anàlisi estadística de "genotipatge conjunt".

El que és especial d'un GVCF d'una mostra és que conté registres que resumeixen estadístiques de dades de seqüència sobre totes les posicions de l'àrea objectiu del genoma, no només les posicions on el programa va trobar evidència de variació. Això és fonamental per al càlcul del genotipatge conjunt (lectura addicional).
El GVCF és produït per GATK HaplotypeCaller, la mateixa eina que acabem de provar, amb un paràmetre addicional (-ERC GVCF).
La combinació dels GVCFs es fa amb GATK GenomicsDBImport, que combina les identificacions per mostra en un magatzem de dades (anàleg a una base de dades).
L'anàlisi de "genotipatge conjunt" pròpiament dita es realitza amb GATK GenotypeGVCFs.
Aquí provem les comandes necessàries per generar GVCFs i executar el genotipatge conjunt. Aquestes són les comandes que encapsularem en un workflow de Nextflow a la Part 3 d'aquest curs.
- Generar un fitxer d'índex per a cada fitxer d'entrada BAM utilitzant Samtools
- Executar GATK HaplotypeCaller sobre cada fitxer d'entrada BAM per generar un GVCF d'identificacions de variants genòmiques per mostra
- Recollir tots els GVCFs i combinar-los en un magatzem de dades GenomicsDB
- Executar el genotipatge conjunt sobre el magatzem de dades GVCF combinat per produir un VCF a nivell de cohort
Ara cal provar totes aquestes comandes, començant per indexar els tres fitxers BAM.
2.1. Indexar els fitxers BAM per a les tres mostres¶
A la primera secció anterior, només vam indexar un fitxer BAM. Ara cal indexar les tres mostres perquè GATK HaplotypeCaller les pugui processar.
2.1.1. Iniciar el contenidor de Samtools de manera interactiva¶
Ja hem descarregat la imatge del contenidor de Samtools, de manera que podem iniciar-lo directament:
El vostre indicador canvia per indicar que esteu dins del contenidor, amb el directori de dades muntat com abans.
2.1.2. Executar la comanda d'indexació sobre les tres mostres¶
Executeu la comanda d'indexació sobre cadascun dels tres fitxers BAM:
samtools index /data/bam/reads_mother.bam
samtools index /data/bam/reads_father.bam
samtools index /data/bam/reads_son.bam
Contingut del directori
Això hauria de produir els fitxers d'índex al mateix directori que els fitxers BAM corresponents.
2.1.3. Sortir del contenidor de Samtools¶
Per sortir del contenidor, escriviu exit.
El vostre indicador hauria de tornar a la normalitat.
2.2. Generar GVCFs per a les tres mostres¶
Per executar el pas de genotipatge conjunt, necessitem GVCFs per a les tres mostres.
2.2.1. Iniciar el contenidor de GATK de manera interactiva¶
Ja hem descarregat la imatge del contenidor de GATK anteriorment, de manera que podem iniciar-lo directament:
El vostre indicador canvia per indicar que esteu dins del contenidor de GATK.
2.2.2. Executar la comanda d'identificació de variants amb l'opció GVCF¶
Per produir un VCF genòmic (GVCF), afegim l'opció -ERC GVCF a la comanda base, que activa el mode GVCF del HaplotypeCaller.
També canviem l'extensió del fitxer de sortida de .vcf a .g.vcf.
Tècnicament no és un requisit, però és una convenció molt recomanada.
gatk HaplotypeCaller \
-R /data/ref/ref.fasta \
-I /data/bam/reads_mother.bam \
-O reads_mother.g.vcf \
-L /data/ref/intervals.bed \
-ERC GVCF
Sortida de la comanda
Using GATK jar /opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar
Running:
java -Dsamjdk.use_async_io_read_samtools=false -Dsamjdk.use_async_io_write_samtools=true -Dsamjdk.use_async_io_write_tribble=false -Dsamjdk.compression_level=2 -jar /opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar HaplotypeCaller -R /data/ref/ref.fasta -I /data/bam/reads_mother.bam -O reads_mother.g.vcf -L /data/ref/intervals.bed -ERC GVCF
16:51:00.620 INFO NativeLibraryLoader - Loading libgkl_compression.so from jar:file:/opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar!/com/intel/gkl/native/libgkl_compression.so
16:51:00.749 INFO HaplotypeCaller - ------------------------------------------------------------
16:51:00.751 INFO HaplotypeCaller - The Genome Analysis Toolkit (GATK) v4.5.0.0
16:51:00.751 INFO HaplotypeCaller - For support and documentation go to https://software.broadinstitute.org/gatk/
16:51:00.751 INFO HaplotypeCaller - Executing as root@be1a0302f6c7 on Linux v6.8.0-1030-azure amd64
16:51:00.751 INFO HaplotypeCaller - Java runtime: OpenJDK 64-Bit Server VM v17.0.11-internal+0-adhoc..src
16:51:00.752 INFO HaplotypeCaller - Start Date/Time: February 11, 2026 at 4:51:00 PM GMT
16:51:00.752 INFO HaplotypeCaller - ------------------------------------------------------------
16:51:00.752 INFO HaplotypeCaller - ------------------------------------------------------------
16:51:00.752 INFO HaplotypeCaller - HTSJDK Version: 4.1.0
16:51:00.753 INFO HaplotypeCaller - Picard Version: 3.1.1
16:51:00.753 INFO HaplotypeCaller - Built for Spark Version: 3.5.0
16:51:00.753 INFO HaplotypeCaller - HTSJDK Defaults.COMPRESSION_LEVEL : 2
16:51:00.753 INFO HaplotypeCaller - HTSJDK Defaults.USE_ASYNC_IO_READ_FOR_SAMTOOLS : false
16:51:00.753 INFO HaplotypeCaller - HTSJDK Defaults.USE_ASYNC_IO_WRITE_FOR_SAMTOOLS : true
16:51:00.754 INFO HaplotypeCaller - HTSJDK Defaults.USE_ASYNC_IO_WRITE_FOR_TRIBBLE : false
16:51:00.754 INFO HaplotypeCaller - Deflater: IntelDeflater
16:51:00.754 INFO HaplotypeCaller - Inflater: IntelInflater
16:51:00.754 INFO HaplotypeCaller - GCS max retries/reopens: 20
16:51:00.754 INFO HaplotypeCaller - Requester pays: disabled
16:51:00.755 INFO HaplotypeCaller - Initializing engine
16:51:00.893 INFO FeatureManager - Using codec BEDCodec to read file file:///data/ref/intervals.bed
16:51:00.905 INFO IntervalArgumentCollection - Processing 6369 bp from intervals
16:51:00.910 INFO HaplotypeCaller - Done initializing engine
16:51:00.912 INFO HaplotypeCallerEngine - Tool is in reference confidence mode and the annotation, the following changes will be made to any specified annotations: 'StrandBiasBySample' will be enabled. 'ChromosomeCounts', 'FisherStrand', 'StrandOddsRatio' and 'QualByDepth' annotations have been disabled
16:51:00.917 INFO NativeLibraryLoader - Loading libgkl_utils.so from jar:file:/opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar!/com/intel/gkl/native/libgkl_utils.so
16:51:00.919 INFO NativeLibraryLoader - Loading libgkl_smithwaterman.so from jar:file:/opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar!/com/intel/gkl/native/libgkl_smithwaterman.so
16:51:00.919 INFO SmithWatermanAligner - Using AVX accelerated SmithWaterman implementation
16:51:00.923 INFO HaplotypeCallerEngine - Standard Emitting and Calling confidence set to -0.0 for reference-model confidence output
16:51:00.923 INFO HaplotypeCallerEngine - All sites annotated with PLs forced to true for reference-model confidence output
16:51:00.933 INFO NativeLibraryLoader - Loading libgkl_pairhmm_omp.so from jar:file:/opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar!/com/intel/gkl/native/libgkl_pairhmm_omp.so
16:51:00.945 INFO IntelPairHmm - Flush-to-zero (FTZ) is enabled when running PairHMM
16:51:00.945 INFO IntelPairHmm - Available threads: 4
16:51:00.945 INFO IntelPairHmm - Requested threads: 4
16:51:00.945 INFO PairHMM - Using the OpenMP multi-threaded AVX-accelerated native PairHMM implementation
16:51:00.984 INFO ProgressMeter - Starting traversal
16:51:00.985 INFO ProgressMeter - Current Locus Elapsed Minutes Regions Processed Regions/Minute
16:51:01.452 WARN InbreedingCoeff - InbreedingCoeff will not be calculated at position 20_10037292_10066351:3480 and possibly subsequent; at least 10 samples must have called genotypes
16:51:02.358 INFO HaplotypeCaller - 7 read(s) filtered by: MappingQualityReadFilter
0 read(s) filtered by: MappingQualityAvailableReadFilter
0 read(s) filtered by: MappedReadFilter
0 read(s) filtered by: NotSecondaryAlignmentReadFilter
0 read(s) filtered by: NotDuplicateReadFilter
0 read(s) filtered by: PassesVendorQualityCheckReadFilter
0 read(s) filtered by: NonZeroReferenceLengthAlignmentReadFilter
0 read(s) filtered by: GoodCigarReadFilter
0 read(s) filtered by: WellformedReadFilter
7 total reads filtered out of 1867 reads processed
16:51:02.359 INFO ProgressMeter - 20_10037292_10066351:13499 0.0 35 1529.5
16:51:02.359 INFO ProgressMeter - Traversal complete. Processed 35 total regions in 0.0 minutes.
16:51:02.361 INFO VectorLoglessPairHMM - Time spent in setup for JNI call : 0.0022800000000000003
16:51:02.361 INFO PairHMM - Total compute time in PairHMM computeLogLikelihoods() : 0.061637120000000004
16:51:02.361 INFO SmithWatermanAligner - Total compute time in native Smith-Waterman : 0.02 sec
16:51:02.362 INFO HaplotypeCaller - Shutting down engine
[February 11, 2026 at 4:51:02 PM GMT] org.broadinstitute.hellbender.tools.walkers.haplotypecaller.HaplotypeCaller done. Elapsed time: 0.03 minutes.
Runtime.totalMemory()=257949696
Això crea el fitxer de sortida GVCF reads_mother.g.vcf al directori de treball actual del contenidor, així com el seu fitxer d'índex, reads_mother.g.vcf.idx.
Si executeu head -200 reads_mother.g.vcf per veure les primeres 200 línies del contingut del fitxer, veureu que és molt més llarg que el VCF equivalent que vam generar a la primera secció, i la majoria de les línies semblen força diferents del que vam veure al VCF.
Contingut del fitxer (abreujat)
| reads_mother.g.vcf | |
|---|---|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 | |
Hem tornat a destacar l'última línia de capçalera, així com les tres primeres identificacions de variants "pròpies" del fitxer.
Notareu que les línies d'identificació de variants estan intercalades amb moltes línies de no-variant, que representen regions sense variació on l'identificador de variants no va trobar cap evidència de variació. Com s'ha esmentat breument anteriorment, això és el que fa especial el mode GVCF d'identificació de variants: la variant identificada captura algunes estadístiques que descriuen el seu nivell de confiança en l'absència de variació. Això fa possible distingir entre dos casos molt diferents: (1) hi ha dades de bona qualitat que mostren que la mostra és homozigota-referència, i (2) no hi ha prou dades de bona qualitat disponibles per fer una determinació en cap sentit.
En un GVCF com aquest, normalment hi ha moltes d'aquestes línies de no-variant, amb un nombre menor de registres de variants intercalats entre elles.
2.2.3. Repetir el procés per a les altres dues mostres¶
Ara generem GVCFs per a les dues mostres restants executant les comandes següents, una darrere l'altra.
gatk HaplotypeCaller \
-R /data/ref/ref.fasta \
-I /data/bam/reads_father.bam \
-O reads_father.g.vcf \
-L /data/ref/intervals.bed \
-ERC GVCF
Sortida de la comanda
Using GATK jar /opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar
Running:
java -Dsamjdk.use_async_io_read_samtools=false -Dsamjdk.use_async_io_write_samtools=true -Dsamjdk.use_async_io_write_tribble=false -Dsamjdk.compression_level=2 -jar /opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar HaplotypeCaller -R /data/ref/ref.fasta -I /data/bam/reads_father.bam -O reads_father.g.vcf -L /data/ref/intervals.bed -ERC GVCF
17:28:30.677 INFO NativeLibraryLoader - Loading libgkl_compression.so from jar:file:/opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar!/com/intel/gkl/native/libgkl_compression.so
17:28:30.801 INFO HaplotypeCaller - ------------------------------------------------------------
17:28:30.803 INFO HaplotypeCaller - The Genome Analysis Toolkit (GATK) v4.5.0.0
17:28:30.804 INFO HaplotypeCaller - For support and documentation go to https://software.broadinstitute.org/gatk/
17:28:30.804 INFO HaplotypeCaller - Executing as root@be1a0302f6c7 on Linux v6.8.0-1030-azure amd64
17:28:30.804 INFO HaplotypeCaller - Java runtime: OpenJDK 64-Bit Server VM v17.0.11-internal+0-adhoc..src
17:28:30.804 INFO HaplotypeCaller - Start Date/Time: February 11, 2026 at 5:28:30 PM GMT
17:28:30.804 INFO HaplotypeCaller - ------------------------------------------------------------
17:28:30.804 INFO HaplotypeCaller - ------------------------------------------------------------
17:28:30.805 INFO HaplotypeCaller - HTSJDK Version: 4.1.0
17:28:30.805 INFO HaplotypeCaller - Picard Version: 3.1.1
17:28:30.805 INFO HaplotypeCaller - Built for Spark Version: 3.5.0
17:28:30.806 INFO HaplotypeCaller - HTSJDK Defaults.COMPRESSION_LEVEL : 2
17:28:30.806 INFO HaplotypeCaller - HTSJDK Defaults.USE_ASYNC_IO_READ_FOR_SAMTOOLS : false
17:28:30.806 INFO HaplotypeCaller - HTSJDK Defaults.USE_ASYNC_IO_WRITE_FOR_SAMTOOLS : true
17:28:30.806 INFO HaplotypeCaller - HTSJDK Defaults.USE_ASYNC_IO_WRITE_FOR_TRIBBLE : false
17:28:30.806 INFO HaplotypeCaller - Deflater: IntelDeflater
17:28:30.807 INFO HaplotypeCaller - Inflater: IntelInflater
17:28:30.807 INFO HaplotypeCaller - GCS max retries/reopens: 20
17:28:30.807 INFO HaplotypeCaller - Requester pays: disabled
17:28:30.807 INFO HaplotypeCaller - Initializing engine
17:28:30.933 INFO FeatureManager - Using codec BEDCodec to read file file:///data/ref/intervals.bed
17:28:30.946 INFO IntervalArgumentCollection - Processing 6369 bp from intervals
17:28:30.951 INFO HaplotypeCaller - Done initializing engine
17:28:30.953 INFO HaplotypeCallerEngine - Tool is in reference confidence mode and the annotation, the following changes will be made to any specified annotations: 'StrandBiasBySample' will be enabled. 'ChromosomeCounts', 'FisherStrand', 'StrandOddsRatio' and 'QualByDepth' annotations have been disabled
17:28:30.957 INFO NativeLibraryLoader - Loading libgkl_utils.so from jar:file:/opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar!/com/intel/gkl/native/libgkl_utils.so
17:28:30.959 INFO NativeLibraryLoader - Loading libgkl_smithwaterman.so from jar:file:/opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar!/com/intel/gkl/native/libgkl_smithwaterman.so
17:28:30.960 INFO SmithWatermanAligner - Using AVX accelerated SmithWaterman implementation
17:28:30.963 INFO HaplotypeCallerEngine - Standard Emitting and Calling confidence set to -0.0 for reference-model confidence output
17:28:30.963 INFO HaplotypeCallerEngine - All sites annotated with PLs forced to true for reference-model confidence output
17:28:30.972 INFO NativeLibraryLoader - Loading libgkl_pairhmm_omp.so from jar:file:/opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar!/com/intel/gkl/native/libgkl_pairhmm_omp.so
17:28:30.987 INFO IntelPairHmm - Flush-to-zero (FTZ) is enabled when running PairHMM
17:28:30.987 INFO IntelPairHmm - Available threads: 4
17:28:30.987 INFO IntelPairHmm - Requested threads: 4
17:28:30.987 INFO PairHMM - Using the OpenMP multi-threaded AVX-accelerated native PairHMM implementation
17:28:31.034 INFO ProgressMeter - Starting traversal
17:28:31.034 INFO ProgressMeter - Current Locus Elapsed Minutes Regions Processed Regions/Minute
17:28:31.570 WARN InbreedingCoeff - InbreedingCoeff will not be calculated at position 20_10037292_10066351:3480 and possibly subsequent; at least 10 samples must have called genotypes
17:28:32.865 INFO HaplotypeCaller - 9 read(s) filtered by: MappingQualityReadFilter
0 read(s) filtered by: MappingQualityAvailableReadFilter
0 read(s) filtered by: MappedReadFilter
0 read(s) filtered by: NotSecondaryAlignmentReadFilter
0 read(s) filtered by: NotDuplicateReadFilter
0 read(s) filtered by: PassesVendorQualityCheckReadFilter
0 read(s) filtered by: NonZeroReferenceLengthAlignmentReadFilter
0 read(s) filtered by: GoodCigarReadFilter
0 read(s) filtered by: WellformedReadFilter
9 total reads filtered out of 2064 reads processed
17:28:32.866 INFO ProgressMeter - 20_10037292_10066351:13338 0.0 38 1245.2
17:28:32.866 INFO ProgressMeter - Traversal complete. Processed 38 total regions in 0.0 minutes.
17:28:32.868 INFO VectorLoglessPairHMM - Time spent in setup for JNI call : 0.0035923200000000004
17:28:32.868 INFO PairHMM - Total compute time in PairHMM computeLogLikelihoods() : 0.10765202500000001
17:28:32.868 INFO SmithWatermanAligner - Total compute time in native Smith-Waterman : 0.03 sec
17:28:32.869 INFO HaplotypeCaller - Shutting down engine
[February 11, 2026 at 5:28:32 PM GMT] org.broadinstitute.hellbender.tools.walkers.haplotypecaller.HaplotypeCaller done. Elapsed time: 0.04 minutes.
Runtime.totalMemory()=299892736
gatk HaplotypeCaller \
-R /data/ref/ref.fasta \
-I /data/bam/reads_son.bam \
-O reads_son.g.vcf \
-L /data/ref/intervals.bed \
-ERC GVCF
Sortida de la comanda
Using GATK jar /opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar
Running:
java -Dsamjdk.use_async_io_read_samtools=false -Dsamjdk.use_async_io_write_samtools=true -Dsamjdk.use_async_io_write_tribble=false -Dsamjdk.compression_level=2 -jar /opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar HaplotypeCaller -R /data/ref/ref.fasta -I /data/bam/reads_son.bam -O reads_son.g.vcf -L /data/ref/intervals.bed -ERC GVCF
17:30:10.017 INFO NativeLibraryLoader - Loading libgkl_compression.so from jar:file:/opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar!/com/intel/gkl/native/libgkl_compression.so
17:30:10.156 INFO HaplotypeCaller - ------------------------------------------------------------
17:30:10.159 INFO HaplotypeCaller - The Genome Analysis Toolkit (GATK) v4.5.0.0
17:30:10.159 INFO HaplotypeCaller - For support and documentation go to https://software.broadinstitute.org/gatk/
17:30:10.159 INFO HaplotypeCaller - Executing as root@be1a0302f6c7 on Linux v6.8.0-1030-azure amd64
17:30:10.159 INFO HaplotypeCaller - Java runtime: OpenJDK 64-Bit Server VM v17.0.11-internal+0-adhoc..src
17:30:10.159 INFO HaplotypeCaller - Start Date/Time: February 11, 2026 at 5:30:09 PM GMT
17:30:10.159 INFO HaplotypeCaller - ------------------------------------------------------------
17:30:10.160 INFO HaplotypeCaller - ------------------------------------------------------------
17:30:10.160 INFO HaplotypeCaller - HTSJDK Version: 4.1.0
17:30:10.160 INFO HaplotypeCaller - Picard Version: 3.1.1
17:30:10.161 INFO HaplotypeCaller - Built for Spark Version: 3.5.0
17:30:10.161 INFO HaplotypeCaller - HTSJDK Defaults.COMPRESSION_LEVEL : 2
17:30:10.161 INFO HaplotypeCaller - HTSJDK Defaults.USE_ASYNC_IO_READ_FOR_SAMTOOLS : false
17:30:10.161 INFO HaplotypeCaller - HTSJDK Defaults.USE_ASYNC_IO_WRITE_FOR_SAMTOOLS : true
17:30:10.161 INFO HaplotypeCaller - HTSJDK Defaults.USE_ASYNC_IO_WRITE_FOR_TRIBBLE : false
17:30:10.161 INFO HaplotypeCaller - Deflater: IntelDeflater
17:30:10.162 INFO HaplotypeCaller - Inflater: IntelInflater
17:30:10.162 INFO HaplotypeCaller - GCS max retries/reopens: 20
17:30:10.162 INFO HaplotypeCaller - Requester pays: disabled
17:30:10.162 INFO HaplotypeCaller - Initializing engine
17:30:10.277 INFO FeatureManager - Using codec BEDCodec to read file file:///data/ref/intervals.bed
17:30:10.290 INFO IntervalArgumentCollection - Processing 6369 bp from intervals
17:30:10.296 INFO HaplotypeCaller - Done initializing engine
17:30:10.298 INFO HaplotypeCallerEngine - Tool is in reference confidence mode and the annotation, the following changes will be made to any specified annotations: 'StrandBiasBySample' will be enabled. 'ChromosomeCounts', 'FisherStrand', 'StrandOddsRatio' and 'QualByDepth' annotations have been disabled
17:30:10.302 INFO NativeLibraryLoader - Loading libgkl_utils.so from jar:file:/opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar!/com/intel/gkl/native/libgkl_utils.so
17:30:10.303 INFO NativeLibraryLoader - Loading libgkl_smithwaterman.so from jar:file:/opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar!/com/intel/gkl/native/libgkl_smithwaterman.so
17:30:10.304 INFO SmithWatermanAligner - Using AVX accelerated SmithWaterman implementation
17:30:10.307 INFO HaplotypeCallerEngine - Standard Emitting and Calling confidence set to -0.0 for reference-model confidence output
17:30:10.307 INFO HaplotypeCallerEngine - All sites annotated with PLs forced to true for reference-model confidence output
17:30:10.315 INFO NativeLibraryLoader - Loading libgkl_pairhmm_omp.so from jar:file:/opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar!/com/intel/gkl/native/libgkl_pairhmm_omp.so
17:30:10.328 INFO IntelPairHmm - Flush-to-zero (FTZ) is enabled when running PairHMM
17:30:10.329 INFO IntelPairHmm - Available threads: 4
17:30:10.329 INFO IntelPairHmm - Requested threads: 4
17:30:10.329 INFO PairHMM - Using the OpenMP multi-threaded AVX-accelerated native PairHMM implementation
17:30:10.368 INFO ProgressMeter - Starting traversal
17:30:10.369 INFO ProgressMeter - Current Locus Elapsed Minutes Regions Processed Regions/Minute
17:30:10.875 WARN InbreedingCoeff - InbreedingCoeff will not be calculated at position 20_10037292_10066351:3480 and possibly subsequent; at least 10 samples must have called genotypes
17:30:11.980 INFO HaplotypeCaller - 14 read(s) filtered by: MappingQualityReadFilter
0 read(s) filtered by: MappingQualityAvailableReadFilter
0 read(s) filtered by: MappedReadFilter
0 read(s) filtered by: NotSecondaryAlignmentReadFilter
0 read(s) filtered by: NotDuplicateReadFilter
0 read(s) filtered by: PassesVendorQualityCheckReadFilter
0 read(s) filtered by: NonZeroReferenceLengthAlignmentReadFilter
0 read(s) filtered by: GoodCigarReadFilter
0 read(s) filtered by: WellformedReadFilter
14 total reads filtered out of 1981 reads processed
17:30:11.981 INFO ProgressMeter - 20_10037292_10066351:13223 0.0 35 1302.7
17:30:11.981 INFO ProgressMeter - Traversal complete. Processed 35 total regions in 0.0 minutes.
17:30:11.983 INFO VectorLoglessPairHMM - Time spent in setup for JNI call : 0.0034843710000000004
17:30:11.983 INFO PairHMM - Total compute time in PairHMM computeLogLikelihoods() : 0.048108363
17:30:11.983 INFO SmithWatermanAligner - Total compute time in native Smith-Waterman : 0.02 sec
17:30:11.984 INFO HaplotypeCaller - Shutting down engine
[February 11, 2026 at 5:30:11 PM GMT] org.broadinstitute.hellbender.tools.walkers.haplotypecaller.HaplotypeCaller done. Elapsed time: 0.03 minutes.
Runtime.totalMemory()=226492416
Un cop completat, hauríeu de tenir tres fitxers acabats en .g.vcf al vostre directori actual (un per mostra) i els seus respectius fitxers d'índex acabats en .g.vcf.idx.
Contingut del directori
En aquest punt, hem identificat variants en mode GVCF per a cadascuna de les nostres mostres d'entrada. És hora de passar al genotipatge conjunt.
Però no sortiu del contenidor! Farem servir el mateix al pas següent.
2.3. Executar el genotipatge conjunt¶
Ara que tenim tots els GVCFs, podem provar l'enfocament de genotipatge conjunt per generar identificacions de variants per a una cohort de mostres. És un mètode de dos passos que consisteix a combinar les dades de tots els GVCFs en un magatzem de dades, i després executar l'anàlisi de genotipatge conjunt pròpiament dita per generar el VCF final de variants identificades conjuntament.
2.3.1. Combinar tots els GVCFs per mostra¶
Aquest primer pas utilitza una altra eina de GATK, anomenada GenomicsDBImport, per combinar les dades de tots els GVCFs en un magatzem de dades GenomicsDB. El magatzem de dades GenomicsDB és una mena de format de base de dades que serveix com a emmagatzematge intermedi per a la informació de variants.
gatk GenomicsDBImport \
-V reads_mother.g.vcf \
-V reads_father.g.vcf \
-V reads_son.g.vcf \
-L /data/ref/intervals.bed \
--genomicsdb-workspace-path family_trio_gdb
Sortida de la comanda
Using GATK jar /opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar
Running:
java -Dsamjdk.use_async_io_read_samtools=false -Dsamjdk.use_async_io_write_samtools=true -Dsamjdk.use_async_io_write_tribble=false -Dsamjdk.compression_level=2 -jar /opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar GenomicsDBImport -V reads_mother.g.vcf -V reads_father.g.vcf -V reads_son.g.vcf -L /data/ref/intervals.bed --genomicsdb-workspace-path family_trio_gdb
17:37:07.569 INFO NativeLibraryLoader - Loading libgkl_compression.so from jar:file:/opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar!/com/intel/gkl/native/libgkl_compression.so
17:37:07.699 INFO GenomicsDBImport - ------------------------------------------------------------
17:37:07.702 INFO GenomicsDBImport - The Genome Analysis Toolkit (GATK) v4.5.0.0
17:37:07.702 INFO GenomicsDBImport - For support and documentation go to https://software.broadinstitute.org/gatk/
17:37:07.703 INFO GenomicsDBImport - Executing as root@be1a0302f6c7 on Linux v6.8.0-1030-azure amd64
17:37:07.703 INFO GenomicsDBImport - Java runtime: OpenJDK 64-Bit Server VM v17.0.11-internal+0-adhoc..src
17:37:07.704 INFO GenomicsDBImport - Start Date/Time: February 11, 2026 at 5:37:07 PM GMT
17:37:07.704 INFO GenomicsDBImport - ------------------------------------------------------------
17:37:07.704 INFO GenomicsDBImport - ------------------------------------------------------------
17:37:07.706 INFO GenomicsDBImport - HTSJDK Version: 4.1.0
17:37:07.706 INFO GenomicsDBImport - Picard Version: 3.1.1
17:37:07.707 INFO GenomicsDBImport - Built for Spark Version: 3.5.0
17:37:07.709 INFO GenomicsDBImport - HTSJDK Defaults.COMPRESSION_LEVEL : 2
17:37:07.709 INFO GenomicsDBImport - HTSJDK Defaults.USE_ASYNC_IO_READ_FOR_SAMTOOLS : false
17:37:07.709 INFO GenomicsDBImport - HTSJDK Defaults.USE_ASYNC_IO_WRITE_FOR_SAMTOOLS : true
17:37:07.710 INFO GenomicsDBImport - HTSJDK Defaults.USE_ASYNC_IO_WRITE_FOR_TRIBBLE : false
17:37:07.710 INFO GenomicsDBImport - Deflater: IntelDeflater
17:37:07.711 INFO GenomicsDBImport - Inflater: IntelInflater
17:37:07.711 INFO GenomicsDBImport - GCS max retries/reopens: 20
17:37:07.711 INFO GenomicsDBImport - Requester pays: disabled
17:37:07.712 INFO GenomicsDBImport - Initializing engine
17:37:07.883 INFO FeatureManager - Using codec BEDCodec to read file file:///data/ref/intervals.bed
17:37:07.886 INFO IntervalArgumentCollection - Processing 6369 bp from intervals
17:37:07.889 INFO GenomicsDBImport - Done initializing engine
17:37:08.560 INFO GenomicsDBLibLoader - GenomicsDB native library version : 1.5.1-84e800e
17:37:08.561 INFO GenomicsDBImport - Vid Map JSON file will be written to /tmp/family_trio_gdb/vidmap.json
17:37:08.561 INFO GenomicsDBImport - Callset Map JSON file will be written to /tmp/family_trio_gdb/callset.json
17:37:08.561 INFO GenomicsDBImport - Complete VCF Header will be written to /tmp/family_trio_gdb/vcfheader.vcf
17:37:08.561 INFO GenomicsDBImport - Importing to workspace - /tmp/family_trio_gdb
17:37:08.878 INFO GenomicsDBImport - Importing batch 1 with 3 samples
17:37:09.359 INFO GenomicsDBImport - Importing batch 1 with 3 samples
17:37:09.487 INFO GenomicsDBImport - Importing batch 1 with 3 samples
17:37:09.591 INFO GenomicsDBImport - Done importing batch 1/1
17:37:09.592 INFO GenomicsDBImport - Import completed!
17:37:09.592 INFO GenomicsDBImport - Shutting down engine
[February 11, 2026 at 5:37:09 PM GMT] org.broadinstitute.hellbender.tools.genomicsdb.GenomicsDBImport done. Elapsed time: 0.03 minutes.
Runtime.totalMemory()=113246208
Tool returned:
true
La sortida d'aquest pas és efectivament un directori que conté un conjunt de directoris niats addicionals que contenen les dades de variants combinades en forma de múltiples fitxers diferents. Podeu explorar-lo, però veureu ràpidament que aquest format de magatzem de dades no està pensat per ser llegit directament per humans.
Consell
GATK inclou eines que permeten inspeccionar i extreure dades d'identificació de variants del magatzem de dades quan sigui necessari.
2.3.2. Executar l'anàlisi de genotipatge conjunt pròpiament dita¶
Aquest segon pas utilitza una altra eina de GATK, anomenada GenotypeGVCFs, per recalcular les estadístiques de variants i els genotips individuals tenint en compte les dades disponibles de totes les mostres de la cohort.
Sortida de la comanda
Using GATK jar /opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar
Running:
java -Dsamjdk.use_async_io_read_samtools=false -Dsamjdk.use_async_io_write_samtools=true -Dsamjdk.use_async_io_write_tribble=false -Dsamjdk.compression_level=2 -jar /opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar GenotypeGVCFs -R /data/ref/ref.fasta -V gendb://family_trio_gdb -O family_trio.vcf
17:38:45.084 INFO NativeLibraryLoader - Loading libgkl_compression.so from jar:file:/opt/conda/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar!/com/intel/gkl/native/libgkl_compression.so
17:38:45.217 INFO GenotypeGVCFs - ------------------------------------------------------------
17:38:45.220 INFO GenotypeGVCFs - The Genome Analysis Toolkit (GATK) v4.5.0.0
17:38:45.220 INFO GenotypeGVCFs - For support and documentation go to https://software.broadinstitute.org/gatk/
17:38:45.220 INFO GenotypeGVCFs - Executing as root@be1a0302f6c7 on Linux v6.8.0-1030-azure amd64
17:38:45.220 INFO GenotypeGVCFs - Java runtime: OpenJDK 64-Bit Server VM v17.0.11-internal+0-adhoc..src
17:38:45.221 INFO GenotypeGVCFs - Start Date/Time: February 11, 2026 at 5:38:45 PM GMT
17:38:45.221 INFO GenotypeGVCFs - ------------------------------------------------------------
17:38:45.221 INFO GenotypeGVCFs - ------------------------------------------------------------
17:38:45.221 INFO GenotypeGVCFs - HTSJDK Version: 4.1.0
17:38:45.222 INFO GenotypeGVCFs - Picard Version: 3.1.1
17:38:45.222 INFO GenotypeGVCFs - Built for Spark Version: 3.5.0
17:38:45.222 INFO GenotypeGVCFs - HTSJDK Defaults.COMPRESSION_LEVEL : 2
17:38:45.222 INFO GenotypeGVCFs - HTSJDK Defaults.USE_ASYNC_IO_READ_FOR_SAMTOOLS : false
17:38:45.222 INFO GenotypeGVCFs - HTSJDK Defaults.USE_ASYNC_IO_WRITE_FOR_SAMTOOLS : true
17:38:45.222 INFO GenotypeGVCFs - HTSJDK Defaults.USE_ASYNC_IO_WRITE_FOR_TRIBBLE : false
17:38:45.223 INFO GenotypeGVCFs - Deflater: IntelDeflater
17:38:45.223 INFO GenotypeGVCFs - Inflater: IntelInflater
17:38:45.223 INFO GenotypeGVCFs - GCS max retries/reopens: 20
17:38:45.223 INFO GenotypeGVCFs - Requester pays: disabled
17:38:45.223 INFO GenotypeGVCFs - Initializing engine
17:38:45.544 INFO GenomicsDBLibLoader - GenomicsDB native library version : 1.5.1-84e800e
17:38:45.561 INFO NativeGenomicsDB - pid=221 tid=222 No valid combination operation found for INFO field InbreedingCoeff - the field will NOT be part of INFO fields in the generated VCF records
17:38:45.561 INFO NativeGenomicsDB - pid=221 tid=222 No valid combination operation found for INFO field MLEAC - the field will NOT be part of INFO fields in the generated VCF records
17:38:45.561 INFO NativeGenomicsDB - pid=221 tid=222 No valid combination operation found for INFO field MLEAF - the field will NOT be part of INFO fields in the generated VCF records
17:38:45.577 INFO GenotypeGVCFs - Done initializing engine
17:38:45.615 INFO ProgressMeter - Starting traversal
17:38:45.615 INFO ProgressMeter - Current Locus Elapsed Minutes Variants Processed Variants/Minute
17:38:45.903 WARN InbreedingCoeff - InbreedingCoeff will not be calculated at position 20_10037292_10066351:3480 and possibly subsequent; at least 10 samples must have called genotypes
GENOMICSDB_TIMER,GenomicsDB iterator next() timer,Wall-clock time(s),0.07757032800000006,Cpu time(s),0.07253379200000037
17:38:46.421 INFO ProgressMeter - 20_10037292_10066351:13953 0.0 3390 252357.3
17:38:46.422 INFO ProgressMeter - Traversal complete. Processed 3390 total variants in 0.0 minutes.
17:38:46.423 INFO GenotypeGVCFs - Shutting down engine
[February 11, 2026 at 5:38:46 PM GMT] org.broadinstitute.hellbender.tools.walkers.GenotypeGVCFs done. Elapsed time: 0.02 minutes.
Runtime.totalMemory()=203423744
Això crea el fitxer de sortida VCF family_trio.vcf al directori de treball actual del contenidor, així com el seu índex, family_trio.vcf.idx.
És un fitxer raonablement petit, de manera que podeu executar cat family_trio.vcf per veure el contingut del fitxer i desplaçar-vos cap avall per trobar les primeres línies de variants.
Contingut del fitxer (abreujat)
Hem tornat a destacar l'última línia de capçalera, que marca l'inici de les dades d'identificació de variants.
Això s'assembla al VCF que vam generar anteriorment, excepte que aquesta vegada tenim informació a nivell de genotip per a les tres mostres. Les tres últimes columnes del fitxer són els blocs de genotip per a les mostres, llistades en ordre alfabètic del seu camp d'identificador, tal com es mostra a la línia de capçalera destacada.
Si mirem els genotips identificats per al nostre trio familiar de prova per a la primera variant, veiem que el pare és heterozigot-variant (0/1), i la mare i el fill són tots dos homozigots-variant (1/1).
Aquesta és, en definitiva, la mena d'informació que volem extreure del conjunt de dades!
2.3.3. Moure els fitxers de sortida¶
Com s'ha indicat anteriorment, qualsevol cosa que romangui dins del contenidor serà inaccessible per a treballs futurs. Abans de sortir del contenidor, mourem els fitxers GVCF, el VCF final de múltiples mostres i tots els seus fitxers d'índex manualment al sistema de fitxers fora del contenidor. D'aquesta manera, tindrem alguna cosa amb la qual comparar quan construïm el nostre workflow per automatitzar tota aquesta feina.
Contingut del directori" hl_lines="14-19 22-23
data
├── bam
│ ├── reads_father.bam
│ ├── reads_father.bam.bai
│ ├── reads_mother.bam
│ ├── reads_mother.bam.bai
│ ├── reads_son.bam
│ └── reads_son.bam.bai
├── ref
│ ├── intervals.bed
│ ├── ref.dict
│ ├── ref.fasta
│ └── ref.fasta.fai
├── samplesheet.csv
└── vcf
├── family_trio.vcf
├── family_trio.vcf.idx
├── reads_father.g.vcf
├── reads_father.g.vcf.idx
├── reads_mother.g.vcf
├── reads_mother.g.vcf.idx
├── reads_mother.vcf
├── reads_mother.vcf.idx
├── reads_son.g.vcf
└── reads_son.g.vcf.idx
Un cop fet, tots els fitxers ja són accessibles al vostre sistema de fitxers normal.
2.3.4. Sortir del contenidor de GATK¶
Per sortir del contenidor, escriviu exit.
El vostre indicador hauria de tornar a la normalitat. Això conclou la prova manual de les comandes d'identificació conjunta de variants.
Conclusio¶
Sabeu com provar les comandes d'indexació de Samtools i d'identificació de variants de GATK als seus respectius contenidors, incloent com generar GVCFs i executar el genotipatge conjunt sobre múltiples mostres.
Què segueix?¶
Feu una pausa i després aneu a la Part 2 per aprendre com encapsular aquestes mateixes comandes en workflows que utilitzen contenidors per executar la feina.