airflow-uneb-arbovirus

Este repositório consiste em um projeto de orquestração de pipelines para a iniciação científica de arbovírus da UNEB.

#airflow#data-engineering#docker#pipeline#python

View Repository on GitHub ↗

REPOSITORY OVERVIEW

Live repository statistics

★ 1Stars

⑂ 0Forks

◯ 0Open issues

◉ 1Watchers

31/100

OPENREPOHUB HEALTH SIGNAL

Limited signals

A transparent discovery signal based on current public GitHub metadata.

Recent activity35% weight

Community adoption25% weight

Maintenance state20% weight

100

License clarity10% weight

Project information10% weight

This score does not audit code, security, maintainers, documentation quality, or suitability. Verify the repository and its current documentation before adoption.

README preview

Ariflow UNEB

Este repositório consiste em um projeto de orquestração de pipelines para a iniciação científica de arbovírus da UNEB. Neste serviço, estamos usando o Apache Airflow, conteinerizado para que possamos usar o executor Celery, e utilizando o PostgreSQL como backend da aplicação e o MySQL como banco de dados.

Ferramentas utilizadas

Python
Airflow
PostgreSQL
Docker
MySQL

Pipelines em execução

Extração de sequências (Chikungunya)

Este é um pipeline que faz a extração de sequências da API do GenBank Entrez, salva em XML, extrai as informações mais relevantes inicialmente e carrega no banco de dados.

Download de artigos

Este pipeline consiste no download de artigos científicos que citam a sequência, com base na coluna de PubMed extraída no primeiro pipeline.

Como executar

Com o terminal aberto na raiz do projeto, execute o compose com o seguinte comando:

docker-compose up -d --build --force-recreate

O serviço ficará disponível no Airflow.
Caso seja a primeira execução, configure a conexão com o banco de dados conforme a imagem abaixo: