AnguitaDuque /
DocumentosJupyter
Guías, documentos y tutoriales en para Jupyter Notebook o Jupyter lab, ti
27/100 healthActive repository
Jupyter NotebookNo license
⑂ 0 forks◯ 0 issuesUpdated Mar 16, 2022
Loading repository data…
Loading repository data…
Andresaf03 / repository
Tutorial y guía para el aprendizaje de Dask.
A transparent discovery signal based on current public GitHub metadata.
This score does not audit code, security, maintainers, documentation quality, or suitability. Verify the repository and its current documentation before adoption.
Este es el proyecto de Dask para la materia de Fuentes de Datos ITAM Otoño 2024.
Recomendamos que realices este proceso con tiempo (no más de 10 minutos), ya que el repositorio es algo pesado y el Docker se tarda en construir.
En el GitHub del proyecto, haz click en el botón de Fork que se encuentra por la esquina superior derecha (esto es necesario para que puedan subir su tarea). A partir de aquí, elige un nombre (recomendamos que sea proyecto_dask) y selecciona la opción de copiar solamente la rama master/main. Así, tendrás un fork de nuestro repositorio en tu GitHub, el cual podrás clonar y desde el cuál podrás hacer el pull request para la tarea.
Accede a una carpeta donde desees guardar el proyecto y clona el repositorio de tu fork con:
git clone git@github.com:tu_usuario/proyecto_dask.git
Sustituye, si decidiste usar otro nombre para el repositorio, en proyecto_dask tanto arriba como abajo.
Ahora accede a la carpeta con:
cd proyecto_dask
Igualmente, para la tarea, por si se modifica algo, recomendamos que configures el upstream. Estando dentro de la carpeta en el repositorio de tu fork (paso anterior), puedes hacerlo con:
git remote add upstream git@github.com:Andresaf03/proyecto_dask.git
Si vas a seguir el proyecto de manera local (no recomendamos) y no quieres construir el Docker, es necesario que construyas el ambiente virtual (.venv) desde tu editor de código. En VS Code simplemente pulsa CONTROL + SHIFT + P -> >Create Environment -> Venv -> Seleccionar tu intérpete de python -> seleccionar la casilla de requirements.txt -> ENTER. De esta forma se creará un ambiente virtual local con las dependencias necesarias para seguir el proyecto, puedes saltarte este paso y verás el proyecto dentro de la carpeta /notebooks. En otro caso, sige las instrucciones a continuación:
Reconstruye las imágenes de Docker
docker-compose build
Inicia los servicios
docker-compose up
Para acceder al proyecto, accede a Jupyter Lab a través del navegador en http://localhost:8888. Los notebooks están disponibles en el directorio notebooks/ dentro del contenedor.
En los notebooks (00-05), asegúrate de configurar un cliente Dask para habilitar el procesamiento distribuido. Este es el fragmento de código que está al principio de cada notebook, córrelo:
from dask.distributed import Client
# Configurar el cliente
client = Client(n_workers = 2, threads_per_worker=4, memory_limit='1GB', dashboard_address=':puerto_determinado')
client # Enlace al Dashboard de Dask
Esto imprimirá un enlace accesible desde el localhost en el puerto especificado con dashboard_adress, o bien, dentro de jupyterlab habrá una opción para abrirlo como un dashboard ahí mismo (se dividrá la pantalla).
De esta forma, desde tu navegador en http://localhost:8888 a través de Jupyter Lab puedes seguir el proyecto (notebooks 00-06). El código está pre-ejecutado, pero si quieres observar como funcionan los clientes necesitas ejecutarlo tú para que el código funcione.
proyecto_dask/
├── notebooks/ # Notebooks Jupyter para el proyecto (contiene igualmente los datos en `data` y las imágenes en `images`)
├── requirements.txt # Dependencias del proyecto
├── docker-compose.yml # Configuración de Docker Compose
├── Dockerfile # Imagen Docker personalizada
└── README.md # Documentación del proyecto
Para la tarea, es necesario que consultes el archivo 06_tarea_dask.ipynb. Dentro de este se encuentran todas las instrucciones de la tarea. Una vez realizado el 'fork' y clonado el repositorio, crea una rama en tu fork y agrega una carpeta con tu clave única en la carpeta de tareas. Copia el archivo 06_tarea_dask.ipynb de la carpeta de notebooks y agrégalo a tu carpeta. Resuelve la tarea (dentro de tu carpeta) y haz pull request al main de nuestro repositorio (desde tu main). Este es el mismo procedimiento que hemos seguido en la clase de Fuentes de Datos.
Selected from shared topics, language and repository description—not editorial ratings.
AnguitaDuque /
Guías, documentos y tutoriales en para Jupyter Notebook o Jupyter lab, ti
27/100 health