Loading repository data…
jesuskata / repository
Este repositorio contiene el proceso de trabajo llevado en el Curso de Ingeniería de Datos de Platzi con David Aroesti
A transparent discovery signal based on current public GitHub metadata.
This score does not audit code, security, maintainers, documentation quality, or suitability. Verify the repository and its current documentation before adoption.
La Ciencia de Datos es la disciplina que se encarga de extraer conocimiento de los datos disponibles. Casi siempre cuando te realizas una pregunta sobre datos estas fuentes se encuentra escondidas, ocultas o de difícil acceso. A nuestro alrededor hay datos en tu computadora, mesa, reloj, etc.
Los datos están por todas partes.
La Ciencia de datos es multidisciplinaria. A diferencia de muchos otros ámbitos profesionales dentro del mundo de la tecnología, cuando hablamos de un científico de datos es una persona que sabe de matemáticas, ingeniería de software y sabe de negocios.
Se apoya en la Computer science, Matemáticas(Regresiones e Inferencias),
También se auxilia de:
Existen por lo menos tres diferentes roles para tener un pipeline completo de ciencia de datos. Este curso trata sobre el primer rol:
Data engineer
Data scientist
Machine Learning engineer
Anaconda es una instalación de Python que ya trae preinstalado todos los paquetes necesarios para tu labor en la Ciencia de Datos, tiene más de 1400 paquetes. Nos permite configurar ambientes virtuales para poder utilizar diferentes versiones de nuestros paquetes.
conda --version # para conocer la versión y saber que lo tenemos instalado
conda --help # nos da todos los comandos que podemos usar.
conda list # nos lista todos los paquetes que Anaconda instaló.
Una buena práctica es generar un ambiente virtual por cada proyecto, los ambientes virtuales nos permiten generar varios proyectos con diferentes versiones de la librería sin generarnos errores de compatibilidad. Tradicionalmente en Python se utiliza virtualenv.
conda create --name [nombre-del-proyecto] [librerías-a-usar]
conda create --name platzi-data beautifulsoup4 requests numpy pandas matplotlib yaml
source activate platzi-data # Para activar
source deactivate # Para salir
conda env list # nos muestra los ambientes virtuales que tenemos
conda remove --name [nombre-del-proyecto] --all # eliminar nuestro entorno virtual con todos nuestros paquetes
Algo interesante que tenemos con Anaconda es que nos trae Jupyter Notebooks.
Jupyter Notebooks es un entorno de programación en el cual podemos mezclar ejecución de código en vivo, visualizaciones y añadir markdown.
Para inicializar nuestro servidor de jupyter, escribimos en el command line: jupyter notebook.
Jupyter Notebook tiene diferentes tipos de celdas en las cuales podemos escribir código o markdown. Si queremos ejecutar nuestro código hacemos ctrl + enter y si queremos ejecutar y añadir una nueva celda shift + enter.
Jupyter Notebook tiene dos modalidades, la modalidad de edición y navegación.
Los datos vienen en mucha formas y estas formas las podemos clasificar de diferentes maneras, permitiéndonos poder aplicar técnicas distintas a cada uno de los tipos de datos.
Los primeros datos son los primitivos.
from datetime import datetime
integer_type = 42
float_type = 3.14159
bool_type = False
hex_type = 0xff
oct_type = 0o23
today = datetime.now()
str_type = 'Jesus'
Tenemos clasificaciones ulteriores como:
Es una mina enorme con datos financieros, de startups, del clima, precipitación fluvial, astronómicos, de negocios, etc.
Endpoints que viven en la web y nos devuelven JSON. Por ejemplo, la API de twitter, google, facebook.
Son el comportamiento del usuario dentro de nuestra aplicaciones, algo similiar a los que nos ofrece Google Analytics.
Se ha vuelto una mina espectacular en los últimos años. Como automóviles.
Extract: Es el proceso de lectura de datos de diversas fuentes
Transform: En este momento cuando nosotros tenemos que transformar los datos, tenemos que identificar datos faltantes o datos erróneos o una edad negativa. En esta etapa donde tenemos que identificar todos los problemas y solucionarlos.
Load: Una vez transformados debemos insertarlos en el data warehouse
Las tecnologías web en principio podemos pensarlas como el internet, pero el internet es mucho más grande, es la red de redes, la forma en la que millones de computadores se conectan entre ellas para transferirse información.
El internet también se compone de otros pedazos como:
El internet es una red que une varias redes públicas, privadas, académicas, de negocios, de gobiernos, etc.
La web específicamente es un espacio de información en el cual varios documentos(y otros recursos web) se pueden acceder a través de URLs y vínculos(links). La comunicación se da a través del protocolo HTTP.
Elementos básicos de la web:
Un link interesante para los sitios SPA, sería Puppeteer, ya que al ser rendereado por JavaScript, nuestro scrapping a veces puede que nos traiga sitios "vacíos".
Para poder experimentar con la web necesitamos un método programático para solicitar URLs y obtener HTML.
Requests: Nos permite generar solicitudes a la web dentro de Python y utilizar los diferentes verbos HTTP, normalmente utilizaremos el método GET porque vamos a traer datos.
Algunos ejemplos de verbos HTTP:
requests.get('url') # para hacer una solicitud a la web y nos devolverá un objeto response
Todas las solicitudes HTTP tienen metadatos para que los diferentes sistemas y computadoras puedan entender de qué va la solicitud.
Algunos de los códigos de estado del protocolo HTTP:
Estos códigos estan categorizados en los siguientes grupos:
Puedes ver la lista en este link
Un ejemplo del uso de una librería de Python llamada requests:
import requests
response = requests.get('https://platzi.com')
response? # Nos da una respuesta con información mínima del tipo de contenido
response?? # Nos extiende la respuesta de la clase con su contenido
print(dir(response)) # Nos da todos los métodos que podemos usar en response
# ['__attrs__', '__bool__', '__class__', '__delattr__', '__dict__', '__dir__', '__doc__', '__enter__', '__eq__', '__exit__', '__format__', '__ge__', '__getattribute__', '__getstate__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__iter__', '__le__', '__lt__', '__module__', '__ne__', '__new__', '__nonzero__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__setstate__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', '_content', '_content_consumed', '_next', 'apparent_encoding', 'close', 'connection', 'content', 'cookies', 'elapsed', 'encoding', 'headers', 'history',
Selected from shared topics, language and repository description—not editorial ratings.
Chilangdon20 /
En este repositorio encontraras todo relacionado con python, desde definiciones básicas hasta Machine Learning y un poco de Data Science, este repositorio contiene todo lo que e aprendido acerca de python, espero lo disfrutes.
30/100 healthAFIF-UG /
Repositorio de Introduccion a Python - Curso Online 2022, que contiene las bases y fundamentos para aprender a programar en este lenguaje.
36/100 healthjmcurbelo /
Este repositorio contiene el material del curso de Udemy Big Data y Spark: ingeniería de datos con Python y pyspark. En este curso, aprenderás a utilizar las herramientas y técnicas necesarias para trabajar con grandes conjuntos de datos utilizando la librería pyspark.
ELOSPO /
Este repositorio contiene las funciones básicas del curso de Trading Algorítmico con Python y MT5 dictado en la Universidad del Rosario así como los robots desarrollados durante el curso
57/100 healthdimas-avila /
Este repositorio contiene el código que vayamos generando a lo largo del curso de python
49/100 healthHectorRiquelme /
Este repositorio contiene una serie de archivos python los cuales pretenden explicar distintos puntos escenciales para comprender el lenguaje python seguido por una serie de ejercicios para reforzar lo aprendido
55/100 health