🎉 Complement python notes

Author: eocode

README.md

@@ -9,7 +9,8 @@ Reuní trabajo relacionado con datos de forma ordenada y organizada que se irá
 
 Proyectos realizados con Python
 
-* [News Scrapper with Python full ETL Process](https://github.com/eocode/News-Scrapper)
+* [Web Scraper Tools](https://github.com/eocode/Web-Scraper-Tools)
+* [News Scraper with Python full ETL Process](https://github.com/eocode/News-Scraper)
 * [COVIT-19 México with Python, Sheets and DataStudio](https://github.com/eocode/COVIT-19-Mexico)
 * [Rider App with Docker-Django-DRF-Celery-Redis-Postgresql](https://github.com/eocode/Rider-App)
 * [Photogram with Django](https://github.com/eocode/PhotoGram)

learn/DataScience/Ingenieria de datos/README.md

@@ -16,10 +16,16 @@
     - [Herramientas para encontrar DataSets](#herramientas-para-encontrar-datasets)
   - [ETL](#etl)
 - [Web Scrapping](#web-scrapping)
+  - [Etica y legalidad](#etica-y-legalidad)
   - [Requests](#requests)
   - [Beautiful Soup](#beautiful-soup)
   - [Solicitudes a la web: Requests](#solicitudes-a-la-web-requests)
   - [Page Object Patter (Patrón de diseño)](#page-object-patter-patr%c3%b3n-de-dise%c3%b1o)
+  - [Scrapping JS usando Selenium](#scrapping-js-usando-selenium)
+    - [XPath CheatSheet](#xpath-cheatsheet)
+  - [Scrapy](#scrapy)
+  - [Proxys](#proxys)
+  - [Tesseract](#tesseract)
 - [Pandas](#pandas)
   - [Estructuras de datos: Series](#estructuras-de-datos-series)
   - [Estructura de datos: DataFrames](#estructura-de-datos-dataframes)
@@ -32,6 +38,12 @@
 - [Sistemas de información](#sistemas-de-informaci%c3%b3n)
   - [SQLite](#sqlite)
 - [Nube](#nube)
+- [Introducción a las APIs](#introducci%c3%b3n-a-las-apis)
+  - [¿Qué es una API?](#%c2%bfqu%c3%a9-es-una-api)
+  - [REST](#rest)
+  - [Documentación](#documentaci%c3%b3n)
+  - [JSON](#json)
+  - [Spotify API](#spotify-api)
 
 # Introducción
 
@@ -249,6 +261,43 @@ Las tecnologías web en principio podemos pensarlas como el internet, pero el in
 
 El internet también se compone de otros pedazos como telefonía(voip), mail(pop3, imap), compartir archivos(ftp). **El internet es una red que une varias redes públicas, privadas, académicas, de negocios, de gobiernos, etc.**
 
+* **Web Scrapping** es el proceso de extracción de datos almacenados en la web.
+  * Recopilar información almacenada en un servidor web
+* **Web Crawling** es para mapear e indexar páginas web para conocer su contenido, así como hace Google y varios buscadores.
+  * Conocer la estructura de la web
+
+## Etica y legalidad
+
+Es legal... depende
+
+* Estoy violando alguna reglamentación local
+* Estoy violando los "Términos y Condiciones" del sitio
+* ¿Estoy accediendo a lugares no autorizados?
+* ¿Es legal el uso que le voy a dar a los datos?
+
+Estados Unidos lo define de la siguiente manera
+
+> Quienquiera que acceda a una computadora sin autorización o exceda la autorización otorgada y de este modo obtenga información protegida
+
+Toma en cuenta: 
+* Robots.txt
+  * Define reglas de buenas prácticas de scrapping
+  * https://andres-dev.com/guia-completa-robots/
+* Mapa del sitio
+
+> Se responsable!
+
+Para México Articulo 211 bis 1:
+http://www.diputados.gob.mx/LeyesBiblio/pdf/9_240120.pdf
+
+> “Artículo 211 bis 1.- Al que sin autorización modifique, destruya o provoque pérdida de información
+contenida en sistemas o equipos de informática protegidos por algún mecanismo de seguridad, se le
+impondrán de seis meses a dos años de prisión y de cien a trescientos días multa.
+Al que sin autorización conozca o copie información contenida en sistemas o equipos de informática
+protegidos por algún mecanismo de seguridad, se le impondrán de tres meses a un año de prisión y de
+cincuenta a ciento cincuenta días multa.”
+
+
 <hr>
 
 **La web específicamente es un espacio de información** en el cual varios documentos(y otros recursos web) se pueden acceder a través de URLs y vínculos(links). La comunicación se da a través del protocolo HTTP.
@@ -307,6 +356,50 @@ https://medium.com/tech-tajawal/page-object-model-pom-design-pattern-f9588630800
   <img src="img/2.png">
 </div>
 
+## Scrapping JS usando Selenium
+
+https://selenium-python.readthedocs.io/installation.html
+
+* Instalar los bindings de Selenium para Python. Éstos nos permitirán controlar un navegador desde el código.
+
+``pip install selenium``
+
+``conda install -c conda-forge selenium``
+
+``pip install webdriver-manager``
+
+### XPath CheatSheet
+http://labs.timtom.ch/library-webscraping/extras/xpath-cheatsheet.md.pdf
+
+> Selenium se debe de usar unicamente cuándo sea necesario
+
+## Scrapy
+
+* Scrapear en paralelo
+* Trabajar con Xpath en lugar de BS4
+* Limitar Requests en paralelo
+* Setear demoras
+* Limitar dominios
+
+## Proxys
+
+http://cualesmiip.com/
+https://www.free-proxy-list.net/
+https://github.com/Anorov/PySocks
+
+## Tesseract
+
+https://pypi.org/project/tesserocr/
+
+Solución al error RuntimeError: Failed to init API, possibly an invalid tessdata path:
+
+Descargar la carpeta tessdata del siguiente link --> https://github.com/tesseract-ocr/tessdata/archive/master.zip
+Descomprimir en el escritorio la carpeta y cambiarle el nombre a solo “tessdata”
+Moverla a la ruta donde tienen instalado Python, en mi caso es C:\Program Files (x86)\Python37-32
+¡Problema solucionado! 😄
+
+Otra biblioteca es OpenCV para el tratamiento de imagenes
+
 # Pandas
 
 **Pandas nos otorga diversas facilidades para el ““domado de datos””. Nos otorga dos estructuras de datos:**
@@ -430,6 +523,8 @@ La verdad es que para los profesionales de los datos, especialmente los profesio
 
 ## SQLite
 
+https://www.sqlalchemy.org/
+
 # Nube
 
 La nube nos da un poder de cómputo casi inimaginable, nos permite procesar terabytes de datos en segundos. La nube se puede usar en dos grandes ocasiones. Cuando los datos ya no caben en tu computadora loca o cuando el tiempo de procesamiento esta siendo muy extenso, es en ese momento donde deberías usar la nube.
@@ -445,3 +540,22 @@ Diversas nubes ya ofrecen paquetes completos para el ciclo de datos, como Google
 * BigQuery
 * Dataproc
 * Firestore
+
+# Introducción a las APIs
+
+## ¿Qué es una API?
+
+Por sus siglas en inglés, una API es una i**nterfaz para programar aplicaciones (Application Programming Interface).** Es decir que es un conjunto de funciones, métodos, reglas y definiciones que nos permitirán desarrollar aplicaciones (en este caso un scraper) que se comuniquen con los servidores de Spotify. **Las APIs son diseñadas y desarrolladas por las empresas que tienen interés en que se desarrollen aplicaciones (públicas o privadas) que utilicen sus servicios.** 
+
+## REST
+Un término se seguramente te vas a encontrar cuando estés buscando información en internet es REST o RESTful.**Significa representational state transfer y si una API es REST o RESTful, implica que respeta unos determinados principios de arquitectura, como por ejemplo un protocolo de comunicación cliente/servidor (que será HTTP) y (entre otras cosas) un conjunto de operaciones definidas que conocemos como métodos.** Ya veníamos usando el método GET para hacer solicitudes a servidores web.
+
+## Documentación
+Las APIs son diseñadas por las mismas empresas que tienen interés en que se desarrollen aplicaciones (públicas o privadas) que consuman sus servicios o información. Es por eso que la forma de utilizar las APIs variará dependiendo del servicio que querramos consumir. No es lo mismo utilizar las APIs de Spotify que las APIs de Twitter. Por esta razón es de suma importancia leer la documentación disponible, generalmente en la sección de desarrolladores de cada sitio. 
+
+## JSON
+**Json significa JavaScript Object Notation y es un formato para describir objetos que ganó tanta popularidad en su uso que ahora se lo considera independiente del lenguaje.** De hecho, lo utilizaremos en este proyecto por más que estemos trabajando en Python, porque es la forma en la que obtendremos las respuestas a las solicitudes que realicemos utilizando las APIs. 
+
+## Spotify API
+
+https://developer.spotify.com/documentation/

learn/DataScience/Ingenieria de datos/solicitudes/parser3.py

@@ -0,0 +1,11 @@
+import requests
+import bs4
+response = requests.get('https://eluniversal.com.mx/buscar/amlo')
+
+soup = bs4.BeautifulSoup(response.text, 'html.parser')
+links = soup.select('.HeadNota')
+print(links)
+# billionaries_selected = [billionary.find('h3') for billionary in billionaries]
+
+# for billionary in billionaries_selected:
+    # print(billionary.text)

learn/Python/Fechas/dates.py

@@ -0,0 +1,8 @@
+from datetime import date, timedelta
+
+mydate = date(year=2015, month=12, day=23)
+mydate2 = date.today()
+
+days_5 = timedelta(days=5)
+remove_days = date.today() + days_5
+print(remove_days)

learn/Python/Fechas/fechas.py

@@ -0,0 +1,61 @@
+import datetime
+my_time = datetime.datetime.now()
+print(my_time)
+my_day = datetime.date.today()
+print(my_day)
+my_birthday = datetime.date(1999,12,20)
+print(my_birthday)
+
+# Timestamp
+# Tiempo transcurrido
+# UNIX 1 enero de 1970, estándart de tiempo para las computadoras
+
+my_timestamp = datetime.date.fromtimestamp(1588048333)
+print(my_timestamp)
+
+print(my_day.day)
+print(my_day.month)
+print(my_day.year)
+
+f = datetime.datetime(
+    year=2012,month=12,day=15
+)
+print(f)
+
+# Operaciones con fechas
+# Objetos de fechas
+#datetime
+#date
+#time
+#timedelta
+
+# Datetime
+m1 = datetime.datetime(year = 2020, month=4, day=30, hour=12,minute=34)
+m2 = datetime.datetime(year = 1000, month=5, day=1, hour=3,minute=1)
+
+dif = m1 - m2
+print(dif)
+print(type(dif))
+print(dif.seconds)
+print(dif.days)
+
+# Date
+m1 = datetime.date(year = 2020, month=4, day=30)
+m2 = datetime.date(year = 1000, month=5, day=1)
+
+dif = m1 - m2
+print(dif)
+print(type(dif))
+print(dif.seconds)
+print(dif.days)
+# Formato de fechas
+
+print(my_time)
+print(my_time.strftime('%d/%m/%Y'))
+print(my_time.strftime('%m/%d/%Y'))
+print(my_time.strftime('Estamos en el año: %Y'))
+
+# Investigar strptime
+
+# Timezone
+# Módulo pytz

learn/Python/Fechas/timezone.py

@@ -0,0 +1,21 @@
+from datetime import datetime
+import pytz
+
+utc_time = datetime.now()
+print(f'UTC time: ', utc_time.strftime('%m/%d/%Y, %H:%M:%S'))
+
+my_city_timezone = pytz.timezone('America/Bogota')
+my_city_time = datetime.now(my_city_timezone)
+print('Bogota: ',my_city_time.strftime('%m/%d/%Y, %H:%M:%S'))
+
+my_city_timezone = pytz.timezone('America/Mexico_City')
+my_city_time = datetime.now(my_city_timezone)
+print('Ciudad de México: ',my_city_time.strftime('%m/%d/%Y, %H:%M:%S'))
+
+my_city_timezone = pytz.timezone('America/Caracas')
+my_city_time = datetime.now(my_city_timezone)
+print('Caracas: ',my_city_time.strftime('%m/%d/%Y, %H:%M:%S'))
+
+my_str = '2020-04,12'
+my = datetime.strptime(my_str, '%Y-%m,%d')
+print(my)

learn/Python/README.MD

@@ -118,6 +118,10 @@ Apuntes, proyectos y códigos realizados con Python.
 - [Tipado estático en Python](#tipado-est%c3%a1tico-en-python)
 - [Números flotantes en profundidad](#n%c3%bameros-flotantes-en-profundidad)
   - [Módulos útiles](#m%c3%b3dulos-%c3%batiles)
+- [Manejo de fechas](#manejo-de-fechas)
+  - [Módulo Datetime](#m%c3%b3dulo-datetime)
+  - [Timestamp](#timestamp)
+  - [Universal time coordinator (UTC)](#universal-time-coordinator-utc)
 
 # Pensamiento Computacional
 * Conocimiento declarativo
@@ -1668,4 +1672,29 @@ Se puede resolver mediante formateo de Strings
 * **Fractions:** implementa la representación de números fraccionarios como 1/3 de manera exacta
 * **Numpy** que es externa
 
-https://docs.python.org/3/tutorial/floatingpoint.html
+https://docs.python.org/3/tutorial/floatingpoint.html
+
+# Manejo de fechas
+
+Python dispone de un módulo
+
+## Módulo Datetime
+```python
+import datetime
+my_time = datetime.datetime.now()
+print(my_time)
+my_day = datetime.date.today()
+print(my_day)
+my_birthday = datetime.date(1999,12,20)
+print(my_birthday)
+```
+
+## Timestamp
+Tiempo (segundos) transcurrido desde UNIX 1 enero de 1970, estándart de tiempo para las computadoras
+
+```python
+my_timestamp = datetime.date.fromtimestamp(1588048333)
+print(my_timestamp)
+```
+
+## Universal time coordinator (UTC)