Archive of posts with category 'Data'
Mở socket » connect đến đường dẫn và port » Tạo biến string cmd request GET, POST,… » encode string cmd thành dạng byte » gửi request đi.
Các bước set-up:
https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html
Bài viết này sẽ hướng dẫn các bước cơ bản: Tìm data phù hợp rồi collect chúng Đọc data trong môi trường dev Chuẩn bị phân tích bằng cách cleaning...
1. Dictionaries Là tập hợp các cặp key:value khi cần kết nối dữ liệu với nhau như 1 table để tra cứu nhanh và có thể chỉ ra unique keys...
1. Import + Load + Tạo HTTP/GET REQUEST
Lưu file mềm xuống local:
urlretrieve(url, 'filename.csv')
Đầu tiên phải kết nối với Cluster. Cluster được host trên remote machine mà được connect với tất cả các node khác. Sẽ có 1 máy tính gọi là master...
Initial setup with Ubuntu 20.4:
https://www.digitalocean.com/community/tutorials/initial-server-setup-with-ubuntu-20-04
Đi từ các cấu trúc dữ liệu như Array, Linked list, B-tree,… => Các cấu trúc dl này chỉ lưu những con số, không lưu được 1 tập dữ liệu...
Chapter 1 : Các công cụ làm việc trong mảng Data Engineering
Never miss a story from us, subscribe to our newsletter