Công cụ Visual Studio Code hiện đã hỗ trợ sử dụng PySpark với Big Data Clusters trên SQL Server 2019 với các tính năng nổi trội như liên kết tới SQL Server, Python editing, tích hợp Jupyter Notebook, PySpark interactive, PySpark batch và PySpark monitoring.
Tuần trước, Microsoft đã tiết lộ sắp cho ra mắt ứng dụng làm mới phát hành lần đầu tiên cho SQL Server 2019, tập trung chủ yếu vào Big Data Clusters (Cụm dữ liệu lớn). Ứng dụng này cho phép triển khai các cụm mở rộng của SQL Server, Apache Spark và HDFS chạy trên Kubernetes.
Visual Studio Code hiện đã hỗ trợ sử dụng PySpark với Big Data Clusters trên SQL Server 2019
Hôm nay, gã khổng lồ công nghệ đã mang đến những hỗ trợ sử dụng PySpark với Big Data Clusters trên SQL Server 2019 và gửi truy vấn trong Visual Studio Code. Nếu bạn không biết thì PySpark chính là một Python API của Spark, cung cấp một giao diện cho các cụm chương trình hoặc tính toán.
Với Apache Spark và Hive mở rộng, người dùng có thể truy cập vào trình soạn thảo và chỉnh sửa của Python. Hơn nữa, việc tích hợp Jupyter Notebooks sẽ cho phép người dùng nhập và xuất các file dưới dạng .ipynb. Bên cạnh tính năng chỉnh sửa nâng cao, người dùng cũng có thể chạy các dòng lệnh đã được chọn và trải nghiệm kết quả dưới dạng tương tác trực quan. Một ví dụ điển hình là việc vẽ đồ thị 2D thông qua matplotlib - một thư viện của Python, các công việc trong PySpark cũng có thể được gửi tới Big Data Clusters trên SQL Server 2019 hoặc được soạn thảo bởi các chuyên gia dữ liệu thông qua Azure Data Studio. Tải công cụ Visual Studio 2019 tại đây.
Dưới đây là danh sách tóm tắt các tính năng đã được nêu ở trên:
- Liên kết tới SQL Server: Bộ công cụ cho phép bạn kết nối và gửi các công việc PySpark tới Big Data Clusters trên SQL Server 2019. Tham khảo cách sửa lỗi đăng nhập SQL Server thất bại
- Python editing: Phát triển ứng dụng PySpark bằng ngôn ngữ lập trình Python với các tính năng hỗ trợ soạn thảo như IntelliSense, tự định dạng, phát hiện lỗi...
- Tích hợp Jupyter Notebook: Nhập và xuất file dưới dạng .ipynb.
- PySpark interactive: Chạy các dòng lệnh được chọn và tương tác trực quan.
- PySpark batch: Gửi các ứng dụng PySpark tới Big Data Clusters trên SQL Server 2019.
- PySpark monitoring: Tích hợp với máy chủ Apache Spark để xem lịch sử làm việc, hiệu chỉnh lỗi, và phân tích công việc.
Để khám phá những tính năng mới này, bạn có thể tải về máy Visual Studio Code cho Windows, Mac và Linux tại đây. Đối với Mac và Linux, bạn cần phải cài đặt thêm Mono 4.2.x. Sau đó, bạn có thể nhận công cụ Apache Spark và Hive mới nhất từ VS Code Marketplace hoặc kho lưu trữ mở rộng.
- Download Mono for Mac tại đây.
Thông tin mới đáng chú ý tiếp theo, đó là người dùng đã có thể chặn hình ảnh trong Gmail trên iPhone. Để làm được việc này, người dùng chỉ cần cập nhật phiên bản mới nhất của Gmail và thực hiện một số bước cài đặt đơn giản là đã có thể chặn tính năng hiển thị hình ảnh tự động trên iPhone. Chi tiết nội dung thông tin, bạn đọc xem phần Tin mobile trên website https://9mobi.vn
https://thuthuat.taimienphi.vn/visual-studio-code-hien-da-ho-tro-su-dung-pyspark-voi-big-data-clusters-tren-sql-server-2019-52695n.aspx
Các bạn đừng quên truy cập Taimienphi.vn hàng ngày để cập nhật Tin công nghệ mới nhất nhé.