Chương 2 - Bài 1. Triển khai dự án API Flask trên môi trường Linux (Centos) bằng Gunicorn Web Server

Python web server Gunicorn Gunicorn là một trong những python web server theo chuẩn WSGI (Web Server Gateway Interface). Nó ổn định và được triển khai nhiều trong các môi trường sản phẩm thực tế. Instagram là một trong những website mạng xã hội lớn nhất thế giới, được xây dựng bằng python và triển khai dùng gunicorn. Gunicorn rất dễ sử dụng và hỗ trợ tốt cho nhiều web framework khác nhau như Django, Flask ... Các đặc điểm của Gunicorn:

• Có thể chạy bất kỳ ứng dụng và framework Python web nào theo chuẩn WSGI
• Dễ dàng thay thế các web server trong môi trường phát triển sản phẩm (môi trường dành cho lập trình viên để kiểm tra hoạt động của các ứng dụng) mà không cần thay đổi mã nguồn ứng dụng
• Hỗ trợ rất nhiều loại worker và các cấu hình cho từng loại worker
• Hỗ trợ các loại worker đồng bộ và bất đồng bộ
• Hỗ trợ SSL
• Hỗ trợ python 2 và python 3

Từ khóa worker được nhắc đến nhiều ở phần trên, để hiểu sâu hơn về Gunicorn và khái niệm worker, việc tìm hiểu về hoạt động của nó là điều cần thiết. Hoạt động của Gunicorn Gunicorn được thực hiện theo mô hình UNIX pre-fork server

• Khi khởi chạy, Gunicorn mở một tiến trình gốc (master process), tiến trình gốc này có thể được nhân bản (fork)  thành các tiến trình con, các tiến trình con này được gọi là các worker.
• Vai trò của tiến trình gốc là đảm bảo số lượng các worker luôn luôn giống với con số đã được định nghĩa trong các file cấu hình hay trong tham số dòng lệnh. Nếu một worker vì vấn đề gì đó mà bị chết, tiến trình gốc sẽ tạo ra một worker mới bằng cách fork chính nó một lần nữa.
• Vai trò của các worker là tiếp nhận và xử lý các yêu cầu HTTP
• Từ pre trong mô hình pre-fork nghĩa là tiến trình gốc tạo ra các worker trước khi xử lý bất kỳ yêu cầu HTTP nào.
• Kernel của hệ điều hành đảm nhận vai trò cân bằng tải giữa các worker

Khi triển khai hệ thống với bất kỳ web server hay web framework nào, hiệu năng là vấn đề cực kỳ quan trong. Với Gunicorn, để tối ưu về mặt hiệu năng chúng ta cần chú ý tới các thành phần sau. 1. Worker - Tiến trình UNIX (workers) Mỗi worker là một tiến trình UNIX, nó là một thực thể của ứng dụng, các worker là các thực thể riêng biệt của ứng dụng và chúng không chia sẻ tài nguyên bộ nhớ với nhau. Số lượng worker hợp lý khi chạy Gunicorn trên một máy vật lý (máy ảo) thường là (2*number_of_cpu)+1. Cho một máy vật lý có 4 CPU, 9 là số lượng worker hợp lý để chạy trên máy đó.

gunicorn --workers=9 main:app

2. Các luồng (threads) Ngoài việc cho phép tạo ra nhiều worker, gunicorn còn cho phép một worker có thể tạo ra nhiều thread, các thread trong một worker chia sẻ cùng tài nguyên bộ nhớ với nhau. Để sử dụng thread với gunicorn, chúng ta sử dụng tham số threads.

gunicorn --workers=9 --threads=4 main:app

Số lượng tác vụ cùng lúc tối đa là workers * threads = 36 trong trường hợp ví dụ của chúng ta. Tuy nhiên số lượng tác vụ được gợi ý nên dùng cho trường hợp dùng lẫn cả workers và threads vẫn là (2*number_of_cpu)+1 = 9 (trong trường hợp máy có 4 CPU). Do vậy để có được tối đa 9 tác vụ chạy đồng thời, ta có thể sử dụng 3 worker và mỗi worker có 3 thread.

gunicorn --workers=3 --threads=3 main:app

3. Loại worker Gunicorn hỗ trợ nhiều loại worker

• Sync worker
• Async worker
• Tornado worker
• AsyncIO worker

Mỗi loại worker cung cấp các tính năng khác nhau để xử lý các yêu cầu. Cấu hình với lựa chọn (option) worker-class được sử dụng để chọn loại worker mà gunicorn. Giá trị của worker-class có thể là một trong số sau: sync, gevent, eventlet, tornado, gaiohttp, và gthread. Nếu không sử dụng lựa chọn worker-class thì giá trị mặc định của nó là sync.

gunicorn --worker-class=gevent --worker-connections=1000 --workers=9 main:app

worker-connections là cài đặt cụ thể cho worker loại gevent Trong ví dụ trên, số lượng yêu cầu đồng thời tối đa là 9000 ( 9 worker * 1000 kết nối trên một worker) a. Sync worker Synchronous worker là loại worker mặc định của Gunicorn, nó thể hiện cho mô hình worker cơ bản. Với mô hình này, mỗi worker sẽ xử lý một và chỉ một yêu cầu tại một thời điểm. Loại worker này thường được sử dụng với ứng dụng không có thời gian đọc ghi vào ổ đĩa dài, hoặc không có những yêu cầu với thời gian lớn (long request - loại yêu cầu như này sẽ làm cho các yêu cầu khác phải đợi cho tới khi yêu cầu hiện tại được hoàn thành, điều này có thể làm cho các yêu cầu thất bại do kết nối bị lỗi timeout), b. Async worker Asynchronous worker bao gồm hai loại: gevent và eventlet, hai loại này được phát triển dựa trên thư viện Greenlet. Thư viện này cung cấp các phương thức giúp các tác vụ được xử lý đồng thời, nó giải quyết vấn đề của sync worker, cái mà chỉ xử lý được một yêu cầu tại một thời điểm. c. Tornado worker Loại worker này được thiết kế để làm việc với python framework Tornado. Tornado framework là một thư viện mạng cung cấp giải pháp đọc ghi bất đồng bộ non-blocking. Nó xử lý tốt các yêu cầu với thời gian lớn (long request). d. AsyncIO Worker AsyncIO bao gồm hai loại gthread và gaiohttp. gaiohttp sử dụng thư viện aiohttp. Thư viện này thực hiện việc nhập xuất bất đồng bộ trong môi trường mạng ở cả phía client lẫn server và đặc biệt nó hỗ trợ web socket rất tốt. gthread giữ kết nối trong một nhóm thread và đợi cho đến khi có sự kiện, sự kiện đó sẽ được xử lý bởi một trong các thread ở trong nhóm. Khi nào nên dùng worker, khi nào nên dùng thread Trong trường hợp ở môi trường development, chúng ta chỉ khởi chạy một worker, điều này cho phép chúng ta có thể xử lý một yêu cầu duy nhất tại một thời điểm, để tăng được năng lực xử lý của ứng dụng, ta có thể nâng số lượng worker hoặc số thread lên. So với các worker,các thread nhẹ hơn, chúng tiêu thụ ít bộ nhớ. Gunicorn sẽ đảm bảo việc tiến trình gốc có thể gửi nhiều yêu cầu tới worker hơn bằng cách sử dụng 1 worker và nhiều thread (giả sử là 4). Như vậy có phải lúc nào sử dụng thread cũng có lợi ích nhiều hơn khi sử dụng worker không? Để trả lời câu hỏi trên, hãy cùng xem xét ví dụ sau; Giả sử tôi cần làm vài việc với kết quả tìm kiếm được từ một search engine (elasticsearch hay google chẳng hạn). Cùng lúc đó tôi cũng muốn tính toán xem trong kết quả tìm kiếm có số nào là số nguyên tố hay không trong mỗi truy vấn, lúc này tôi gặp phải một vấn đề với Python GIL (Global Interpreter Lock), nói nôm na GIL là một kỹ thuật khóa (lock) của trình thông dịch (trình thông dịch sẽ tự làm việc này chứ không phải lập trình viên), nó chỉ cho phép một thread được thao tác với một tài nguyên tại một thời điểm, điều này giúp trình thông dịch Python kiểm soát được sự thay đổi của tài nguyên (tài nguyên ở đây có thể là một biến, một đối tượng ...), tránh trường hợp chương trình trả về một kết quả không mong muốn mà không biết tại sao. Nhưng nó cũng dẫn đến việc, tuy rằng tôi có 4 thread, nhưng thực chất chỉ có một thread thực sự xử lý kết quả tại một thời điểm, nếu tác vụ xử lý kết quả này tốn nhiều thời gian thì lúc này tôi cần một phương án khác để giúp các tác vụ thực sự được xử lý song song, đó là dùng nhiều các worker hơn.