Nếu bạn đang là 1 – 2 freelance Work From Home (#wfh) hay LON (#làm ở nhà) chắc hẳn vấn đề lưu trữ dữ liệu khi thực hiện các công việc sẽ khá lấn cấn, đặc biệt là thời điểm hiện tại chi phí render cloud, cloud storage cũng chưa hẳn là quá tốt để phục vụ cho job nhỏ chi phí vài chục triệu. Nếu công việc của bạn đang làm việc có simulation sau đó mới render, chi phí về lưu trữ sẽ càng tốn kém, việc duy trì được băng thông qua lại cho khối lưu trữ này cũng là một vấn đề nhỏ gây xót xa nếu như bạn chỉ đang sỡ hữu những thiết bị NAS nhỏ.
Hiện tương dữ liệu qua chậm làm mạng bị quá tải sẽ dễ dàng nhận ra khi copy qua mạng data sẽ không còn nhanh, càng chạy càng chậm, không duy trì liên tục. Đặc biệt file dữ liệu alembic/bgeo.sc/vdb/fdc/tpc có kích thước mỗi file lên hơn 700Mb/file chất lượng cao, chừng 100 frame tức hơn 70Gb dữ liệu được truyền tải liên tục giữa 2 kết nối. Nếu kết nối đến từ đơn vị thứ 3 là nhân 3 lần lưu lượng di chuyển của gói dữ liệu, trong khi đó mỗi ethernet (card mạng) chỉ đang tối đa tại nhà, văn phòng nhỏ là hệ thống 1 Gigabyte (1Gb), vậy làm sao ?
Đây là ghi chép cá nhân của mình.
Kết luận theo các bước đơn giản:
- Chuẩn bị switch có hỗ trợ LACP
- Chuẩn bị card mạng (Ethernet card) có hỗ trợ LACP/Teaming
- Kết nối cáp từ swith vào máy qua card mạng (8 lỗ kết nối)
- Cấu hình switch nhận 8 port thành LACP
- Cấu hình windows nhận teaming. Xong
Giải Pháp Hình Dung
Băng thông là như độ rộng của một con đường để các thiết bị giao thông tức các gói dữ liệu di chuyển được nhanh hay kẹt xe. Có nhiều cách để làm cho việc lưu lượng này được mượt mà, mình chỉ hướng vào cách chi phí thấp, dễ lắp đặt (chừng 5 ~ 10 phút).
Ở đây có 2 cách để mở lưu lượng băng thông:
- Thông hai đầu cho liên tục, sẽ khó bị kẹt – tức chuyển qua các đầu nối hỗ trợ, có switch ngang hàng chia tải (vẫn là switch gia đình nhưng chia 2 hệ thống ra, giữa lưu trữ slave và máy làm việc, không làm chung)
- Mở rộng băng thông ra hơn, tức sử dụng LACP Link Aggregation, đây là cách ghép đầu nối nhiều tín hiệu ethernet lại làm thành 1 port tín hiệu, như vậy nếu có 4 đầu ra sẽ là 4Gb băng thông, nếu có 8 thì là 8Gb băng thông, cùng với việc dữ liệu băng thông rộng và thông suốt 2 đầu, 700gb dữ liệu sẽ qua nhanh hơn.
Mô hình về mặt setup giải pháp của mình là như sau – máy lưu trữ là nơi để chứa dữ liệu dự án, cũng là nơi để các slave gọi vào và thực thi tác vụ sim/render (chữ 1Gb trong ô màu trắng, có nghĩa là ethernet 1Gb kết nối vào):
Với setup này sẽ nối được cụm các slave vào riêng trong switch với máy lưu trữ, vì khi các máy slave làm việc thì sẽ đè máy lưu trữ ra yêu cầu file liên tục sau đó xuất kết quả trả xuống máy lưu trữ, và công việc xảy ra là input/output hàng loạt, với việc IO như vậy rất cần có băng thông rộng.
[quote title=”Hiểu LACP”]LACP là phương thức để nối cụm từ 2 hoặc nhiều port vật lý (thực – có cắm dây hay còn gọi là “trunk port” – lỗ mạng) thành một port logical máy tính nhận. Nó cũng mang thêm đặt tính là cân bằng tải từ trong mặc định. [/quote]
Trong khi đó các máy workstation làm việc sẽ có thể ít gọi lên máy lưu trữ hơn, mình thường hay làm lưu tạm trên local qua path relative (tức không cần đổi đường dẫn file khi chuyển chép lên máy lưu trữ) sau khi ưng ý với những cái thử, mình sẽ cho sao chép thông qua FastCOPY (cái này nó tối đa hóa được data copy – số 1 hiện nay, Tera hay cái copier gì đó ko bằng, đã test. Anh chị em có cái nào xịn xò hơn thì khoe nha.) trên Total Commander lên máy lưu trữ và gọi Slave thực thi. Lúc này Workstation chỉ cần nối cục bộ với 1 switch làm công việc tách được đầu nối với switch máy lưu trữ, tức khi không giao tiếp thí vẫn có mạng và làm việc bình thường, không dùng chung băng thông với swith của máy lưu trữ, giảm gánh tải.
Cần Chuẩn Bị Trang Thiết Bị (Gear)
Đây là mô hình trang thiết bị của mình, tùy theo khả năng của các bạn mà tự cung cấp. Mô hình này của mình là 1Gb, hiện tại mô hình cho văn phòng đang làm 10Gb, 40Gb, chi phí rất lớn về trang thiết bị, duy trì rẽ nhất mỗi protocol cũng tốn tới 2 triệu cho mỗi đầu cáp, đi hết hệ thống cũng phải vài trăm triệu chỉ mới tính đầu thiết bị cắm chứ chưa nói tới mở rộng. Mình bàn cho tại nhà và trong khả năng làm được thôi nhé.
Hệ thống nhỏ của mình gồm:
- 1 máy lưu trữ (windows) cũng là máy để load các giao diện render/simulation server như Hqueue/Padora/Tractor/CGru, mình không dùng Deadline vì tốn phí (mình thường dùng Hqueue và Padora, vì cả 2 đều có hỗ trợ không chỉ render mà còn hỗ trợ cả simulation, Padora ổn đỉnh hơn sản phẩm của SideFX là Hqueue, cấu hình cũng đơn giản, chưa kể có hỗ trợ vận hành qua mạng lưu xuống một google drive hay dropbox, tức ngồi đầu này thế giới có thể kêu máy bên kia lục địa slave simulation xong gửi kết quả lên cloud, download kết quả sim thì hơi phê chứ còn khi chạy thì sẽ chạy trong cùng đồng thời của một tác vụ job như chạy mạng nội bộ, tức mix được vừa mạng nội bộ và mạng
- Máy này setup chính là để lưu trữ được các file simulation được ghi xuống bởi các slave/simulation node/render node
- Máy này cũng làm nhiều vụ lưu giữ project theo dạng chép lên xuống tại máy làm việc để cho render chạy thông
- Setup 2 card ethernet có 4 port 1Gb, tổng là 8Gb
- 4 SSD 4Tb làm nhiệm vụ lưu trữ
- Mình dùng máy PC không phải 1 thiết bị NAS, vì có thể nâng cấp được RAM, thêm được card mạng (trong trường hợp này là lên 8Gb, có nữa thì lên nữa)
- Lỡ nếu có thêm slave kết nối sẽ không quá tải (thông thường mỗi slave sẽ dùng 100Mb, trong lúc làm việc tiêu hao cỡ 300Mb ~ 500Mb, nếu dùng Linux thì mức tiêu hao chỉ còn hàng chục hoặc thấp hơn nhiều)
- Đây chỉ là cái máy lưu trữ, không phải một cái server máy chủ gì hết, dung lượng và Ram, ethernet là chính, không cần CPU quá mạnh
- Switch giá rẽ có hỗ trợ LACP, không cần dùng Cisco hay các thiết bị mạng to lớn hơn, vì mình chỉ dùng Home Workgroup, có sao xài vậy, không có qua lớp bảo mật domain hay gì hết, dễ chỉnh sửa, dễ duy trì và bảo quản. Dươi đây mình dùng loại D’link của Đài Loan, mã là 1210 (các bạn có thể mua các đời mới hơn với nhiều tính năng hơn, tuy nhiên tính năng cần vẫn là LACP Link Aggregation và có giao diện Web, sẽ ghi là Smart Web Interface trên switch, truy cập được vào switch thông qua trình duyệt.
Switch này chỉ hỗ trợ tối đa 8 cáp liên tục LACP.
Còn lại thì máy slave tùy theo setup của các bạn, và máy workstation. Switch này có chức năng báo đèn trên switch là nếu cáp nối từ PC cắm vô ra màu cam = mạng 100Mb, màu xanh lá là 1Gb, như vậy nếu cắm từ PC qua switch mà dây báo 100Mb tức là không đủ băng thông, bạn phải lấy dây cáp khác hoặc là phải bấm lại đầu dây cáp để đủ tải 1Gb, bấm sai đầu dây thì ra có 100Mb thôi. Cáp phải đảm bảo là loại CAT 6, của mình cọng dây màu xám, rất cứng – dạng dây công nghiệp tiêu chuẩn, dây ngon thì đi data mới liên tục, không bị mất gói dữ liệu, kéo dài thời gian di chuyển, không phải loại dẽo uột mua ngoài chợ.
Cách Làm Trên Máy Windows
Ở đây mình sẽ dùng switch giá rẽ có chức năng LACP, về setup thì trên windows gần như không cần setup gì, chỉ cần bạn cho driver của các thiết bị mạng chạy đảm bảo ổn định, cài driver mới nhất. Card ethernet gắn thêm vào trong máy lưu trữ có hỗ trợ LACP.
Nối toàn bộ 8 dây cáp từ máy lưu trữ qua switch ở các số từ 1 tới 8 cho dễ quản lý. Thứ tự không quan trọng, chỉ cần nhớ các đầu cáp vào đúng từ 1 đến 8 vì khi thiết lập trên giao diện web của switch sẽ xác nhận các Id (đánh số) là đầu kết nối theo cụm LACP. Bạn có thể sẽ không cần cấm dây trước khi setu xong cái switch. Không có LACP thiết lập trên switch, Windows chỉ nhận tối đa 2Gb, và chỉ là dạng fault tolerance tức là lỡ có sự cố thì 1 dây được backup chứ không chia tải.
Cần đổi Network Adapter trên windows của máy đang truy cập switch sạng IP là 10.90.90.22, subnetmask: 255.0.0.0 thì mới truy cập được vào chung lớp IP của switch.
Với switch này bạn sẽ cần 1 máy ở bên ngoài truy cập vào qua giao diện web với IP: http://10.90.90.90/ (yêu cầu nhập password, mật khẩu là: admin).
Vô rồi thì bên trong nó có giao diện từa tựa như vầy (link youtube giao diện smart web interface của Dlink).
Nếu lỡ admin mà không vô thì reset cái switch, lấy cây tăm hay cây nạy thẻ sim của smartphone, chọt nhẹ vô cái lỗ nhỏ dưới nút đèn Power, chọt nhẹ sẽ có cảm giác là nút nhất, nhấn cái kích vô, tắt ngúm hết là ok. Đợi chờ là hạnh phúc, lát sau đèn chớp, tất cả lên lại, đây là cái switch, không phải cái máy tính, nên phải chờ lâu.
Sau đó giao diện sẽ muốn bạn thiết lập mật khẩu mới, bạn cứ nhấn vào exit, để nguyên admin sau này còn đỡ phải nhớ chi cho mệt. Hacker vào lấy file cũng chỉ toàn file sim với render thôi. Lấy post Facebook thì mình sớm nổi tiếng, good job, làm nữa đi – làm artist cũng nghèo quá, làm idol cho bớt nghèo.
Vào phần Link Aggregation -> Port Trunking chọn Enable rồi APPLY
Xong chọn ID 1, Type là LACP xong bạn kiểm chọn vào từng port số, tức các port hồi nãy cắm dây từ 1 đến 8, giờ cắm dây vô.
Ngay khi nhấn Apply là đồng thời bạn sẽ thấy Windows trong phần Task Manager sẽ hiển thị 8Gb, của bạn trên 2 cáp kết nối thì sẽ là số dung lượng đó, bình thường Windows chỉ hiển thị 2Gb tối đa. Xong rồi đó, dễ ẹc. Nó sẽ ra một danh sách nhóm LACP được kết nối giống giống như dưới đây, tùy theo cáp bạn nối vào số nào.
Giờ thì với 8Gb (nếu switch xịn hơn thì LACP sẽ được trên nhiều port hơn), đường xá rộng thênh thang, render file 4K EXR full float hay sim file mỗi file cache 1Gb tới 5gb cũng cứ thoải mái mà băng băng chạy. Đây là cách xử lý băng thông ở nhà dễ mà hiệu quả nhất.
Cấu Hình Trên Windows
Để cho cấu hình có thể đọc được 8Gb thì công việc cần setup là teaming các card, tức nhóm từng mỗi card thành một đội hình hiểu chung một giao thức tiếp nối ra bên ngoài phần cứng. Việc này mình không rành nên mình làm tay chân. Chọn từng card riêng lẽ trong phần Device Manager của máy tính. Kế tiếp chọn Properties, nếu Ethernet của bạn hỗ trợ LACP thì bạn có tab chức năng là teaming. Vào đó bạn setup một teaming tên mới cho card đầu tiên (nếu chưa có teaming nào), sau đó thì cứ từng mỗi card lại làm thế và cho vào chung team (cùng tên đã tạo) là xong.
Trong phần Device Manager giờ sẽ có Team card hiện ra. Như bạn thấy, hiện nay phần giao diện của network đã lên 8Gbps. Bạn sẽ để ý là mỗi một nhóm Teaming chỉ tối đa 8 Ethernet card. Hiện máy này mình đang có 10 Ethernet port đầu ra, cũng không thể team tiếp được, có thể cần trang thiết bị để team nhiều team lại, tức mỗi team 8 port, sau đó team từng team với nhau. Tuy nhiên Dlink switch mình đang dùng chỉ có hỗ trợ tối đa 8 port LACP.
Như vậy là xong, chỉ cần mô hình Home Work network, bạn đã hoàn toàn có thể an tâm render, chia sẻ file khủng long. Tuy nhiên cũng cần chú ý là tốc độ đọc của HDD/SSD sẽ ảnh hưởng đến việc chia sẻ kết nối. Cũng như đây là băng thông sẽ lớn hơn, còn tốc độ di chuyển thì vẫn dựa theo Ethernet card là 1Gbs. Mình cũng chưa thấy ổ cứng nào đọc ghi tới 1Gb trên giây, yên tâm mà dùng nhé.
