Chương 17 Hệ Thống Tập Tin Phân Tán

Sinh viên thực hiện: Lê Văn Tỉnh Trịnh Xuân Tiến

Chương 17: Hệ Thống Tập Tin Phân Tán

Nền tảng

Đặt tên và minh bạch

Truy cập tập tin từ xa

Stateful so Stateless phục vụ

Mô hình tập tin

Ví dụ: AFS

Mục tiêu Để giải thích sự đặt tên cơ chế cung cấp các vị trí minh

bạch và độc lập

Mô tả các phương pháp khác nhau để truy cập tập tin phân tán

Để phản stateful và stateless phân phối tập tin máy chủ

Làm thế nào để hiển thị rộng các tập tin trên máy khác nhau trong một hệ thống tập tin phân tán là một sự thừa hữu ích cho các cải thiện có sẵn

Giới thiệu ANDREW: Một ví dụ về hệ thống tập tin phân tán

Nền Hệ thống tập tin phân tán (DFS) - một việc triển khai

thực hiện phân phối của các cổ điển thời gian-chia sẻ mô hình của một hệ thống tập tin, nơi có nhiều người dùng chia sẻ các tệp tin và lưu trữ nguồn tài nguyên

Một DFS quản lý các thiết bị lưu trữ phân tán

Tổng thể không gian lưu trữ được quản lý bởi một DFS là các khác nhau, nằm xa, nhỏ hơn không gian lưu trữ

Có mối quan hệ giữa không gian lưu trữ và tập các file

Cấu trúc DFS Dịch vụ (Service) – Các phần mềm chạy trên một hoặc

nhiều máy và cung cấp một loại chức năng cho các máy khách chưa biết a priori

Máy chủ (Server) - dịch vụ phần mềm chạy trên một máy

Máy khách (Client)- quá trình mà có thể gọi một dịch vụ bằng cách sử dụng một bộ các hình thức hoạt động mà khách hàng giao diện của nó

Giao diện máy khách cho một tập tin dịch vụ được hình thành bởi một bộ các toán tử tập tin cơ bản (tạo, xóa, đọc, viết)

Giao diện máy khách của một DFS nên được che giấu, tức là, không phân biệt giữa các tập tin cục bộ và các tập tin từ xa

Đặt tên và minh bạch Đặt tên – Ánh xạ giữa địa chỉ logic và đối tượng vật lý

Ánh xạ đa cấp – Một sự trừu tượng hóa các tập tin để ẩn đi các chi tiết của cách thức và nơi mà tập tin thực sự lưu trữ trên đĩa

Một thể hiện DFS ẩn các vị trí nơi trên mạng lưới các tập tin được lưu trữ

Đối với một tập tin đang được replicated trong một số trang web, các lập bản đồ sẽ đem lại một bộ các địa điểm của tập tin này của bản; cả sự tồn tại của nhiều bản sao và vị trí của họ đang ẩn

Đặt tên các cấu trúc

Vị trí minh bạch - tên tập tin, không cần chỉ rõ vị trí lưu trữ vật lý của tập tin

Vị trí độc lập - tên tập tin không cần phải được thay đổi khi các tập tin của thiết bị lưu trữ thay đổi

Cấu trúc tên - Ba phương pháp tiếp cận chính

Tên tập tin được tạo thành bằng cách kết hợp giữa tên của máy chủ và tên cục bộ; đảm bảo một tên duy nhất trên cả hệ thống

Đính kèm thư mục xa để thư mục địa phương, việc xuất hiện của một cây thư mục coherent; chỉ gắn kết trước đó xa thư mục có thể được truy cập minh bạch

Tổng hợp của thành phần hệ thống tập tin

Một tên duy toàn cầu cơ cấu rộng tất cả các tệp tin trong hệ thống

Nếu một máy chủ không có sẵn, một số arbitrary bộ thư mục khác nhau trên máy cũng trở nên không có sẵn

Truy cập tập tin từ xa

Cơ chế phục vụ từ xa là một trong những phương pháp chuyển giao

Làm giảm lưu lượng truy cập mạng bằng cách lưu lại những dữ liệu vừa được xử lý ở trong cache, vậy nên việc truy nhập lại các thông tin này được nhanh chóng hơn

-Nếu dữ liệu cần chưa được lưu trữ, một bản sao của dữ liệu được đưa từ các máy phục vụ đến người sử dụng

-Truy cập được thực hiện trên các bản sao lưu trữ

Truy cập tập tin từ xa

-Các tập tin định danh với một bản sao gốc tại máy chủ, nhưng các bản sao của các tập tin nằm rải rác ở các cache khác nhau

-Cache-Vấn đề khó khăn - giữ các bản sao lưu trữ, phù hợp với những tập tin gốc

+Có thể gọi là bộ nhớ ảo mạng

Cache cục bộ-Đĩa-Bộ nhớ chính Ưu điểm của bộ nhớ cache:

Chi tiết đáng tin cậy

Lưu trữ dữ liệu lưu giữ trên đĩa của bạn vẫn có phục hồi trong thời gian và không cần phải tải xuống một lần nữa

Ưu điểm của bộ nhớ chính - caches:

Cho phép các máy trạm không cần có đĩa

Dữ liệu có thể được truy cập nhanh hơn

Cache cục bộ-Đĩa-Bộ nhớ chính

Ưu điểm của bộ nhớ chính - caches:

Speedup hiệu suất lớn hơn trong ký ức

Server caches (được sử dụng để tăng tốc độ đĩa I / O) đang có trong bộ nhớ chính bất kể nơi mà người dùng đang nằm caches; bằng cách sử dụng chính-bộ nhớ caches trên máy cho phép người sử dụng một bộ nhớ đệm, cơ chế cho máy chủ và người dùng

Cachefs and its Use of Caching

Các cách cập nhật cache Viết đè - viết dữ liệu vào đĩa ngay sau khi chúng được đặt

trên bất kỳ bộ nhớ cache

Đáng tin cậy, nhưng hoạt động kém hiệu quả

Viết định kỳ- để sửa đổi, bổ sung bằng văn bản của bộ nhớ cache và sau đó bằng văn bản để thông qua các máy chủ sau

Độ tin cậy thấp; dữ liệu chưa được lưu sẽ bị mất khi máy của người sử dụng bị treo

Viết truy cập nhanh chóng hoàn thành, một số có thể được ghi đè dữ liệu trước khi ghi lại, và như vậy không bao giờ cần phải được viết ở tất cả các

Các cách cập nhật cache

Biến thể - viết-on-gần, ghi dữ liệu trở lại máy chủ khi các tập tin chỉ, đóng cửa

Dao động - quét bộ nhớ cache theo chu kỳ bình thường và tuôn ra khối đã được sửa đổi kể từ cuối cùng quét

Tốt nhất cho các tập tin được mở cho dài thời gian và thường xuyên sửa đổi

Consistency Khởi xướng cách tiếp cận máy khách

Là địa phương lưu trữ bản sao của dữ liệu, phù hợp với những bậc thầy bản sao?

Khôûi ñaàu khách hàng là một kiểm tra hiệu lực

Phục vụ hồ sơ, cho mỗi khách hàng, các (phần của) file nó caches

Khi phát hiện một vụ tiềm năng inconsistency, nó phải phản ứng

Server-khởi xướng cách tiếp cận

Server kiểm tra xem dữ liệu của người dân địa phương đang có, phù hợp với những bậc thầy sao chép

So sánh cache và truy nhập từ xa Máy chủ đang có số chỉ thỉnh thoảng trong bộ nhớ đệm (hơn là cho

mỗi truy cập)

Bộ nhớ đệm trong, nhiều truy cập từ xa bằng cách xử lý hiệu quả bộ nhớ cache của địa phương; truy cập từ xa nhất sẽ được phục vụ như nhanh như những địa phương

Tăng cường tiềm năng cho các quy mô

Giảm tải máy chủ và mạng lưới giao thông

Xa phục vụ phương pháp xử lý mọi truy cập từ xa trên toàn mạng; bị phạt trong lưu lượng truy cập mạng, máy chủ tải, và hiệu suất

Tổng số chi phí trong mạng lưới truyền chunks lớn của dữ liệu (trong bộ nhớ đệm) là thấp hơn một loạt các câu trả lời cho các yêu cầu cụ thể (xa-dịch vụ)

Caching and Remote Service (Cont.) Bộ nhớ đệm là các truy cập trong các mẫu với Infrequent viết

Được hưởng lợi từ bộ nhớ đệm khi thực hiện thực hiện trên máy với đĩa hoặc địa phương hay chính lớn kỷ niệm

Với thường xuyên viết, số lượng đáng kể chi phí phát sinh để khắc phục vấn đề bộ nhớ cache-quán

Xa truy cập vào đĩa, bộ nhớ nhỏ--công suất máy móc nên được thực hiện thông qua các phương pháp xa-dịch vụ

Trong bộ nhớ đệm, càng thấp intermachine giao diện là hình thức khác nhau trên giao diện người sử dụng

Trong xa-dịch vụ, các giao diện intermachine đối xứng với địa phương, người sử dụng hệ thống tập tin giao diện

Stateful File Service Cơ chế

Máy khách sẽ mở ra một tập tin

Server thu thập thông tin về tập tin từ các đĩa, các cửa hàng của nó trong bộ nhớ, và cung cấp cho khách hàng kết nối một định danh duy nhất cho các khách hàng và mở tập tin

Định danh được sử dụng cho các truy cập cho đến khi kết thúc phiên

Tăng hiệu suất

Server phải khai hoang chính-bộ nhớ không gian được sử dụng bởi các khách hàng đang có những người không còn hoạt động

Stateful máy chủ biết, nếu một tập tin đã được mở ra cho sequential truy cập và như vậy có thể đọc trước kế tiếp khối

Ít hơn đĩa truy cập

Stateless File Server Tất cả các yêu cầu xác định các tập tin và vị trí trong tập

tin

Tránh tình trạng thông tin bằng cách làm cho mỗi yêu cầu tự-chứa

Không cần phải chấm dứt và thiết lập một kết nối bằng cách mở và đóng hoạt động

Sự khác biệt giữa Stateful & Stateless Service Phục hồi thất bại

Bại stateful A tất cả các máy chủ của nó bay hơi của tiểu bang trong một vụ đụng xe

Khôi phục nhà nước do phục hồi giao thức dựa trên một hộp thoại với khách hàng, hủy bỏ hoặc hoạt động đã được tiến hành khi xảy ra vụ đụng xe

Để phục vụ nhu cầu của khách hàng được nhận thức thất bại trong không gian để khai hoang giao cho các hồ sơ nhà nước của khách hàng quá trình hỏng (orphan phát hiện và loại bỏ)

Stateless với máy chủ, các tác động của máy chủ thất bại cát phục hồi được hầu hết các unnoticeable

Một reincarnated máy chủ mới có thể đáp ứng một tự-chứa yêu cầu mà không có bất kỳ khó khăn

Distinctions (Cont.) Hình phạt bằng cách sử dụng cho các dịch vụ stateless mạnh mẽ:

còn tin nhắn yêu cầu

bổ sung áp khó khăn về thiết kế Cửa hàng miễn thuế DFS

Một số môi trường stateful yêu cầu dịch vụ

chậm xử lý yêu cầu

UNIX sử dụng các tập tin và descriptors offsets chính là inherently stateful; máy chủ phải duy trì bảng để đồ tập tin descriptors để inodes, và lưu trữ hiện nay bù đắp trong vòng một tập tin

Một máy chủ bắt đầu sử dụng máy chủ-cache xác nhận không thể cung cấp dịch vụ stateless, vì nó duy trì một bản ghi trong đó có các tập tin được lưu trữ do đó các khách hàng

File Replication Cải thiện tính khả dụng và dịch vụ có thể rút ngắn thời gian

Bản của cùng một tập tin nằm trên thất bại-độc lập, máy móc

Tồn tại của bản nên được cấp độ cao hơn để vô

Bản phải được phân biệt một từ khác do khác nhau ở cấp thấp hơn tên

Tin cập nhật - bản của một tập tin biểu trong cùng một tổ chức hợp lý, và như vậy, một cập nhật cho bất kỳ replica phải được phản ánh trên tất cả các bản

Đặt tên một chương trình có bản đồ replicated tên tập tin cho một replica

Nhu cầu rộng - đọc một nonlocal replica gây ra nó sẽ được lưu trữ địa phương, do đó tạo ra một nonprimary replica mới.

Ví dụ: AFS

Một môi trường tính toán phân tán (Andrew), phát triển từ năm 1983 tại Đại học Carnegie-Mellon, mua do IBM và phát hành như Transarc DFS, bây giờ mở sourced như OpenAFS

AFS cố gắng để giải quyết các vấn đề phức tạp như mặc đồng phục không gian tên, địa điểm-độc lập chia sẻ tập tin, khách hàng, bên trong bộ nhớ đệm (cache với sự), xác thực an toàn (qua Kerberos)

Cũng bao gồm máy chủ-bên trong bộ nhớ đệm (thông qua bản), cao sẵn có phòng

Có thể chiều dài 5.000 công đoạn

ANDREW (tiếp)

Máy khách được trình bày với một không gian partitioned của tên tập tin: không gian tên cục bộ và không gian tên chia sẻ

Tận tâm phục vụ, gọi là Vice, hiện nay các chia sẻ không gian tên cho các khách hàng như là một đồng, giống hệt nhau, minh bạch và vị trí tập tin Hierarchy

Tên của người dân địa phương không gian là hệ thống tập tin gốc của một công đoạn, mà từ đó các chia sẻ không gian tên descends

Công đoạn chạy các chất đạo đức giao thức để liên lạc với Vice và được yêu cầu phải có đĩa cục bộ, nơi chúng lưu trữ không gian tên cục bộ

Máy chủ gọi chung là chịu trách nhiệm về quản lý lưu trữ và chia sẻ của các không gian tên

ANDREW (tiếp) Máy khách và máy chủ được tổ chức trong nhóm liên kết

bởi một hệ thống mạng LAN

Một nhóm bao gồm một tập hợp các công đoạn và một nhóm máy chủ và được kết nối với hệ thống bởi một router

Một chìa khóa cơ chế lựa chọn cho các hoạt động tập tin từ xa là toàn bộ tập tin trong bộ nhớ đệm

Mở ra một tập tin gây ra nó sẽ được lưu trữ, trong toàn bộ của nó, trên đĩa cục bộ

ANDREW: chia sẻ không gian tên Andrew's là khối tin, các đơn vị thành phần nhỏ được liên kết với

các tập tin của một khách hàng

Một fid xác định một Phó tệp tin hoặc thư mục - Một fid là 96 bit dài và có ba thành phần bằng-chiều dài:

Số lượng

vnode số - chỉ mục vào một mảng có chứa các inodes của tác phẩm trong một khối lượng

Fids đang có vị trí minh bạch, do vậy, phong trào tập tin từ server để phục vụ không vô hiệu lưu trữ thư mục nội dung

Vị trí thông tin được lưu giữ trên một khối lượng cơ sở, và các thông tin này được replicated trên mỗi máy chủ

uniquifier - cho phép tái sử dụng của vnode số điện thoại, do đó vẫn giữ một số cấu trúc dữ liệu, gọn

ANDREW: Các thao tác tập tin Andrew caches toàn bộ file mẫu máy chủ

Một khách hàng với các công đoạn tương Phó máy chủ chỉ trong thời gian mở và đóng của các tập tin

Venus - caches file Phó từ khi chúng được mở ra, và các cửa hàng sửa đổi bản sao của tác phẩm trở lại khi họ đang đóng cửa

Venus caches nội dung của thư mục, và Biểu tượng liên kết, cho tên đường dẫn-dịch thuật

Đọc và viết một byte của tập tin được thực hiện bởi các hạt nhân mà không có Venus can thiệp vào lưu trữ bản sao

Trường hợp ngoại lệ cho các chính sách trong bộ nhớ đệm được sửa đổi, bổ sung cho các thư mục được thực hiện trực tiếp trên máy chủ chịu trách nhiệm cho rằng thư mục

ANDREW :Thực thi Quá trình xử lí của máy khách được gửi đến một máy chủ UNIX bằng

một tập các lời gọi hệ thống

Venus thực hiện đường dẫn-Tên dịch thành phần bằng cách thành phần

Các tập tin hệ thống UNIX được sử dụng như một hệ thống lưu trữ cấp thấp cho cả máy khách và máy chủ

Các khách hàng địa phương, bộ nhớ cache là một thư mục trên đĩa của máy trạm

Cả Venus và máy chủ UNIX quá trình truy cập file trực tiếp do các inodes để tránh những tốn kém tên đường dẫn-to-inode dịch thường lệ

ANDREW: Thực thi (tiếp) Venus quản lý hai caches riêng:

Một cho tình trạng

Một cho dữ liệu

Thuật toán LRU được sử dụng để giữ cho mỗi người trong số họ bounded trong kích thước

Trạng thái bộ nhớ cache được lưu giữ trong bộ nhớ ảo cho phép nhanh chóng phục vụ của stat (tập tin trạng thái trả lại) lời gọi hệ thống

Dữ liệu cache được lưu trên đĩa cục bộ, nhưng cơ chế vùng đệm xuất/nhập của UNIX có lưu các block đĩa trong bộ nhớ để chuyển đến Venus

Kết Thúc Chương 17