05 хранение информации

03.05.23 ©Ломакин С.В., доц.каф.ИОМАС, ВГАУ 1

Хранение информацииЛекция № 5

1. Файловая система и имена устройств2. Логический уровень хранения3. Физический уровень хранения4. Файловые менеджеры

©Ломакин С.В., доц.каф.ИОМАС, ВГАУ 203.05.23

Файл Во внешней памяти ЭВМ программы и данные

хранятся в виде файлов. Файл (от английского слова file - папка, картотека) –

это именованная область внешней памяти, в которую можно записывать и из которой можно считывать данные.

Файл является, единицей хранения информации и той единицей, с которой производятся операции преобразования (например: создание, удаление, корректировка и т.д.).

Файл содержит однородную информацию созданную какой либо программой.

Каждый файл имеет свои собственные правила внутреннего размещения данных. Эти правила, называются форматом файла.

1. Файловая система и имена устройств


Файловая система Файловая система (ФС) является составной

частью любой операционной системы, которая отвечает за организацию хранения и доступа к данным на каких-либо носителях.

Понятие «файловая система» включает: совокупность всех файлов на диске, наборы служебных структур данных,

используемых для управления файлами набор функций по управлению файлами


Файловая система Различие между файловыми системами

заключается, в способах распределения дискового пространства между файлами и организации на диске служебных областей.

Современные операционные системы стремятся обеспечить пользователя возможностью работать одновременно с несколькими файловыми системами.

Структура ФС определяет удобство работы, скорость доступа к файлам и надежность хранения данных.



Логический уровень Файловая система имеет два уровня организации:

логический и физический. На логическом уровне описывается относительное

местоположение файлов в компьютере. На физическом уровне описывается размещение

файлов на устройстве хранения

2. Логический уровень

Иерархическая структура Файловая система большинства ОС имеет иерархическую

структуру, в которой уровни создаются за счет формирования каталогов, содержащих информацию о зарегистрированных в них файлах и каталогах более низкого уровня.

Под каталогом понимается, с одной стороны, группа файлов, объединенных пользователем исходя из некоторых соображений; с другой стороны, каталог - это файл особого вида, содержащий системную информацию (справочник дескрипторов) о зарегистрированных в нем файлах и других каталогах со ссылками на их расположение.

Дескриптор (Описатель) файла содержит информацию об имени файла, дате и времени создания или последнего обращения к файлу, размере файла, атрибутах и начальном адресе его размещения на диске.



Иерархическая структура

Путь к файлу это его «адрес». Например: c:\School\10-987\sidorov\qq.txt


Иерархическая структура



Имена файлов Имена файлов состоят из двух частей: собственного

имени (обычно ассоциируется с содержимым файла) и расширения имени (тип файла).

Правила записи имен файлов различаются в разных ОС. Например, первоначально появившееся в MS DOS правило «8.3» предполагало следующее: собственное имя файла содержит от 1 до 8 символов, а расширение от 1 до 3 символов. В ОС Windows, OS/2 и некоторых других общая длина имени файла может достигать 255 символов, включая знаки пробела и символы национальных алфавитов.

В состав имени и расширения могут входить строчные и прописные латинские буквы, цифры, а также служебные символы: дефис (минус), знак подчеркивания (_), знак доллара ($), номер(#), знак амперсанда (&), символ @, восклицательный знак (!), знак процента (%), тильда (~), круглые и фигурные скобки (){}.

В имени и расширении файла нельзя использовать следующие символы: * ? \ / | : < > “



Типы файлов Файлы разделяют на две категории - текстовые и двоичные Двоичные файлы в свою очередь подразделяются на выполнимые и

файлы данных Выполнимые файлы содержат в себе последовательность команд

управляющих работой компьютера Двоичные файлы хранят закодированную информацию и поэтому

имеют внутренний заголовок, в котором описаны параметры раскодирования.



Типы файлов Тип файла используется для определения его принадлежности к какой-

то группе с общими свойствами и для указания на обрабатывающую его программу.

Наиболее распространенные расширения и типы файлов: .com, .exe (command, execution) - готовые к исполнению программы; .sys (system) - системные файлы, драйверы устройств; .dll (dynamic link library) - файлы динамически подгружаемых библиотек; .bat (batch) - пакетные командные файлы; .inf (information) - информационный файл; .doc - документ текстового редактора (чаще всего MS Word); .rtf (rich text format) — текстовый документ с элементами форматирования; .txt, .asc - текстовый документ без элементов форматирования (файл

формата ASCII); .xls - файл электронных таблиц MS Excel; .mdb (Microsoft data base) - файлы базы данных MS Access; .ppt - файл пакета подготовки презентаций MS PowerPoint; .cdr- файл векторной графики программы Corel Draw; .wmf (Windows metafile) — векторный графический файл; .bmp (bit map) — файл растрового рисунка; .bas - программа на языке Бейсик и др.



Атрибуты и маски файлов К основным атрибутам файлов относятся:

А (Archive) - архивный; R (Read Only) - только для чтения; S (System) - системный; Н (Hidden) - скрытый.

Для обращения к группе файлов можно использовать символы подстановки «*» и «?». Например: *.txt для операционной системы

означает, что будут обрабатываться файлы с любым именем, которые имеют тип .txt. Запись *.* определяет все файлы, находящиеся в текущем каталоге.



Имена устройств В компьютере может быть два накопителя на гибких магнитных

дисках, обозначаемые А: и В: Накопители на жестких магнитных дисках, CD-ROM, ZIP-Drive и

др. обозначаются заглавными латинскими буквами с двоеточием, начиная от С: и до Z:. Двоеточие ставится, чтобы ОС могла отличить имена устройств от имен файлов (в которых использовать двоеточие запрещено).

Помимо имен накопителей на магнитных дисках, в ОС зарезервированы следующие имена устройств: COM1:, COM2:, COM3:, COM4: - устройства, присоединяемые к

последовательным коммуникационным портам (например, мышь, модем и т.п.);

LPT1:, LPT2: -устройства, присоединяемые к параллельным портам (обычно это принтеры или сканеры).

рrn - принтер, подключенный к LPT1:; nul - «пустое» устройство; все операции ввода-вывода для него

игнорируются, но сообщение об ошибке не выдается. Эти имена нельзя использовать в качестве имен файлов.


Физический уровень На физическом уровне описывается размещение файлов на

том или ином устройстве хранения. Практически все устройства хранения выполняют обмен

данными с другими устройствами, порциями произвольного размера. Поэтому во всех современных файловых системах, файлы представляют собой наборы логических блоков, последовательно нумеруемых в адресном пространстве файла и отображаемых на физические блоки диска. Размер логического блока файла совпадает с размером физического блока диска или кратен ему.


Физический уровень



Физический уровень Например, на магнитных

дисках, все пространство диска разбивается на дорожки в виде концентрических окружностей, которые в свою очередь разделяются на сектора.

Сектора объединяются в кластер (cluster) - это группа смежных секторов, имеющая уникальный номер.

Для их создания используется специальная процедура, которая называется форматированием и выполняется с помощью команды FORMAT.

3. физический уровень


Форматирование высокого уровня3. физический уровень

Диск разбивается на служебные зоны: •загрузочный сектор•таблица размещения файлов•копия таблицы размещения файлов•корневой каталог•область данных


Файловая система FAT (File Allocation Table) Разработана Биллом Гейтсом и Марком Мак Дональдом

в 1977 г. FAT была предназначена для работы с гибкими дисками и вначале не предусматривала поддержку жестких дисков.

FAT объединяла смежные секторы в кластеры (благодаря чему уменьшалось общее количество единиц хранения, за которыми должна следить файловая система).

Кластер (cluster) - это группа смежных секторов, имеющая уникальный номер. Каждый кластер считывается и записывается целиком, и поэтому представляет собой минимальное пространство, которое может занимать файл. Например, файл длиной 2 байта будет занимать весь кластер длиной 512

байт, и остальные 510 байт будут недоступны для хранения других данных.


Файловая система FAT (File Allocation Table)Хранение данных в файловой системе FAT основано на использовании связанного списка индексов. С каждым кластером связывается некоторый элемент - индекс. Индексы располагаются в отдельной области диска (в MS-DOS это таблица FAT). Если некоторый блок распределен некоторому файлу, то индекс этого блока содержит номер следующего блока данного файла. Преимущества этого способа:

во-первых, для доступа к произвольному месту файла достаточно прочитать только блок индексов, отсчитать нужное количество блоков файла по цепочке и определить номер нужного блокаво-вторых, данные файла занимают блок целиком, а значит имеют объем, равный степени двойки.


Структура FAT


Содержание Размер (байт)Имя файла 8

Расширение 3

Байт атрибутов 1

Зарезервировано 10

Время 2

Дата 2

Номер начального кластера с данными 2

Размер файла 4

Каждому файлу и подкаталогу в FAT соответствует 32-байтный элемент каталога (directory entry), содержащий имя файла, его атрибуты (архивный, скрытый, системный и “только для чтения”), дату и время создания (или внесения в него последних изменений), а также прочую информацию


Структура FAT3. физический уровень


Пример размещения информации

1

22

33

44

EOF5

66

87

B8

109

B10

EOF11 12 13 14 15

Имя файла Тип файла Время и дата создания

Номер первого кластера

Размер файла в байтах

Otchet txt 10:18:15 10/03/2005 1 1472

Proba doc 14:10:05 12/03/2005 5 1532

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Записи в каталоге

Таблица размещения файлов (FAT)

Размещение фрагментов файлов по кластерам диска


Проблемы кластерной организации (Потери)


Фрагментация


В итоге после интенсивной работы с диском, сопровождающейся удалением и созданием файлов, очень многие файлы оказываются распределенными по диску.

Структура жестких дисков


Табл. 1. Таблица деления диска

Базовой единицей жесткого диска является раздел, создаваемый во время разметки жесткого диска. Каждый раздел содержит один том, обслуживаемый какой-либо файловой системой и имеющий таблицу оглавления файлов - корневой каталог.

Жесткий диск может содержать до четырех основных разделов. Это ограничение связано с характером организации данных на жестких дисках IBM-совместимых компьютеров.

Многие операционные системы позволяют создавать, так называемый, расширенный (extended) раздел, который по аналогии с разделами может разбиваться на несколько логических дисков.

Структура жестких дисков В первом физическом секторе жесткого диска

располагается головная запись загрузки и таблица разделов.

Головная запись загрузки (master boot record, MBR) - первая часть данных на жестком диске. Она зарезервирована для программы начальной загрузки BIOS (ROM Bootstrap routine), которая при загрузке с жесткого диска считывает и загружает в память первый физический сектор на активном разделе диска, называемый загрузочным сектором (Boot Sector).

Каждая запись в таблице разделов (partition table) содержит начальную позицию и размер раздела на жестком диске, а также информацию о том, первый сектор какого раздела содержит загрузочный сектор.


FAT 32 FAT32 - усовершенствованная версия файловой системы

VFAT. Поддерживает жесткие диски объемом более 2 Тб. Впервые она была включена в состав ОС Windows 95 OSR 2 и поддерживается во всех последующих версиях Windows.

В FAT32 были расширены атрибуты файлов, стало возможным хранить время и дату создания, модификации и последнего доступа к файлу или каталогу.

Блок начальной загрузки на разделах с FAT32 был увеличен до 2 секторов и включает в себя резервную копию загрузочного сектора, что позволяет системе быть более устойчивой к возможным сбоям на диске.

Объем, занимаемый таблицей размещения файлов, увеличился, поскольку теперь каждая запись в ней занимает 32 байта, и общее число кластеров на разделе FAT32 больше, чем на разделах FAT. Соответственно, выросло и количество зарезервированных секторов.



HPFS (High Performance File System) Высокопроизводительная файловая система была

представлена фирмой IBM в 1989 г. вместе с операционной системой OS/2.

По производительности она существенно превосходит FAT и позволяет использовать жесткие диски объемом до 2 Терабайт. Кроме того, она поддерживает разделы диска размером до 512 Гб и позволяет использовать имена файлов длиной до 255 символов

В HPFS по сравнению с FAT заметно уменьшено время доступа к файлам в больших каталогах.

Для обнаружения свободных секторов используется блок битовых карт (bitmap block list).

HPFS представляет собой сбалансированное дерево (так называемое В-дерево) с записями, расположенными в алфавитном порядке.



NTFS (New Technology File System) Файловая система NTFS NTFS — развитие файловой системы

HPFS, разработанной совместно IBM и «Microsoft» для проекта OS/2. Она вобрала в себя все лучшие технологические достижения.

NTFS была разработана как восстанавливаемая файловая система, использующая модель обработки транзакций

При модификации любого файла, в файле регистрации фиксируется вся информация, необходимая для повторения или «отката» транзакции. Если транзакция завершена успешно, производится модификация файла; в противном случае NTFS оставляет его неизменным.

NTFS позволяет сохранять файлы размером до 16 эксабайт (264 байт) и располагает встроенными средствами уплотнения файлов в реальном времени.

Новая система также позволяет вводить ограничения (квоты) на размер дискового пространства, предоставляемого пользователям.


Схема распределения пространства на томе хранится в файле битовой карты (bitmap file). Атрибут данных этого файла содержит карту, каждый бит которой представляет один кластер тома и указывает, свободен ли данный кластер или занят некоторым файлом.

Каждый файл на разделе NTFS представлен записью в специальном файле MFT (Master File Table, главная файловая таблица).


Каталог в NTFS представляет собой специфический файл, хранящий ссылки на другие файлы и каталоги

Файл каталога поделен на блоки, каждый из которых содержит имя файла, базовые атрибуты и ссылку на элемент MFT, который предоставляет полную информацию об элементе каталога


Внутренняя структура каталога NTFS представляет собой бинарное дерево.

Файловая система WinFS


Microsoft выпустила тестовую версию новой файловой системы Windows — WinFS. WinFS представляет собой нечто среднее между базой данных и файловой системой.Сутью WinFS является так называемая модель структурированных данных сущностей (в дословном переводе «предметы» — items). В качестве сущностей можно регистрировать не только файлы, но и, скажем, контакты, любимые ссылки в Интернете, письма, даты, бренды, производителей и т. д., то есть любые атрибуты, установленные по умолчанию либо назначенные пользователем.С точки зрения пользователей, сущности снимают необходимость в использовании физического места расположения файлов. Вместо этого Windows организует данные, в зависимости от их содержания, в виртуальные папки. При поиске данных пользовательский критерий типа «Все фотографии из отпусков за последние два года» (атрибуты «тип файла», «откуда» и «за какой период времени») теперь заменяют информацию о формате файла, авторе и расположении.


CDFS (CD File System) Разработана для хранении

информации на компакт-дисках. Имеет ряд существенных ограничений:

длина имени файла не может превышать 128 символов

нельзя использовать глубоко вложенные каталоги (более 8 уровней)

Сейчас все большее распространение получает формат UDF (Universal Disk Format). Поддерживаемый размер имени файла увеличен до 256 символов, добавлена возможность загрузки ОС.



Интерфейс командной строки4. Файловые менеджеры


Файловые менеджеры Файловые менеджеры - это сервисные программы,

предназначенные для управления файлами и папками (каталогами) на дисках.

Основными операциями управления являются: просмотр содержимого папок, навигация по файловой системе (переход из одной папки в другую), поиск, копирование, Перемещение удаление файлов и папок, запуск программ и т.д.

Дополнительные возможности: групповые операции с файлами, упорядочение (сортировка) объектов, возможность работы с файловыми архивами как с обычными

папками, средства сравнения файлов и папок и многие другие.

4. Файловые менеджеры

История развития В конце 80-х годов бурно распространилась и

фактически заполнила все компьютеры страны программа-оболочка Norton Commander. Благодаря ей эталоном рабочей среды стал не черный экран MS-ОС, а две синие панели.

Разработана целая серия программ-оболочек с символьными окнами - Norton Commander, ОС Novigator, Volkov Commander, Xtree Gold, интегратор ВИКТОРИЯ и т.д. Большинство появились вслед за Norton Commander и переняли от него все основные принципы работы и использующих единую идеологию, добавив лишь новые сервисные функции.


Проводник


Идеология работы файловых менеджеров Главная операция, облегчить выполнение которой они должны

— это копирование файлов (и родственная операция перемещения). Для этих операций в окне программы имеются две панели — левая и правая. Одна из них представляет исходную папку (источник), а вторая — конечную, в которую производится копирование (приемник). Благодаря этому можно без дополнительной подготовки одновременно видеть на экране содержимое обоих контейнеров, участвующих в операции копирования.

Клавиатурный интерфейс файловых менеджеров. Как это ни покажется удивительным, но чем опытнее и профессиональнее пользователь, тем меньше он использует мышь (кроме специфических операций типа свободного рисования) и тем чаще прибегает к клавиатурным командам и специальным комбинациям.



Norton Commander for DOS4. Файловые менеджеры


Norton Commander позволяет: наглядно отображать деревья каталогов и содержимое каталогов

(характеристик входящих в них файлов) в форме, наиболее удобной для восприятия человеком;

с помощью однократного нажатия клавиши выполнять всевозможные действия с каталогами, файлами и целыми поддеревьями файловых структур, включая их создание, копирование, пересылку, переименование, удаление и поиск, а так же смену атрибутов файлов;

удобно работать с архивами как с каталогами, включая отображение их содержимого, а также создание, обновление и распаковку архивов (архив представляет собой файл, в котором находится группа сжатых по специальному алгоритму файлов);

просматривать на экране текстовые и графические файлы, базы данных и таблицы, подготовленные популярными текставыми и графическими редакторами, системами управления базами данных, электронными таблицами и другими прикладными программами;

создавать и редактировать текстовые файлы; выполнять команды ОС и производить запуск программ, для чего

используются различные, наиболее удобные для пользователя способы; выдавать информацию о компьютере в целом, о дисках и об оперативной

памяти; поддержку межкомпьютерной связи через последовательный или

параллельный порт (с использованием модуля Commander Link); поддержку электронной почты через модем по телефонным линиям связи при

помощи специальной терминальной программы.



Norton Commander for Windows4. Файловые менеджеры

Меню NC Левая панель Файлы Диск Команды Вид Настройки Правая панель



Основные командыF1 Вызов справки

F2 Вызов пользовательского меню

F3 Просмотр содержимого файла

F4 Редактирование файла

F5 Копирование

F6 Переименование и перемещение

F7 Создание каталога

F8 Удаление

F9 Выход в меню

F10 Выход из NC



DISCo Командир 4. Файловые менеджеры


FAR Manager Один из лучших менеджеров файлов, доступных для

операционной системы Windows


FAR Manager



Total Commander 4. Файловые менеджеры

Total Commander


Окно программы Frigate

03.05.23 49©Ломакин С.В., доц.каф.ИОМАС, ВГАУ

Окно программы WinNavigator

03.05.23 50©Ломакин С.В., доц.каф.ИОМАС, ВГАУ

Сводная таблица 1 2 3 4 5 6 7 8 9 10Размер дистрибутива, МБ 0.39 5.31 7.95 3.75 1.18 1.94 9.02 1.79 5.08 1.64Цена - 39.95$ 65.87$ 25$ - 30$ 300р 300р 35$ 34$Объем занимаемой оперативной памяти, МБ 10 21 23 11 4 8 30 10 18 11GUI + + + + - + + + + +Вкладки - + + + - + + + + +FTP - - + + + + + + + +Текстовый редактор + + + + + - + + + -Просмотр изображений - + + + - + + + + -Просмотр видео - + + + - + + - + +Просмотр HTML - + + + - + + + + +Просмотр RTF + + + + - + + + + +Просмотр DOC - + + - - - + + + -HEX-редактор - + - + - - + + - -Подсветка типов файлов - + + - + - + - - +Быстрые папки + + + - + - + + + +История папок - + + - + - + + - +Панель быстрого запуска - - - - - + + - + +Плагины - - + + + - + - - +Многозадачность - + + + - + + + + +


•Сводная таблица

Education

05 хранение информации