Simcosar: программный комплекс моделирования процесса мониторинга состояния информационного поля Интернет




Скачать 458.51 Kb.
НазваниеSimcosar: программный комплекс моделирования процесса мониторинга состояния информационного поля Интернет
страница1/5
Дата публикации29.03.2013
Размер458.51 Kb.
ТипДокументы
litcey.ru > Информатика > Документы
  1   2   3   4   5
SimCOSAR: программный комплекс моделирования процесса мониторинга состояния информационного поля Интернет
The article presents the description of simulation program package (named SimCOSAR). Computer programs were realized on Python with SimPy package.
Введение

В предыдущей статье [1] были приведены модели двух концепций реализации системы мониторинга информационного поля Интернет. Также немного было сказано о разрабатываемом комплексе программ, который реализует описанные модели. В ходе пробных экспериментов в программный комплекс вносились некоторые исправления и дополнения, а также была выявлена и реализована оптимальная, на наш взгляд, архитектура построения программного комплекса. Поэтому целью данной статьи мы выбрали знакомство коллег с текущей версией программного комплекса моделирования. Но прежде чем приступить к его описанию обозначим основные принципы и договорённости, которые были использованы при его проектировании и реализации:

  • работу комплекса можно и нужно разбить на этапы. Например, в отдельный этап может быть вычленено создание рабочей среды (набора ресурсов) и карты (журнала) событий происходящих в наблюдаемой среде;

  • так как проведение экспериментов разделено на этапы, а каждый этап имеет свою «настроечную» информацию и результаты функционирования (минимум лог-файл функционирования соответствующего модуля), то логичным (но не сразу пришедшим) решением стало размещение всей информации касающейся одного этапа в отдельной директории. Причём мы ввели правило именования директорий. Например, уже упомянутые этапы создания рабочей среды располагаются в директориях с именем «seriesN», где N – номер серии (серий может быть столько, сколько необходимо исследователю). Остальные имена директорий будут указаны далее по тексту;

  • в условиях применения языка Python было признано, что наиболее удобным способом организации хранения настроечной информации является использование ini-файлов, доступ к которым обеспечивает стандартный класс - ConfigParser. Все ini-файлы каждого этапа мы договорились хранить в специальной («ini») поддиректории директории этапа;

  • для всех этапов должна быть выделена и помещена в доступное место (общий каталог «ini») максимально единая настроечная информация (это необходимо во избежание бессмысленного дублирования информации и облегчения настройки программного комплекса);

  • так как каждый этап может включать в себя несколько действий (например, инициализация, работа, вывод накопленной статистики) принято решение объединять все однотипные действия в единые пакетные файлы (bat-файл). Пакетный файл помещается в корень директории этапа;

  • было принято решение хранить самые последние версии модулей в едином каталоге («bin»), причём имена файлов в данном каталоге не должны содержать версию (на всех стадиях разработки любых модулей комплекса мы договорились вести учёт версий программного кода, как в заголовках, так и в названиях файлов модулей) модуля. Эта договорённость избавляет от необходимости лишний раз исправлять имена вызываемых в пакетных файлах модулей;

  • реально происходящий процесс передачи информации с одного узла сети Интернет на другой узел имеет большое количество неподдающихся формализации нюансов. Все эти нюансы субъективно влияют на изучаемый процесс мониторинга, но их рассмотрение лишь засорит модели ненужными подробностями. Поэтому было принято решение, что каждый раз, когда необходимо определить время передачи некоторого объёма информации через сеть, мы будем использовать случайную величину, которая равномерно распределена на некотором интервале. В каждом конкретном случае мы будем давать свои оценки возможным значениям нижней и верхней границ интервала.


^ Состав программного комплекса

Реализация всех функций комплекса сгруппирована по нескольким модулям:

  • SimPages.py – создание рабочей среды (набора ресурсов) и карты (журнала) событий происходящих в наблюдаемой среде;

  • SimRobRoute.py – создание «маршрутов» обследования набора ресурсов роботом или роботами;

  • SimRobot.py – имитация работы системы мониторинга в случае использования концепции «роботов»;

  • SimRobotM.py – имитация работы системы мониторинга в случае использования стратегии «модифицированных роботов»;

  • SimSensor.py – имитация работы системы мониторинга в случае использования концепции «сенсоров»;

  • SimReport.py – извлечение статистики, которая была накоплена в результате осуществления имитации;

  • SimMergeReports.py – извлечение статистики, которая была накоплена в результате осуществления нескольких имитаций («прогонов»);

Рассмотрение каждого из этих модулей начнём с общего для всех модулей элемента, а именно с общей настроечной информации.
^ Общая настроечная информация

Общие настройки могут быть распределены по нескольким ini-файлам, которые помещаются в общую для всего комплекса ini-директорию. На данный момент мы имеем два файла настроек: common.ini и db.ini. Ссылки на эти файлы реализуются в каждом модуле программного комплекса в виде глобальных текстовых констант (comini, dbini). Впоследствии количество файлов и их содержание может (в силу возникающих потребностей разработки) измениться, а сейчас мы приведём таблицы, в которые собрали содержание названных файлов. Здесь и в аналогичных таблицах дальше в отдельном столбце таблицы мы будем приводить рекомендуемые значения параметров (очень часто предполагается невозможность их изменения без необходимости изменения программного кода). Ещё один столбец таблицы будет посвящён словесному описанию параметра.
^ Таблица 1. Файл common.ini

Секция

Параметр

Рекомендуемое

значение

Описание

[Options]

WorkDirectory




Директория размещения программного комплекса

[reportOptions]

ReportFileExtension

.csv

Расширение файлов с отчётными данными




ReportValuesDelimiter

;

Разделитель значений в файле отчёта

[measureOptions]

PageSizeMeasure

byte

Единицы измерения объёмов информационных ресурсов. В модулях значение параметра нигде в явном виде не используется и носит характер справочной информации




TimeMeasure

100msec

Единица измерения модельного времени. В модулях значение параметра нигде в явном виде не используется и носит характер справочной информации


^ Таблица 2. Файл db.ini

Секция

Параметр

Рекомендуемое значение

Описание

[dbOptions]

Host




IP адрес MySQL сервера




Login




Имя учётной записи на сервере




Password




Пароль доступа к учётной записи




PagesTableName

pages

Имя таблицы, в которой будет храниться информация о моделируемых информационных ресурсах.




PagesTableFieldsSQL

pid int(11) primary key, iter tinyint, lastch tinyint, size int(11), changed tinyint, crawled tinyint, wtime int(11)

SQL описание полей таблицы PagesTableName, напрямую используется в программе




ChangesTableName

events

Имя таблицы, в которой будет храниться информация об происходящих изменениях моделируемых информационных ресурсов




ChangesTableFieldsSQL

eid int(11) auto_increment primary key, iter tinyint, pid int(11), etime int(11), newch tinyint, prevch tinyint, dsize int(11), index(etime)

SQL описание полей таблицы ChangesTableName




QueriesTableName

queries

Имя таблицы, в которой будет храниться информация о поступивших запросах на моделируемые информационные ресурсы




QueriesTableFieldsSQL

qid int(11) auto_increment primary key, iter tinyint, pid int(11), qtime int(11), index(qtime)

SQL описание полей таблицы QueriesTableName




RobRouteTableName

robroute

Имя таблицы, в которой будет храниться информация о маршруте робота(-ов)




RobRouteTableFieldsSQL

pid int(11), rob int(11)


SQL описание полей таблицы RobRouteTableName




StatTableFieldsSQL

sid int(11) auto_increment primary key, stime int(11), varval double

SQL описание полей таблиц, которые используются для сбора статистических данных


Пока данные таблицы приводятся без дополнительных пояснений, так как необходимые разъяснения будут даваться при дальнейшем описании модулей комплекса.
^ Модуль SimPages.py

Основная задача данного модуля заключается в генерации серии «виртуальных» информационных ресурсов, а так же истории их изменений и истории запросов на них. Данный модуль может быть отработан каждый раз, когда по плану экспериментов необходима новая (другая) серия информационных ресурсов. Под серией будем понимать один или несколько (они отличаются исходными значениями параметров моделирования) наборов информационных ресурсов. Таким образом, в одной серии должен присутствовать хотя бы один набор описаний информационных ресурсов. А всю информацию, которая касается определённой серии, мы решили хранить в папке с именем «seriesN» (где N необходимо заменить номером рассматриваемой серии).
Модулю для работы необходимо указать два параметра: во-первых, название директории («seriesN»), а во-вторых, имя файла с настройками текущего набора («serN-M.ini»). Таким образом, для генерации всей серии необходимо выполнить модуль SimPages.py ровно M раз, т.е. столько раз, сколько наборов в серии. Все эти вызовы модуля можно собрать в один пакетный файл (например, можно создать файл build.bat и поместить все команды в него, что, собственно, мы и сделали). В дальнейшем, для создания всей серии необходимо вызвать на выполнение только этот пакетный файл.
Все файлы с настройками хранятся в поддиректории «ini». Каждая серия имеет общий файл настроек (хранимый, например, в файле с именем «serN.ini», где N - номер серии). Каждый набор также имеет свой персональный файл настроек (хранимый, например, в файле с именем «serN-M.ini», где N - номер серии, а M – номер набора). Приведём содержимое общего файла настройки серии и файла настройки набора.
^ Таблица 3. serN.ini

Секция

Параметр

Рекомендуемое значение

Описание

[simOptions]

ModelTime




Моделируемое время, единиц (1ед=100мсек)




Iterations

1

Количество итераций (при наличии больших вычислительных мощностей и других ресурсов можно попробовать собрать обширную статистику), единиц

[pageOptions]

MinPageSize

65

Минимальный размер информационного ресурса, байт




MaxPageSize

122880

Максимальный размер информационного ресурса, байт




MinPageLoadTime

1

Минимальное время, которое необходимо для «скачивания» информационного ресурса, единиц




MaxPageLoadTime

40

Максимальное время, которое необходимо для «скачивания» информационного ресурса, единиц




DefaultPageChange

6

Задаваемый изначально тип (номер) «последнего» изменения информационного ресурса. Тип 6 соответствует «Страница доступна (нет изменений)». Весь список типов доступен в [1]




DefaultPageChanged

0

Логический ключ (1 – True / 0 - False), который отвечает за исходное значение признака «Информационный ресурс изменился»




DefaultPageCrawled

1

Логический ключ (1 – True / 0 - False), который отвечает за исходное значение признака «Последнее изменение ресурса уже известно системе мониторинга»

[logOptions]

LogDirectory

logs\\

Директория для размещения соответствующих данному этапу журналов («логов»)




LogFileName

serlog.txt

Имя файла главного журнала событий




LogTraceToFile

1

Логический ключ (1 – True / 0 - False), который отвечает за включение протоколирования действий при выполнении данного модуля.

  1   2   3   4   5

Похожие:

Simcosar: программный комплекс моделирования процесса мониторинга состояния информационного поля Интернет iconОб опыте создания комплекса имитационного моделирования концепций...
Целью исследования является получение и последующее сравнение числовых значений критериев эффективности для двух различных стратегий...
Simcosar: программный комплекс моделирования процесса мониторинга состояния информационного поля Интернет iconМоделирование мониторинга информационного поля internet
Однако, решая внедрить программный комплекс, который будет реализовывать функции поисковой системы (ПС), владельцы сегмента информационного...
Simcosar: программный комплекс моделирования процесса мониторинга состояния информационного поля Интернет iconИспользование «сенсоров» для мониторинга состояния информационного поля Интернет
Интернет. Однако пристальное рассмотрение основных принципов функционирования названных концепций натолкнуло нас на мысль о возможности...
Simcosar: программный комплекс моделирования процесса мониторинга состояния информационного поля Интернет iconИльи Аркадьевича «Моделирование мониторинга информационного поля Internet»
«Моделирование мониторинга информационного поля Internet», представленной на соискание ученой степени кандидата технических наук...
Simcosar: программный комплекс моделирования процесса мониторинга состояния информационного поля Интернет iconДоклад земскова И. А. на тему «Моделирование мониторинга информационного поля Internet»
Поэтому на определённом этапе таких проектов встаёт вопрос о самостоятельной разработке или выборе готовой системы мониторинга состояния...
Simcosar: программный комплекс моделирования процесса мониторинга состояния информационного поля Интернет iconАвтореферат диссертации Земскова И. А. «Моделирование мониторинга информационного поля Internet»
Земскова И. А. «Моделирование мониторинга информационного поля Internet», представленной на соискание ученой степени кандидата технических...
Simcosar: программный комплекс моделирования процесса мониторинга состояния информационного поля Интернет iconИльи Аркадьевича «Моделирование мониторинга информационного поля Internet»
Земскова Ильи Аркадьевича «Моделирование мониторинга информационного поля Internet», представленной на соискание ученой степени кандидата...
Simcosar: программный комплекс моделирования процесса мониторинга состояния информационного поля Интернет iconИльи Аркадьевича «Моделирование мониторинга информационного поля Internet»
Земскова Ильи Аркадьевича «Моделирование мониторинга информационного поля Internet», представленной на соискание ученой степени кандидата...
Simcosar: программный комплекс моделирования процесса мониторинга состояния информационного поля Интернет iconАвтореферат диссертационной работы Земскова Ильи Аркадьевича на тему...
Земскова Ильи Аркадьевича на тему «Моделирование мониторинга информационного поля Internet», представленной на соискание ученой степени...
Simcosar: программный комплекс моделирования процесса мониторинга состояния информационного поля Интернет iconОтзыв официального оппонента на диссертацию Земскова Ильи Аркадьевича...
Земскова Ильи Аркадьевича “Моделирование мониторинга информационного поля internet”
Вы можете разместить ссылку на наш сайт:
Школьные материалы


При копировании материала укажите ссылку © 2013
контакты
litcey.ru
Главная страница