Высокопроизводительный SA

Общие задачи

Описание проблемы 

Общие предположения

Требования

Общий дизайн

 Коллекция Scripts

Таблица sa_maptask заменяется на коллекцию noc.scripts в mongodb. Каждый скрипт, запланированный к выполнению, оформляется как отдельный документ.

Поля документа

Результат работы записывается в GridFS в формате JSON (как получено с активатора). В качестве ключа используется id скрипта

API для запуска скрипта

task = managed_object.scripts.get_interfaces(name="Gi 0/1")

Возвращаемая задача имеет тип Future

API для запуска группы задач

Аналог старых ReduceTask. Используется при необходимости запуска сразу нескольких задач

group = GroupTask()
group.add(managed_object.scripts.get_interfaces(name="Gi 0/1", group=group) # Добавить одну задачу
group.add(selector, "get_interfaces", name="Gi 0/1") # Добавить несколько задач
task = group.run()

Возвращаемая задача имеет тип Future. При запуске задачи создается соответсвующая запись в коллекции Scripts. Зап

Возможно использование нескольких вложенных групп:

group1 = GroupTask()
group2 = GroupTask()
group1.add(group2)
task = group1.run()

Переделка SAE

 SAE реализован как HTTP-сервер на базе tornado. В качестве протокола по взаимодействию с активаторами используется JSON-RPC. SAE пассивен, задачи выдаются по запросу активатора. Используется механизм long polling, при котором активаторы, для которых нет задач, зависают на незакрытом коннекте, пока не появятся задачи. Данный механизм позволяет сократить задержку на передачу задания на активатор.

Реализуемые сервисы:

SAService (/SAService/)

{
   status: "W",
   activator: <activator name>,
   shard: <shard id>
}

$set: {
    status: "R",
    instance: <activator instance>
}

• Сервис /register/ - дергается активатором для мониторинга
  • POST /register/
    • -> {"expires": seconds}
  • Получив ответ активатор должен повторно дернуть /register/ через seconds/2, в случае ошибки - через seconds/8
• POST /ping/ - дергается NOC-ping с изменениями статуса
  • На входе список
    • timestamp
    • object id
    • status

• AutoConf daemon, получает в качестве конфига JSON
• • max_sessions
• http client регистрации, крутится в отдельном потоке, реализует сервис /register/
• threadpool - выполняет script runner
• network -- поток с SocketFactory
• dispatcher - отдельный поток, который по запросу script_runner'а запрашивает новые задачи и пересылает на SAE результат (через сервис /task/)

• AutoConf daemon, получает в качестве конфига хосты для пропинговки
• SocketFactory с ping socket'ом, которые занимаются пропинговкой
• sender - отсылает изменения статусов объектов на SAE

• protocol buffers

Открытые вопросы

Отрытые вопросы, не решенные проблемы:

Related Issues

NOC-291, NOC-1495

Отложенные задачи