Kytos, SDN platform developed by SPRACE, orchestrates data transfer in SC17

Kytos gerenciou transferência de dados em um anel intercontinental entre São Paulo e Denver durante conferência SuperComputing deste ano; a nova aplicação poderá ser utilizada no LHC e LSST
 
 
O Kytos, plataforma SDN open-source desenvolvida pela equipe do São Paulo Research and Analysis Center (SPRACE) testou uma nova aplicação durante a conferência SuperComputing deste ano, realizada em Denver, nos Estados Unidos, entre os dias 12 e 17 de novembro. O evento é considerado o mais importante do mundo na área de computação de alto desempenho, redes e armazenamento.
 
Durante a conferência o Kytos gerenciou os fluxos de dados e orquestrou os equipamentos de rede que ligam o NCC, em São Paulo, a Denver. Pela primeira vez, uma aplicação de usuário foi completamente responsável por estabelecer todas as rotas utilizando os slices fornecidos pela AmLight. Essas transferências foram realizadas através de dois canais de 100 G providos pela AmLight, um via Atlântico e outro via Pacífico, estabelecendo assim um anel intercontinental, que também envolveu redes do projeto FIBRE da Rede Nacional de Ensino e Pesquisa (RNP).
 
Ao longo do primeiro dia de demonstrações, a equipe do SPRACE, projeto abrigado no Núcleo de Computação Cientifica (NCC) da Unesp, estabeleceu comunicação entre o NAP do Brasil, em Barueri, e a Amlight, em Miami. Ambos os canais de 100 G entre São Paulo e Miami foram exercitados simultaneamente, com tráfego médio superior a 90 Gbps em cada canal sustentado por mais de 1 hora, atingindo pico de 190 Gbps.
 
No dia seguinte foi realizado um teste bidirecional entre o NCC e o estande de Caltech, que teve médias de velocidade de 57,4 Gbps e 71,6 Gbps. Toda a infraestrutura para a demonstração foi desenhada e construída pelos engenheiros do NCC, da ANSP e da AmLight ao longo de 2017. Do lado da Unesp e ANSP, Rogério Iope, gerente executivo do NCC, coordenou a implantação da infraestrutura experimental usada durante a demonstração. “Colocamos no experimento praticamente todos os recursos computacionais e de rede adquiridos no contexto do projeto de SDN que mantemos em parceria com a Huawei, com servidores dotados de interfaces de rede de 40G e de 100G, além de unidades de armazenamento rápido do tipo NVMe”. O NCC também se preparou para usar toda a sua capacidade de rede, que atualmente pode chegar a 200 Gbps.
 
 
A demonstração do Kytos, liderada por Beraldo Leal, foi acompanhada, entre outros, por Júlio Ibarra, PI do projeto AmLight, por Kevin Thompson, Diretor de Programa da Office of Advanced Cyberinfrastructure da National Science Foundation (NSF), e por Inder Monga, Diretor Executivo da ESNet. Durante a demonstração, o representante da NSF incentivou que se viabilizasse o uso do Kytos nas transferências de dados do experimento Compact Muon Solenoid (CMS) do Large Hadron Collider (LHC) utilizando a infraestrutura do SPRACE. Além disso, o Dr. Monga convidou os desenvolvedores do Kytos para implantar e testar a nova ferramenta SDN no testbed da ESNet, rede financiada pelo Departamento de Energia (DOE) que tem entre suas missões direcionar os avanços dos serviços de rede para a ciência colaborativa e distribuída. “Foi um grande prazer ver o sucesso do Kytos, uma ferramenta open-source, totalmente financiada pelo setor privado”, afirma Leal, que coordenada a equipe de desenvolvedores da plataforma SDN. O desenvolvimento do Kytos tem apoio da empresa chinesa de telecomunicações Huawei, que investe no projeto através da Lei da Informática. Em 2016, a empresa firmou uma parceria com o NCC e com o SPRACE para promover pesquisa e desenvolvimento com foco na área de SDN, buscando também novos serviços, métodos e ferramentas de código aberto para integrar tecnologias de computação em nuvem com as redes definidas por software.
 
Próximos Passos
 
Os desenvolvedores do Kytos, em parceria com uma equipe da AmLight-ExP, estão mapeando as demandas do Large Synoptic Survey Telescope (LSST), atualmente em construção no pico da montanha Cerro Pachón, no Chile. O telescópio terá potencial para produzir até 15 terabytes (TB) de dados por noite de observação. Eles desenvolveram uma primeira versão da aplicação para provisionamento de circuitos, chamada de "Kytos MEF E-Line". Esta ferramenta poderá disponibilizar canais de transferência de dados entre o Chile e os países colaboradores LSST com garantias de qualidade do serviço, para que as grandes quantidades de informação produzidas pelo telescópio sejam transportadas para os centros de análise da forma mais eficiente possível. A MEF E-Line foi testada, como protótipo, em transferências de dados internacionais pela primeira vez durante a última edição do evento SuperComputing.
 
A equipe de desenvolvedores do Kytos está trabalhando em uma extensão do File Transfer Service (FTS), que é utilizado pelo LHC para que possa requisitar o provisionamento do circuito SDN antes de iniciar uma transferência de conjunto de dados. Isso será feito através de um plug-in da Grid File Access Library (GFAL2) que conversará diretamente com o Kytos para que ele execute as instruções de provisionamento.
 
Em uma iniciativa conjunta dos engenheiros e desenvolvedores de redes da AmLight e da SPRACE foi também submetido um projeto para a utilização do testbed da Esnet com o intuito de promover melhorias da conexão entre Estados Unidos e América Latina, com base nos requisitos das ciências intensivas em dados como o LHC e o LSST. Além da complexidade do gerenciamento da conectividade interdomínio, a AmLight-ExP precisa gerenciar o provisionamento de circuitos de ponta-a-ponta que possuem diferentes tipos de tráfego e requisitos de reserva de largura de banda. A resiliência e a garantia do desempenho são componentes cruciais para garantir que o tráfego seja encaminhado por um caminho adequado.
 
Estande Próprio
 
 
A equipe do SPRACE participa da SC desde 2004. Naquele ano, junto a seus parceiros nacionais e internacionais, como a Academic Network of São Paulo (ANSP), a Americas Pathways (AmPATH) e Caltech, o SPRACE estabeleceu um novo recorde de transmissão de dados entre os hemisférios Norte-Sul. O mesmo recorde foi quebrado novamente nos anos de 2009, pelo recém-inaugurado cluster de computadores do NCC, e 2016, quando dados foram transmitidos a taxas próximas a 100 Gbps entre as cidades de São Paulo e Salt Lake City, onde a conferência foi realizada.
 
Este ano, pela primeira vez, a Unesp participou da SC com estande próprio. O apoio da Huawei desempenhou um importante papel para a consecução desse objetivo, que tornou a Unesp a única instituição da América do Sul assim representada no evento. A conferência, que teve mais de 12 mil participantes, não apenas forneceu a oportunidade de divulgar os trabalhos do NCC e do SPRACE para as mais importantes universidades e empresas do ramo de tecnologia e computação do mundo, como também permitiu à equipe brasileira ter contato com colegas e colaboradores para discutir e trocar conhecimentos sobre as principais inovações da área. Essas experiências, como já foi demonstrado em anos anteriores, é essencial para auxiliar no planejamento de futuras atualizações para os sistemas computacionais do GridUnesp e do SPRACE.
 
 
Responsável pela infraestrutura de rede do SPRACE desde 2004 e pelo projeto e implantação da rede do datacenter do NCC, Iope considera que a infraestrutura montada para o evento desse ano superou a de todos os anos anteriores, já que foi possível exercitar, simultaneamente, todos os diversos canais de comunicação do NCC sem afetar o tráfego de produção.