MPIHASH Wiki & Documentation Rss Feed

Updated Wiki: Home

faafonso — Wed, 28 Apr 2010 13:21:48 GMT

Equipe/Team | Blog

Project Status
First Steps to Assembly MPI.NET Aplications

Our next release will be available soon. It's a very faster version of the Spawn method.

We are testing a release of a new version of the MPI_Comm_Spawn primitive witch is very faster and allows the spawn of methods.

The implementation of the MPI_Comm_Spawn_multiple is now available at the downloads page http://mpihash.codeplex.com/Release/ProjectReleases.aspx?ReleaseId=30261

The MPI_Comm_Spawn and MPI_Comm_get_parent primitives are implemented and available for download at http://mpihash.codeplex.com/Release/ProjectReleases.aspx?ReleaseId=25184

We are now entering the second part of our project. See the Project Status page for more details.

Project Description

MPI is the de-facto standard for HPC. The 2.0 standard specifies bindings for Fortran, C and C. However, they clearly lack of high-level abstractions such are OO encapsulation or simple portability in heterogeneous platforms, i.e. distributed sets of different CPUs, possibly interconnected by different networks.

Nearly all current, modern languages, have developed extensions such as to enable their use with MPI: this is the case of Java (JavaMPI, MPIJava), Python (pympi), Perl or Ruby. As far as C# is concerned, the Open Systems Laboratory at Indiana University has proposed both a low-level binding (strongly inspired by the C binding) and a high-level one, called MPI.NET (see Willcock, J., Lumsdaine, A., Robison., A.: Using mpi with c# and the common language infrastructure. Concurrency and Computation: Practice and Experience 17(7-8) (2005) 895–917).

The C# binding is relatively straightforward. Each object of C# bindings contains the underlying C representation of the MPI object. Similarly, the high-level objects in the MPI.NET are usually containers of underlying MPI objects. According to the referenced article, the performance of the current MPI binding of C# is reasonnable. However, the implementation and the tests have only be partial and did not cover collective communication, one of the key features of MPI, neither do they cover non-blocking communication or other advanced features of MPI such as the use of non-native, used-defined datatypes.

The goals of this project would be to build upon MPI.NET in order to complement it with the features that are missing, mainly regarding collective communication. Either they could benefit from C# native support for such communication, either they could be programmed on top of the provided MPISend/MPIRecv encapsulations. C# and .NET features such as fault tolerance or dynamicity support would be studied, in other to turn the MPI# implementation robust in large, dynamic and heterogeneous platforms.

Updated Wiki: Home

faafonso — Tue, 22 Dec 2009 03:22:00 GMT

Equipe/Team | Blog

Project Status
First Steps to Assembly MPI.NET Aplications

We are testing a release of a new version of the MPI_Comm_Spawn primitive witch is very faster and allows the spawn of methods.

The implementation of the MPI_Comm_Spawn_multiple is now available at the downloads page http://mpihash.codeplex.com/Release/ProjectReleases.aspx?ReleaseId=30261

The MPI_Comm_Spawn and MPI_Comm_get_parent primitives are implemented and available for download at http://mpihash.codeplex.com/Release/ProjectReleases.aspx?ReleaseId=25184

We are now entering the second part of our project. See the Project Status page for more details.

Project Description

MPI is the de-facto standard for HPC. The 2.0 standard specifies bindings for Fortran, C and C. However, they clearly lack of high-level abstractions such are OO encapsulation or simple portability in heterogeneous platforms, i.e. distributed sets of different CPUs, possibly interconnected by different networks.

Nearly all current, modern languages, have developed extensions such as to enable their use with MPI: this is the case of Java (JavaMPI, MPIJava), Python (pympi), Perl or Ruby. As far as C# is concerned, the Open Systems Laboratory at Indiana University has proposed both a low-level binding (strongly inspired by the C binding) and a high-level one, called MPI.NET (see Willcock, J., Lumsdaine, A., Robison., A.: Using mpi with c# and the common language infrastructure. Concurrency and Computation: Practice and Experience 17(7-8) (2005) 895–917).

The C# binding is relatively straightforward. Each object of C# bindings contains the underlying C representation of the MPI object. Similarly, the high-level objects in the MPI.NET are usually containers of underlying MPI objects. According to the referenced article, the performance of the current MPI binding of C# is reasonnable. However, the implementation and the tests have only be partial and did not cover collective communication, one of the key features of MPI, neither do they cover non-blocking communication or other advanced features of MPI such as the use of non-native, used-defined datatypes.

The goals of this project would be to build upon MPI.NET in order to complement it with the features that are missing, mainly regarding collective communication. Either they could benefit from C# native support for such communication, either they could be programmed on top of the provided MPISend/MPIRecv encapsulations. C# and .NET features such as fault tolerance or dynamicity support would be studied, in other to turn the MPI# implementation robust in large, dynamic and heterogeneous platforms.

Updated Wiki: Home

faafonso — Tue, 22 Dec 2009 03:11:29 GMT

Updated Wiki: Project Status

faafonso — Tue, 22 Dec 2009 03:09:40 GMT

First part of the project

2009/12/01
- We are running benchmarks over the new and faster MPI.NET-Spawn library. See the Fibonacci performance graph below.

2009/10/07
- We are working on a faster version of the Spawn primitive.

2009/10/07
- We published a papper in a journal witch is available at http://www.unisinos.br/publicacoes_cientificas/images/stories/Publicacoes/Scientia_v20n1/53-64.pdf.

2009/07/03
- We are running some benchmarks over the MPI_Comm_Spawn mechanism. We are also working on some pappers.

2009/03/24
- The MPI_Comm_Spawn and MPI_Comm_get_parent primitives are implemented (see the releases).

2009/02/20
- The MPI_Comm_Spawn primitive implementation worked, so now I'm focusing on improve the implementation and make it's interface looks nice. The preliminary implementation can be found on the Releases.

2009/01/02
- The MPI_Comm_Spawn primitive implementation started.

Updated Wiki: Equipe/Team

faafonso — Tue, 22 Dec 2009 02:59:30 GMT

Fernando Abrahão Afonso

Updated Wiki: Home

faafonso — Wed, 07 Oct 2009 19:51:39 GMT

Equipe/Team | Blog

Project Status
First Steps to Assembly MPI.NET Aplications

We are planning a release of a new version of the MPI_Comm_Spawn primitive witch is very faster and allows the spawn of methods.

The implementation of the MPI_Comm_Spawn_multiple is now available at the downloads page http://mpihash.codeplex.com/Release/ProjectReleases.aspx?ReleaseId=30261

The MPI_Comm_Spawn and MPI_Comm_get_parent primitives are implemented and available for download at http://mpihash.codeplex.com/Release/ProjectReleases.aspx?ReleaseId=25184

We are now entering the second part of our project. See the Project Status page for more details.

Project Description

MPI is the de-facto standard for HPC. The 2.0 standard specifies bindings for Fortran, C and C. However, they clearly lack of high-level abstractions such are OO encapsulation or simple portability in heterogeneous platforms, i.e. distributed sets of different CPUs, possibly interconnected by different networks.

Nearly all current, modern languages, have developed extensions such as to enable their use with MPI: this is the case of Java (JavaMPI, MPIJava), Python (pympi), Perl or Ruby. As far as C# is concerned, the Open Systems Laboratory at Indiana University has proposed both a low-level binding (strongly inspired by the C binding) and a high-level one, called MPI.NET (see Willcock, J., Lumsdaine, A., Robison., A.: Using mpi with c# and the common language infrastructure. Concurrency and Computation: Practice and Experience 17(7-8) (2005) 895–917).

The C# binding is relatively straightforward. Each object of C# bindings contains the underlying C representation of the MPI object. Similarly, the high-level objects in the MPI.NET are usually containers of underlying MPI objects. According to the referenced article, the performance of the current MPI binding of C# is reasonnable. However, the implementation and the tests have only be partial and did not cover collective communication, one of the key features of MPI, neither do they cover non-blocking communication or other advanced features of MPI such as the use of non-native, used-defined datatypes.

The goals of this project would be to build upon MPI.NET in order to complement it with the features that are missing, mainly regarding collective communication. Either they could benefit from C# native support for such communication, either they could be programmed on top of the provided MPISend/MPIRecv encapsulations. C# and .NET features such as fault tolerance or dynamicity support would be studied, in other to turn the MPI# implementation robust in large, dynamic and heterogeneous platforms.

Status do Projeto

Descrição do Projeto

O objetivo do projeto MPI# é construir, acima do ambiente MPI.NET, os complementos que faltam para permitir a comunicação entre processos em ambientes de alta performance construídos na linguagem C#, de forma nativa. Aspectos de tolerância a falha e suporte dinâmico dos ambientes C# e .Net serão estudados, com o intuito de permitir a implementação do MPI# robusta em ambientes com múltiplos processadores, dinâmicos e com plataformas heterogêneas.

Updated Wiki: Project Status

faafonso — Wed, 07 Oct 2009 19:50:09 GMT

First part of the project

2009/10/07
- We are working on a faster version of the Spawn primitive.

2009/10/07
- We published a papper in a journal witch is available at http://www.unisinos.br/publicacoes_cientificas/images/stories/Publicacoes/Scientia_v20n1/53-64.pdf.

2009/07/03
- We are running some benchmarks over the MPI_Comm_Spawn mechanism. We are also working on some pappers.

2009/03/24
- The MPI_Comm_Spawn and MPI_Comm_get_parent primitives are implemented (see the releases).

2009/02/20
- The MPI_Comm_Spawn primitive implementation worked, so now I'm focusing on improve the implementation and make it's interface looks nice. The preliminary implementation can be found on the Releases.

2009/01/02
- The MPI_Comm_Spawn primitive implementation started.

Updated Wiki: Project Status

faafonso — Wed, 07 Oct 2009 19:48:41 GMT

First part of the project

2009/10/07
- We published a papper in a journal witch is available at http://www.unisinos.br/publicacoes_cientificas/images/stories/Publicacoes/Scientia_v20n1/53-64.pdf.

2009/07/03
- We are running some benchmarks over the MPI_Comm_Spawn mechanism. We are also working on some pappers.

2009/03/24
- The MPI_Comm_Spawn and MPI_Comm_get_parent primitives are implemented (see the releases).

2009/02/20
- The MPI_Comm_Spawn primitive implementation worked, so now I'm focusing on improve the implementation and make it's interface looks nice. The preliminary implementation can be found on the Releases.

2009/01/02
- The MPI_Comm_Spawn primitive implementation started.

Updated Wiki: Project Status

faafonso — Wed, 07 Oct 2009 19:48:08 GMT

First part of the project

2009/10/07
- We published a papper in a journal witch is available at http://www.unisinos.br/publicacoes_cientificas/images/stories/Publicacoes/Scientia_v20n1/53-64.pdf.

2009/07/03
- We are running some benchmarks over the MPI_Comm_Spawn mechanism. We are also working on some pappers.

2009/03/24
- The MPI_Comm_Spawn and MPI_Comm_get_parent primitives are implemented (see the releases).

2009/02/20
- The MPI_Comm_Spawn primitive implementation worked, so now I'm focusing on improve the implementation and make it's interface looks nice. The preliminary implementation can be found on the Releases.

2009/01/02
- The MPI_Comm_Spawn primitive implementation started.

Updated Wiki: Home

faafonso — Thu, 16 Jul 2009 20:19:59 GMT

Equipe/Team | Blog

Project Status
First Steps to Assembly MPI.NET Aplications

The implementation of the MPI_Comm_Spawn_multiple is now available at the downloads page http://mpihash.codeplex.com/Release/ProjectReleases.aspx?ReleaseId=30261

The MPI_Comm_Spawn and MPI_Comm_get_parent primitives are implemented and available for download at http://mpihash.codeplex.com/Release/ProjectReleases.aspx?ReleaseId=25184

We are now entering the second part of our project. See the Project Status page for more details.

Project Description

MPI is the de-facto standard for HPC. The 2.0 standard specifies bindings for Fortran, C and C. However, they clearly lack of high-level abstractions such are OO encapsulation or simple portability in heterogeneous platforms, i.e. distributed sets of different CPUs, possibly interconnected by different networks.

Nearly all current, modern languages, have developed extensions such as to enable their use with MPI: this is the case of Java (JavaMPI, MPIJava), Python (pympi), Perl or Ruby. As far as C# is concerned, the Open Systems Laboratory at Indiana University has proposed both a low-level binding (strongly inspired by the C binding) and a high-level one, called MPI.NET (see Willcock, J., Lumsdaine, A., Robison., A.: Using mpi with c# and the common language infrastructure. Concurrency and Computation: Practice and Experience 17(7-8) (2005) 895–917).

The C# binding is relatively straightforward. Each object of C# bindings contains the underlying C representation of the MPI object. Similarly, the high-level objects in the MPI.NET are usually containers of underlying MPI objects. According to the referenced article, the performance of the current MPI binding of C# is reasonnable. However, the implementation and the tests have only be partial and did not cover collective communication, one of the key features of MPI, neither do they cover non-blocking communication or other advanced features of MPI such as the use of non-native, used-defined datatypes.

The goals of this project would be to build upon MPI.NET in order to complement it with the features that are missing, mainly regarding collective communication. Either they could benefit from C# native support for such communication, either they could be programmed on top of the provided MPISend/MPIRecv encapsulations. C# and .NET features such as fault tolerance or dynamicity support would be studied, in other to turn the MPI# implementation robust in large, dynamic and heterogeneous platforms.

Status do Projeto

Descrição do Projeto

O objetivo do projeto MPI# é construir, acima do ambiente MPI.NET, os complementos que faltam para permitir a comunicação entre processos em ambientes de alta performance construídos na linguagem C#, de forma nativa. Aspectos de tolerância a falha e suporte dinâmico dos ambientes C# e .Net serão estudados, com o intuito de permitir a implementação do MPI# robusta em ambientes com múltiplos processadores, dinâmicos e com plataformas heterogêneas.

Updated Wiki: Home

faafonso — Thu, 16 Jul 2009 20:18:01 GMT

Equipe/Team | Blog

Project Status
First Steps to Assembly MPI.NET Aplications

The MPI_Comm_Spawn and MPI_Comm_get_parent primitives are implemented and available for download at http://mpihash.codeplex.com/Release/ProjectReleases.aspx?ReleaseId=25184*

We are now entering the second part of our project. See the Project Status page for more details.

Project Description

MPI is the de-facto standard for HPC. The 2.0 standard specifies bindings for Fortran, C and C. However, they clearly lack of high-level abstractions such are OO encapsulation or simple portability in heterogeneous platforms, i.e. distributed sets of different CPUs, possibly interconnected by different networks.

Nearly all current, modern languages, have developed extensions such as to enable their use with MPI: this is the case of Java (JavaMPI, MPIJava), Python (pympi), Perl or Ruby. As far as C# is concerned, the Open Systems Laboratory at Indiana University has proposed both a low-level binding (strongly inspired by the C binding) and a high-level one, called MPI.NET (see Willcock, J., Lumsdaine, A., Robison., A.: Using mpi with c# and the common language infrastructure. Concurrency and Computation: Practice and Experience 17(7-8) (2005) 895–917).

The C# binding is relatively straightforward. Each object of C# bindings contains the underlying C representation of the MPI object. Similarly, the high-level objects in the MPI.NET are usually containers of underlying MPI objects. According to the referenced article, the performance of the current MPI binding of C# is reasonnable. However, the implementation and the tests have only be partial and did not cover collective communication, one of the key features of MPI, neither do they cover non-blocking communication or other advanced features of MPI such as the use of non-native, used-defined datatypes.

The goals of this project would be to build upon MPI.NET in order to complement it with the features that are missing, mainly regarding collective communication. Either they could benefit from C# native support for such communication, either they could be programmed on top of the provided MPISend/MPIRecv encapsulations. C# and .NET features such as fault tolerance or dynamicity support would be studied, in other to turn the MPI# implementation robust in large, dynamic and heterogeneous platforms.

Status do Projeto

Descrição do Projeto

O objetivo do projeto MPI# é construir, acima do ambiente MPI.NET, os complementos que faltam para permitir a comunicação entre processos em ambientes de alta performance construídos na linguagem C#, de forma nativa. Aspectos de tolerância a falha e suporte dinâmico dos ambientes C# e .Net serão estudados, com o intuito de permitir a implementação do MPI# robusta em ambientes com múltiplos processadores, dinâmicos e com plataformas heterogêneas.

Updated Wiki: Home

faafonso — Thu, 16 Jul 2009 20:17:37 GMT

Equipe/Team | Blog

Project Status
First Steps to Assembly MPI.NET Aplications

The MPI_Comm_Spawn* and MPI_Comm_get_parent primitives are implemented and available for download at http://mpihash.codeplex.com/Release/ProjectReleases.aspx?ReleaseId=25184*

We are now entering the second part of our project. See the Project Status page for more details.

Project Description

MPI is the de-facto standard for HPC. The 2.0 standard specifies bindings for Fortran, C and C. However, they clearly lack of high-level abstractions such are OO encapsulation or simple portability in heterogeneous platforms, i.e. distributed sets of different CPUs, possibly interconnected by different networks.

Nearly all current, modern languages, have developed extensions such as to enable their use with MPI: this is the case of Java (JavaMPI, MPIJava), Python (pympi), Perl or Ruby. As far as C# is concerned, the Open Systems Laboratory at Indiana University has proposed both a low-level binding (strongly inspired by the C binding) and a high-level one, called MPI.NET (see Willcock, J., Lumsdaine, A., Robison., A.: Using mpi with c# and the common language infrastructure. Concurrency and Computation: Practice and Experience 17(7-8) (2005) 895–917).

The C# binding is relatively straightforward. Each object of C# bindings contains the underlying C representation of the MPI object. Similarly, the high-level objects in the MPI.NET are usually containers of underlying MPI objects. According to the referenced article, the performance of the current MPI binding of C# is reasonnable. However, the implementation and the tests have only be partial and did not cover collective communication, one of the key features of MPI, neither do they cover non-blocking communication or other advanced features of MPI such as the use of non-native, used-defined datatypes.

The goals of this project would be to build upon MPI.NET in order to complement it with the features that are missing, mainly regarding collective communication. Either they could benefit from C# native support for such communication, either they could be programmed on top of the provided MPISend/MPIRecv encapsulations. C# and .NET features such as fault tolerance or dynamicity support would be studied, in other to turn the MPI# implementation robust in large, dynamic and heterogeneous platforms.

Status do Projeto

Descrição do Projeto

O objetivo do projeto MPI# é construir, acima do ambiente MPI.NET, os complementos que faltam para permitir a comunicação entre processos em ambientes de alta performance construídos na linguagem C#, de forma nativa. Aspectos de tolerância a falha e suporte dinâmico dos ambientes C# e .Net serão estudados, com o intuito de permitir a implementação do MPI# robusta em ambientes com múltiplos processadores, dinâmicos e com plataformas heterogêneas.

Updated Wiki: Project Status

faafonso — Sat, 04 Jul 2009 02:04:33 GMT

First part of the project

2009/07/03
- We are running some benchmarks over the MPI_Comm_Spawn mechanism. We are also working on some pappers.

2009/03/24
- The MPI_Comm_Spawn and MPI_Comm_get_parent primitives are implemented (see the releases).

2009/02/20
- The MPI_Comm_Spawn primitive implementation worked, so now I'm focusing on improve the implementation and make it's interface looks nice. The preliminary implementation can be found on the Releases.

2009/01/02
- The MPI_Comm_Spawn primitive implementation started.

2008/11/25 Whe are now entering the second part of our project.

We have some defined goals to the second part of our project that will be done along 2009.

We are gonna finish our performances tests that we started doing at november 2008.
We will provide dynamic task creation functions to the MPI.NET library.
We wanna make the MPI.NET library capable to run over heterogeneous environments.
We will implement a dynamic fluids aplication over the MPI.NET library.
We are still defining some more goals to the next year ...

Updated Wiki: Blog

faafonso — Wed, 22 Apr 2009 14:26:28 GMT

March

2009-03-24
- Versão funcional das primitivas MPI_Comm_Spawn e MPI_Comm_get_parent.

February

2009-02-20
- Implementação da primitiva MPI_Comm_Spawn funcionou.

December

2008-12-08
- Término da realização do artigo para o ERAD 2009. Total de 4 páginas a ser submetido hoje. O evento de submissão trata-se da Sessão de Iniciação Científica do ERAD 2009 e será realizado na cidade de Caxias do Sul/RS.
2008-12-05
- Início da realização do artigo para o ERAD 2009;
2008-12-04
- Pesquisa em bibliografias, reunião de idéias e anotações para escrita do artigo para o ERAD 2009.

November

2008-11-26
- Ajustes de antigo programa do PingPong com o MPI.NET para se enquadrar nas metodologias citadas abaixo. Esse programa será utilizado para uma bateria de testes na máquina dual core, a fim de disponibilizar informações para artigo do ERAD 2009 a ser entregue até o dia 8 de dezembro.
2008-11-25
- Término das execuções de comparações seqüênciais de programas de fatoração LU entre o C e o C#.
- Geração de gráficos comparando os tempos de execução, o desvio-padrão, a diferença de tempo encontrada e a porcentagem de diferença entre o C e o C#.

Exemplo de gráfico gerado (os demais gráficos podem ser visualizados aqui: Gráficos - Fatoração LU):

2008-11-21
- Término das execuções de comparações seqüênciais de programas de multiplicação de matrizes entre o C e o C#.
- Geração de gráficos comparando os tempos de execução, o desvio-padrão, a diferença de tempo encontrada e a porcentagem de diferença entre o C e o C#.

Exemplo de gráfico gerado (os demais gráficos podem ser visualizados aqui: Gráficos - Multiplicação de Matrizes):

2008-11-19
- Estudo de formas de paralelizar com MPI o algoritmo de fatoração LU (não é trivial).
- Estudo de formas de otimização de código no Visual Studio para as linguagens C e C#. C -> utilização de 03. C# -> Ativação de 'Optimize' em Propriedades->Build. Recompilação dos códigos e início de novas execuções das baterias de testes com os códigos agora otimizados.
2008-11-18
- Observação dos resultados dos testes para multiplicação de matrizes. Estudo do gnuplot para formação de gráficos com os resultados. Obtenção de gráficos iniciais. C# está com uma pequena vantagem em relação ao C. Os motivos para esse fato serão analisados.
2008-11-13
- Realização e término do código para multiplicação de matrizes com MPI.NET e C#. Decisão de metodologia empregada para cálculo do tempo foi realizada. Essa metodologia será empregada nos outros testes também.
- Início da realização do código para multiplicação de matrizes com o MPI/C utilizando a mesma metodologia citada acima.
- Pré-análise de alguns resultados obtidos nos benchmarks seqüênciais.
2008-11-12
- Ajustes nos arquivos batch e término do programa para calcular a média e o desvio-padrão automaticamente dos diversos testes a serem realizados.
- Início da banda de testes em máquina dual-core. Ficarão rodando durante a noite automaticamente.
2008-11-11
- Instalação e verificação do funcionamento e modo de compilação de programas MPI em C no Visual Studio 2008.
- Desenvolvimento de código para multiplicação de matrizes com MPI em C. Ainda não terminado.
- Criação de um arquivo batch para executar automaticamente 30 testes para cada uma das entradas da multiplicacao de matrizes seqüêncial em C. As entradas, em um 1º momento, variam de 100 a 1000 (dimensões das matrizes), com incrementos de 10. Esses valores podem ser ajustados conforme o desvio-padrão for analisado.
- Criação de uma implementação em C para automatizar a obtenção da média de execuções de todos os testes gerados pelo arquivo batch mencionado acima.
2008-11-10
- Pesquisas e análises de arquivos batch no Windows para a execução automática de programas com diferentes parâmetros de entrada (importante para os benchmarks).
- Análise de alguns códigos MPI existentes na Internet para serem reaproveitados nos benchmarks.

October

2008-10-08
- Implementação dos algoritmos de fatoração LU em C e em C#. Esses códigos serão executados para a realização dos diversos benchmarks. Argumentos variáveis por linha de comando : dimensão da matriz A e número de iterações. Apenas as operações de cálculo da fatoração são calculados pelo benchmark. Operações de alocação de memória para as matrizes são desprezadas pelo cálculo.
- Ajustes das traducões da implementação MPIBsend e atualização do Release.
- Término da implementação em C e em C# da multiplicação de matrizes. Criação de tática para benchmark e pesquisa de bibliotecas para contagem de tempo. Em C# -> classe DateTime. Em C -> time.h. Alocações de memória não entram na contagem de benchmark. Apenas a multiplicação efetiva através dos laços é contada.
2008-10-06
- Início da implementação dos primeiros passos do Plano de Benchmarks decidido na reunião. Implementação da multiplicação de matrizes em C . Argumentos variáveis por linha de comando : dimensão das matrizes e número de iterações.

September

2008-09-30
- Conclusão da documentação da implementação do Bsend.
- Link para o release da documentação: Documentação da Implementação do Bsend
2008-09-29
- Reunião para definição dos próximos passos do projeto.
- Criação de uma documentação a respeito de toda a solução criada para o Bsend, desde os problemas enfrentados até a forma como foi implementado e o modo de utilização no MPI.NET desse método.
2008-09-25
- Pesquisa e leitura de como utilizar sockets em C# diretamente, sem o uso do MPI. Esses sockets serão utilizados para diversos tipos de benchmarks e comparações nos próximos passos do projeto.
2008-09-23
- Término da implementação da solução geral para o MPIBsend, MPIBufferAttach e MPIBufferDetach, com fornecimento de comentários e testes no formato já previamente desenvolvido pela solução MPI.NET pela Universidade de Indiana.

2008-09-11
- Implementação da classe BufferMPI, e término de implementações das funções MPIBsend, MPIBufferAttach e MPIBufferDetach. Testes com passagens de mensagens com o Bsend relativas a inteiros, booleanos, estruturas e objetos funcionou! A interface foi um pouco alterada da última versão, devido a problemas relativos a melhor distribuição correta das estruturas nas classes, de forma a manter a melhor interface possível. Tipo de código final para o usuário:

BufferMPI buf = new BufferMPI(numBytes);
env.BufferAttach(buf);
...
if (rank == 0)
comm.Bsend(valor,1,0);
else
comm.Receive(0,0,out valor);

2008-09-09
- Começo da implementação da classe BufferMPI e as implementações do MPIBsend. Teste simples funcionou! A importação das funções nativas do C foi feita com sucesso. A interface realizada pelo BufferMPI está sendo aprimorada para tratar excessões e casos especiais.

2008-09-05
- Elaboração de uma possível solução para a implementação das funções MPIBsend, MPIBufferAttach e MPIBufferDetach. Estudos para viabilizar a realização da mesma e implementá-la serão realizados nos próximos dias.
2008-09-03
- Lida geral no artigo desenvolvido pelo pessoal da Universidade de Indiana a respeito do modo como utilizaram o CLR e primitivas como o fixed e o unsafe.
- Estudo da alocação de bytes, modo de operação do Garbage Collector para com os objetos e criação de possíveis soluções através de uma nova classe para o MPI.NET que implemente o Buffer para o MPIBsend.

2008-09-01
- Estudou-se a participação do Garbage Collector no C# e suas interferências possíveis de serem causadas na solução planejada para o MPIBsend. Aparentemente, o uso da primitiva fixed identifica regiões de memória que não serão deslocadas no heap pelo Garbage Collector. Estudar-se-á melhor essa primitiva, suas limitações e outros aspectos do GC.

August

2008-08-29
- Fizemos uma reunião para descutir os pontos do MPI.NET a serem estudados para fins de identificar o porquê do MPIBsend não ter sido implementado e como devemos proceder para implementá-lo.

2008-08-27
- Estudo da implementação do MPISend no MPI.NET.
2008-08-26
- Leitura sobre o método MPIBsend, o qual será provavelmente estudado e implementado para a solução MPI.NET.

2008-08-25
- Submetemos um artigo para o evento WSPPD 2008 - VI Workshop de Processamento Paralelo e Distribuído http://gppd.inf.ufrgs.br/wsppd/2008/. O artigo estará disponível em nossos releases_.
- Blog criado.

Updated Wiki: Blog

faafonso — Wed, 22 Apr 2009 14:25:48 GMT

March
2009-03-24
Versão funcional das primitivas MPI_Comm_Spawn e MPI_Comm_get_parent.

February
2009-02-20
Implementação da primitiva MPI_Comm_Spawn funcionou.

December
2008-12-08
Término da realização do artigo para o ERAD 2009. Total de 4 páginas a ser submetido hoje. O evento de submissão trata-se da Sessão de Iniciação Científica do ERAD 2009 e será realizado na cidade de Caxias do Sul/RS.

2008-12-05
Início da realização do artigo para o ERAD 2009;

2008-12-04
Pesquisa em bibliografias, reunião de idéias e anotações para escrita do artigo para o ERAD 2009.

November
2008-11-26
Ajustes de antigo programa do PingPong com o MPI.NET para se enquadrar nas metodologias citadas abaixo. Esse programa será utilizado para uma bateria de testes na máquina dual core, a fim de disponibilizar informações para artigo do ERAD 2009 a ser entregue até o dia 8 de dezembro.

2008-11-25
Término das execuções de comparações seqüênciais de programas de fatoração LU entre o C e o C#.

Geração de gráficos comparando os tempos de execução, o desvio-padrão, a diferença de tempo encontrada e a porcentagem de diferença entre o C e o C#.
Exemplo de gráfico gerado (os demais gráficos podem ser visualizados aqui: Gráficos - Fatoração LU):

2008-11-21
Término das execuções de comparações seqüênciais de programas de multiplicação de matrizes entre o C e o C#.

Geração de gráficos comparando os tempos de execução, o desvio-padrão, a diferença de tempo encontrada e a porcentagem de diferença entre o C e o C#.
Exemplo de gráfico gerado (os demais gráficos podem ser visualizados aqui: Gráficos - Multiplicação de Matrizes):

2008-11-19
Estudo de formas de paralelizar com MPI o algoritmo de fatoração LU (não é trivial).

Estudo de formas de otimização de código no Visual Studio para as linguagens C e C#. C -> utilização de 03. C# -> Ativação de 'Optimize' em Propriedades->Build. Recompilação dos códigos e início de novas execuções das baterias de testes com os códigos agora otimizados.

2008-11-18
Observação dos resultados dos testes para multiplicação de matrizes. Estudo do gnuplot para formação de gráficos com os resultados. Obtenção de gráficos iniciais. C# está com uma pequena vantagem em relação ao C. Os motivos para esse fato serão analisados.

2008-11-13
Realização e término do código para multiplicação de matrizes com MPI.NET e C#. Decisão de metodologia empregada para cálculo do tempo foi realizada. Essa metodologia será empregada nos outros testes também.

Início da realização do código para multiplicação de matrizes com o MPI/C utilizando a mesma metodologia citada acima.

Pré-análise de alguns resultados obtidos nos benchmarks seqüênciais.

2008-11-12
Ajustes nos arquivos batch e término do programa para calcular a média e o desvio-padrão automaticamente dos diversos testes a serem realizados.

Início da banda de testes em máquina dual-core. Ficarão rodando durante a noite automaticamente.

2008-11-11
Instalação e verificação do funcionamento e modo de compilação de programas MPI em C no Visual Studio 2008.

Desenvolvimento de código para multiplicação de matrizes com MPI em C. Ainda não terminado.

Criação de um arquivo batch para executar automaticamente 30 testes para cada uma das entradas da multiplicacao de matrizes seqüêncial em C. As entradas, em um 1º momento, variam de 100 a 1000 (dimensões das matrizes), com incrementos de 10. Esses valores podem ser ajustados conforme o desvio-padrão for analisado.

Criação de uma implementação em C para automatizar a obtenção da média de execuções de todos os testes gerados pelo arquivo batch mencionado acima.

2008-11-10
Pesquisas e análises de arquivos batch no Windows para a execução automática de programas com diferentes parâmetros de entrada (importante para os benchmarks).

Análise de alguns códigos MPI existentes na Internet para serem reaproveitados nos benchmarks.
October
2008-10-08
Implementação dos algoritmos de fatoração LU em C e em C#. Esses códigos serão executados para a realização dos diversos benchmarks. Argumentos variáveis por linha de comando : dimensão da matriz A e número de iterações. Apenas as operações de cálculo da fatoração são calculados pelo benchmark. Operações de alocação de memória para as matrizes são desprezadas pelo cálculo.

Ajustes das traducões da implementação MPIBsend e atualização do Release.

Término da implementação em C e em C# da multiplicação de matrizes. Criação de tática para benchmark e pesquisa de bibliotecas para contagem de tempo. Em C# -> classe DateTime. Em C -> time.h. Alocações de memória não entram na contagem de benchmark. Apenas a multiplicação efetiva através dos laços é contada.

2008-10-06
Início da implementação dos primeiros passos do Plano de Benchmarks decidido na reunião. Implementação da multiplicação de matrizes em C . Argumentos variáveis por linha de comando : dimensão das matrizes e número de iterações.
September
2008-09-30
Conclusão da documentação da implementação do Bsend.

Link para o release da documentação: Documentação da Implementação do Bsend

2008-09-29
Reunião para definição dos próximos passos do projeto.

Criação de uma documentação a respeito de toda a solução criada para o Bsend, desde os problemas enfrentados até a forma como foi implementado e o modo de utilização no MPI.NET desse método.

2008-09-25
Pesquisa e leitura de como utilizar sockets em C# diretamente, sem o uso do MPI. Esses sockets serão utilizados para diversos tipos de benchmarks e comparações nos próximos passos do projeto.

2008-09-23
Término da implementação da solução geral para o MPIBsend, MPIBufferAttach e MPIBufferDetach, com fornecimento de comentários e testes no formato já previamente desenvolvido pela solução MPI.NET pela Universidade de Indiana.

2008-09-11
Implementação da classe BufferMPI, e término de implementações das funções MPIBsend, MPIBufferAttach e MPIBufferDetach. Testes com passagens de mensagens com o Bsend relativas a inteiros, booleanos, estruturas e objetos funcionou! A interface foi um pouco alterada da última versão, devido a problemas relativos a melhor distribuição correta das estruturas nas classes, de forma a manter a melhor interface possível. Tipo de código final para o usuário:

BufferMPI buf = new BufferMPI(numBytes);
env.BufferAttach(buf);
...
if (rank == 0)
comm.Bsend(valor,1,0);
else
comm.Receive(0,0,out valor);

2008-09-09
Começo da implementação da classe BufferMPI e as implementações do MPIBsend. Teste simples funcionou! A importação das funções nativas do C foi feita com sucesso. A interface realizada pelo BufferMPI está sendo aprimorada para tratar excessões e casos especiais.

2008-09-05
Elaboração de uma possível solução para a implementação das funções MPIBsend, MPIBufferAttach e MPIBufferDetach. Estudos para viabilizar a realização da mesma e implementá-la serão realizados nos próximos dias.

2008-09-03
Lida geral no artigo desenvolvido pelo pessoal da Universidade de Indiana a respeito do modo como utilizaram o CLR e primitivas como o fixed e o unsafe.

Estudo da alocação de bytes, modo de operação do Garbage Collector para com os objetos e criação de possíveis soluções através de uma nova classe para o MPI.NET que implemente o Buffer para o MPIBsend.

Estudo e testes da forma de serialização de um objeto qualquer, a sua transferência para um array de bytes e deserialização para um objeto novamente.

2008-09-01
Conseguiu-se compilar o código MPI.NET. Criou-se um método 'ola' na classe Communicator para verificar se a criação da dll estava sendo feita corretamente. Criou-se um projeto teste para utilizar a biblioteca compilada e vericou-se que o método 'ola' pôde ser acessado e executado. Não se conseguiu criar os instaladores ainda.

Estudou-se a participação do Garbage Collector no C# e suas interferências possíveis de serem causadas na solução planejada para o MPIBsend. Aparentemente, o uso da primitiva fixed identifica regiões de memória que não serão deslocadas no heap pelo Garbage Collector. Estudar-se-á melhor essa primitiva, suas limitações e outros aspectos do GC.

August

2008-08-29
Fizemos uma reunião para descutir os pontos do MPI.NET a serem estudados para fins de identificar o porquê do MPIBsend não ter sido implementado e como devemos proceder para implementá-lo.

2008-08-27
Estudo da implementação do MPISend no MPI.NET.

2008-08-26
Leitura sobre o método MPIBsend, o qual será provavelmente estudado e implementado para a solução MPI.NET.

2008-08-25
Submetemos um artigo para o evento WSPPD 2008 - VI Workshop de Processamento Paralelo e Distribuído http://gppd.inf.ufrgs.br/wsppd/2008/. O artigo estará disponível em nossos releases_.

Blog criado.

Updated Wiki: Home

faafonso — Tue, 24 Mar 2009 19:40:13 GMT

Equipe/Team | Blog

Project Status
First Steps to Assembly MPI.NET Aplications

The MPI_Comm_Spawn and MPI_Comm_get_parent primitives are implemented and available for download at http://mpihash.codeplex.com/Release/ProjectReleases.aspx?ReleaseId=25184

We are now entering the second part of our project. See the Project Status page for more details.

Project Description

MPI is the de-facto standard for HPC. The 2.0 standard specifies bindings for Fortran, C and C++. However, they clearly lack of high-level abstractions such are OO encapsulation or simple portability in heterogeneous platforms, i.e. distributed sets of different CPUs, possibly interconnected by different networks.

Nearly all current, modern languages, have developed extensions such as to enable their use with MPI: this is the case of Java (JavaMPI, MPIJava), Python (pympi), Perl or Ruby. As far as C# is concerned, the Open Systems Laboratory at Indiana University has proposed both a low-level binding (strongly inspired by the C++ binding) and a high-level one, called MPI.NET (see Willcock, J., Lumsdaine, A., Robison., A.: Using mpi with c# and the common language infrastructure. Concurrency and Computation: Practice and Experience 17(7-8) (2005) 895–917).

The C# binding is relatively straightforward. Each object of C# bindings contains the underlying C representation of the MPI object. Similarly, the high-level objects in the MPI.NET are usually containers of underlying MPI objects. According to the referenced article, the performance of the current MPI binding of C# is reasonnable. However, the implementation and the tests have only be partial and did not cover collective communication, one of the key features of MPI, neither do they cover non-blocking communication or other advanced features of MPI such as the use of non-native, used-defined datatypes.

The goals of this project would be to build upon MPI.NET in order to complement it with the features that are missing, mainly regarding collective communication. Either they could benefit from C# native support for such communication, either they could be programmed on top of the provided MPISend/MPIRecv encapsulations. C# and .NET features such as fault tolerance or dynamicity support would be studied, in other to turn the MPI# implementation robust in large, dynamic and heterogeneous platforms.

Status do Projeto

Descrição do Projeto

O objetivo do projeto MPI# é construir, acima do ambiente MPI.NET, os complementos que faltam para permitir a comunicação entre processos em ambientes de alta performance construídos na linguagem C#, de forma nativa. Aspectos de tolerância a falha e suporte dinâmico dos ambientes C# e .Net serão estudados, com o intuito de permitir a implementação do MPI# robusta em ambientes com múltiplos processadores, dinâmicos e com plataformas heterogêneas.

Updated Wiki: Status do Projeto

faafonso — Tue, 24 Mar 2009 19:37:55 GMT

MPI# - Status

Para status do projeto por favor verifique os releases e a página Project Status

Tarefa 1:
No período de 03/03/2008 a 31/03/2008 foram realizados estudos sobre C#, sobre a plataforma .NET e foram desenvolvidas algumas pequenas aplicações de teste. Nota-se que algumas dessas pequenas aplicações seqüênciais serão utilizadas para a realização de benchmarks em futuras soluções e análises do MPI.NET. Exemplos de aplicações criadas: Multiplicação de Matrizes, Cálculo do Fractal de Mandelbrot e Produtos Vetoriais/Escalares de vetores, Cálculo do Pi.

Tarefa 2:
Não foi concluída a instalação do .NET sobre um cluster de 4 máquinas como proposto devido a indisponibilidade do mesmo. No entanto foi feita a instalação sobre 2 máquinas e alguns testes de comunicação serão realizados.

Tarefa 3:
Entre 01/04/2008 e 30/04/2008 a solução MPI.NET da Universidade de Indiana foi instalada e alguns testes estão sendo realizados, dentre eles foi feito um benchmark da aplicação Ping-Pong referenciada no artigo encontrado em na url http://www.cs.indiana.edu/pub/techreports/TR570.pdf.

Teste da aplicação Ping-Pong, Ring, Cálculo de PI (Reduce) e outros em MPI-C#: Algumas execuções foram realizadas em uma máquina local do programa para diferentes números de processos, seguido do cálculo de processamento.
Realização de benchmarks das linguagens C#, Java e C++.
Realização de testes utilizando passagem de objetos por MPI, função esta disponível na versão MPI.NET da Universidade de Indiana.
Início de um estudo mais aprofundado de MPI no caso próprio para o C e de suas diversas funções existentes para comunicação coletiva (All2All, AllGather, Gather, Scatter, BCast, Reduce)
Início de uma observação do código da solução MPI.NET da Universidade de Indiana. Verificação de classe própria para a linkagem com o código nativo em C para o MPI (Classe Unsafe), além de demais classes para a realização da interface com o MPI nativo (Communicator, Environment...)
Leitura do artigo "Using MPI With C# and the Common Language Infrastructure" desenvolvido pela Universidade de Indiana e encontrado na url http://www.cs.indiana.edu/pub/techreports/TR570.pdf

Tarefa 4:

Foi realizada uma lista de equivalência entra funções MPI nativas do C e as funções propostas na interface MPI.NET desenvolvida pela Universidade de Indiana. Essa lista encontra-se disponível no link abaixo:

Lista de primitivas equivalentes entre MPI/C e MPI.NET

Foram realizados alguns testes para a funcionaliade do método Gather da classe Communicator. Uma das principais conclusões obtidas foi que os métodos MPI/C MPIGather e MPIGatherv foram encapsulados em um único método, facilitando o modo de abstração e usabilidade das mesmas. O link para os testes e as devidas conclusões encontra-se abaixo:

Testes e Conclusões do método Communicator.Gather

Foram realizados alguns testes para a funcionaliade do método Scatter da classe Communicator. Uma das principais conclusões obtidas foi que as funções MPI/C MPIScatter e MPIScatterv foram encapsulados em um único método, facilitando o modo de abstração e usabilidade das mesmas. O link para os testes e as devidas conclusões encontra-se abaixo:

Testes e Conclusões do método Communicator.Scatter

Foram realizados alguns testes para a funcionaliade do método AllGather da classe Communicator. Uma das principais conclusões obtidas foi que as funções MPI/C MPIAllGather e MPIAllGatherv foram encapsulados em um único método, facilitando o modo de abstração e usabilidade das mesmas. O link para os testes e as devidas conclusões encontra-se abaixo:

Testes e Conclusões do método Communicator.AllGather

Foram realizados alguns testes para a funcionaliade do método Alltoall da classe Communicator. Uma das principais conclusões obtidas foi que as funções MPI/C MPIAlltoall e MPIAlltoallv foram encapsulados em um único método, facilitando o modo de abstração e usabilidade das mesmas. O link para os testes e as devidas conclusões encontra-se abaixo:

Testes e Conclusões do método Communicator.Alltoall

Funcionamento do Alltoall para o caso da funcionalidade MPI_Alltoallv pode ser observada na figura abaixo. Todas as funções MPI/C destinada a tamanhos de vetores diferentes podem ser baseadas no mesmo estilo.

Foram realizados alguns testes para a funcionaliade do método Reduce da classe Communicator. Uma das principais conclusões obtidas foi que este método funciona tanto para operações pré-definidas como para operações definidas pelo usuário (que sejam associativas). Além disso, ele funciona também para "reduzir objetos" e não apenas para tipos primitivos.

Testes e Conclusões do método Communicator.Reduce

Foram realizados alguns testes para a funcionaliade do método Allreduce da classe Communicator. Uma das principais conclusões obtidas foi que este método funciona tanto para operações pré-definidas como para operações definidas pelo usuário (que sejam associativas). Além disso, ele funciona também para "reduzir objetos" e não apenas para tipos primitivos. O "broadcast" da redução para todos os processos foi realizada com sucesso.

Testes e Conclusões do método Communicator.Allreduce

Foram realizados alguns testes para a funcionaliade do método ReduceScatter da classe Communicator. Uma das principais conclusões obtidas para o método ReduceScatter é que ele realiza de forma satisfatória a divisão de diferentes quantidades de elementos do "vetor reduzido" entre os diferentes processos MPI.

Testes e Conclusões do método Communicator.ReduceScatter

Foram realizados testes em cima da funcionalidade do método Scan da classe Intracommunicator. Uma das principais conclusões obtidas para este método é que objetos quaisquer e tipos primitivos de dados podem ser usados na função satisfatoriamente. Além disso, pode-se utilizar funções pré-definidas pelo usuário para o processo de redução.

Testes e Conclusões do método Intracommunicator.Scan

Dado início em 1º de maio, estamos construindo um relatório que compara as classes MPI para C++ e para C#.
Após esse relátorio ser concluido estaremos aptos a contribuir com novas funcionalidades para o MPI.NET.

Percebeu-se que uma função existente na norma MPI, a MPI_Bsend, não foi implementada pela solução MPI.NET. Assim sendo, projetou-se uma solução para a utilização de buffers pelo usuário. A implementação está sendo desenvolvida.

Diversos algoritmos estão sendo criados para que sejam realizados benchmarks para comparações entre o desempenho do C/C#, o MPI/C e o MPI.NET, o MPI/sockets, etc...
Atualmente estão sendo rodados algoritmos seqüências da Fatoração LU e da Multiplicação de Matrizes em uma máquina dual core para verificar as diferenças de desempenho entre o C e o C#.

Próximas tarefas: 2, 5, 6, 7.

Updated Wiki: Status do Projeto

faafonso — Tue, 24 Mar 2009 19:37:28 GMT

MPI# - Status

Para status do projeto por favor verifique os releases e a página Project Status *

Tarefa 1:
No período de 03/03/2008 a 31/03/2008 foram realizados estudos sobre C#, sobre a plataforma .NET e foram desenvolvidas algumas pequenas aplicações de teste. Nota-se que algumas dessas pequenas aplicações seqüênciais serão utilizadas para a realização de benchmarks em futuras soluções e análises do MPI.NET. Exemplos de aplicações criadas: Multiplicação de Matrizes, Cálculo do Fractal de Mandelbrot e Produtos Vetoriais/Escalares de vetores, Cálculo do Pi.

Tarefa 2:
Não foi concluída a instalação do .NET sobre um cluster de 4 máquinas como proposto devido a indisponibilidade do mesmo. No entanto foi feita a instalação sobre 2 máquinas e alguns testes de comunicação serão realizados.

Tarefa 3:
Entre 01/04/2008 e 30/04/2008 a solução MPI.NET da Universidade de Indiana foi instalada e alguns testes estão sendo realizados, dentre eles foi feito um benchmark da aplicação Ping-Pong referenciada no artigo encontrado em na url http://www.cs.indiana.edu/pub/techreports/TR570.pdf.

Teste da aplicação Ping-Pong, Ring, Cálculo de PI (Reduce) e outros em MPI-C#: Algumas execuções foram realizadas em uma máquina local do programa para diferentes números de processos, seguido do cálculo de processamento.
Realização de benchmarks das linguagens C#, Java e C++.
Realização de testes utilizando passagem de objetos por MPI, função esta disponível na versão MPI.NET da Universidade de Indiana.
Início de um estudo mais aprofundado de MPI no caso próprio para o C e de suas diversas funções existentes para comunicação coletiva (All2All, AllGather, Gather, Scatter, BCast, Reduce)
Início de uma observação do código da solução MPI.NET da Universidade de Indiana. Verificação de classe própria para a linkagem com o código nativo em C para o MPI (Classe Unsafe), além de demais classes para a realização da interface com o MPI nativo (Communicator, Environment...)
Leitura do artigo "Using MPI With C# and the Common Language Infrastructure" desenvolvido pela Universidade de Indiana e encontrado na url http://www.cs.indiana.edu/pub/techreports/TR570.pdf

Tarefa 4:

Foi realizada uma lista de equivalência entra funções MPI nativas do C e as funções propostas na interface MPI.NET desenvolvida pela Universidade de Indiana. Essa lista encontra-se disponível no link abaixo:

Lista de primitivas equivalentes entre MPI/C e MPI.NET

Foram realizados alguns testes para a funcionaliade do método Gather da classe Communicator. Uma das principais conclusões obtidas foi que os métodos MPI/C MPIGather e MPIGatherv foram encapsulados em um único método, facilitando o modo de abstração e usabilidade das mesmas. O link para os testes e as devidas conclusões encontra-se abaixo:

Testes e Conclusões do método Communicator.Gather

Foram realizados alguns testes para a funcionaliade do método Scatter da classe Communicator. Uma das principais conclusões obtidas foi que as funções MPI/C MPIScatter e MPIScatterv foram encapsulados em um único método, facilitando o modo de abstração e usabilidade das mesmas. O link para os testes e as devidas conclusões encontra-se abaixo:

Testes e Conclusões do método Communicator.Scatter

Foram realizados alguns testes para a funcionaliade do método AllGather da classe Communicator. Uma das principais conclusões obtidas foi que as funções MPI/C MPIAllGather e MPIAllGatherv foram encapsulados em um único método, facilitando o modo de abstração e usabilidade das mesmas. O link para os testes e as devidas conclusões encontra-se abaixo:

Testes e Conclusões do método Communicator.AllGather

Foram realizados alguns testes para a funcionaliade do método Alltoall da classe Communicator. Uma das principais conclusões obtidas foi que as funções MPI/C MPIAlltoall e MPIAlltoallv foram encapsulados em um único método, facilitando o modo de abstração e usabilidade das mesmas. O link para os testes e as devidas conclusões encontra-se abaixo:

Testes e Conclusões do método Communicator.Alltoall

Funcionamento do Alltoall para o caso da funcionalidade MPI_Alltoallv pode ser observada na figura abaixo. Todas as funções MPI/C destinada a tamanhos de vetores diferentes podem ser baseadas no mesmo estilo.

Foram realizados alguns testes para a funcionaliade do método Reduce da classe Communicator. Uma das principais conclusões obtidas foi que este método funciona tanto para operações pré-definidas como para operações definidas pelo usuário (que sejam associativas). Além disso, ele funciona também para "reduzir objetos" e não apenas para tipos primitivos.

Testes e Conclusões do método Communicator.Reduce

Foram realizados alguns testes para a funcionaliade do método Allreduce da classe Communicator. Uma das principais conclusões obtidas foi que este método funciona tanto para operações pré-definidas como para operações definidas pelo usuário (que sejam associativas). Além disso, ele funciona também para "reduzir objetos" e não apenas para tipos primitivos. O "broadcast" da redução para todos os processos foi realizada com sucesso.

Testes e Conclusões do método Communicator.Allreduce

Foram realizados alguns testes para a funcionaliade do método ReduceScatter da classe Communicator. Uma das principais conclusões obtidas para o método ReduceScatter é que ele realiza de forma satisfatória a divisão de diferentes quantidades de elementos do "vetor reduzido" entre os diferentes processos MPI.

Testes e Conclusões do método Communicator.ReduceScatter

Foram realizados testes em cima da funcionalidade do método Scan da classe Intracommunicator. Uma das principais conclusões obtidas para este método é que objetos quaisquer e tipos primitivos de dados podem ser usados na função satisfatoriamente. Além disso, pode-se utilizar funções pré-definidas pelo usuário para o processo de redução.

Testes e Conclusões do método Intracommunicator.Scan

Dado início em 1º de maio, estamos construindo um relatório que compara as classes MPI para C++ e para C#.
Após esse relátorio ser concluido estaremos aptos a contribuir com novas funcionalidades para o MPI.NET.

Percebeu-se que uma função existente na norma MPI, a MPI_Bsend, não foi implementada pela solução MPI.NET. Assim sendo, projetou-se uma solução para a utilização de buffers pelo usuário. A implementação está sendo desenvolvida.

Diversos algoritmos estão sendo criados para que sejam realizados benchmarks para comparações entre o desempenho do C/C#, o MPI/C e o MPI.NET, o MPI/sockets, etc...
Atualmente estão sendo rodados algoritmos seqüências da Fatoração LU e da Multiplicação de Matrizes em uma máquina dual core para verificar as diferenças de desempenho entre o C e o C#.

Próximas tarefas: 2, 5, 6, 7.

Updated Wiki: Status do Projeto

faafonso — Tue, 24 Mar 2009 19:36:53 GMT

MPI# - Status

*Para status do projeto por favor verifique os releases e a página Project Status*

Tarefa 1:
No período de 03/03/2008 a 31/03/2008 foram realizados estudos sobre C#, sobre a plataforma .NET e foram desenvolvidas algumas pequenas aplicações de teste. Nota-se que algumas dessas pequenas aplicações seqüênciais serão utilizadas para a realização de benchmarks em futuras soluções e análises do MPI.NET. Exemplos de aplicações criadas: Multiplicação de Matrizes, Cálculo do Fractal de Mandelbrot e Produtos Vetoriais/Escalares de vetores, Cálculo do Pi.

Tarefa 2:
Não foi concluída a instalação do .NET sobre um cluster de 4 máquinas como proposto devido a indisponibilidade do mesmo. No entanto foi feita a instalação sobre 2 máquinas e alguns testes de comunicação serão realizados.

Tarefa 3:
Entre 01/04/2008 e 30/04/2008 a solução MPI.NET da Universidade de Indiana foi instalada e alguns testes estão sendo realizados, dentre eles foi feito um benchmark da aplicação Ping-Pong referenciada no artigo encontrado em na url http://www.cs.indiana.edu/pub/techreports/TR570.pdf.

Teste da aplicação Ping-Pong, Ring, Cálculo de PI (Reduce) e outros em MPI-C#: Algumas execuções foram realizadas em uma máquina local do programa para diferentes números de processos, seguido do cálculo de processamento.
Realização de benchmarks das linguagens C#, Java e C++.
Realização de testes utilizando passagem de objetos por MPI, função esta disponível na versão MPI.NET da Universidade de Indiana.
Início de um estudo mais aprofundado de MPI no caso próprio para o C e de suas diversas funções existentes para comunicação coletiva (All2All, AllGather, Gather, Scatter, BCast, Reduce)
Início de uma observação do código da solução MPI.NET da Universidade de Indiana. Verificação de classe própria para a linkagem com o código nativo em C para o MPI (Classe Unsafe), além de demais classes para a realização da interface com o MPI nativo (Communicator, Environment...)
Leitura do artigo "Using MPI With C# and the Common Language Infrastructure" desenvolvido pela Universidade de Indiana e encontrado na url http://www.cs.indiana.edu/pub/techreports/TR570.pdf

Tarefa 4:

Foi realizada uma lista de equivalência entra funções MPI nativas do C e as funções propostas na interface MPI.NET desenvolvida pela Universidade de Indiana. Essa lista encontra-se disponível no link abaixo:

Lista de primitivas equivalentes entre MPI/C e MPI.NET

Foram realizados alguns testes para a funcionaliade do método Gather da classe Communicator. Uma das principais conclusões obtidas foi que os métodos MPI/C MPIGather e MPIGatherv foram encapsulados em um único método, facilitando o modo de abstração e usabilidade das mesmas. O link para os testes e as devidas conclusões encontra-se abaixo:

Testes e Conclusões do método Communicator.Gather

Foram realizados alguns testes para a funcionaliade do método Scatter da classe Communicator. Uma das principais conclusões obtidas foi que as funções MPI/C MPIScatter e MPIScatterv foram encapsulados em um único método, facilitando o modo de abstração e usabilidade das mesmas. O link para os testes e as devidas conclusões encontra-se abaixo:

Testes e Conclusões do método Communicator.Scatter

Foram realizados alguns testes para a funcionaliade do método AllGather da classe Communicator. Uma das principais conclusões obtidas foi que as funções MPI/C MPIAllGather e MPIAllGatherv foram encapsulados em um único método, facilitando o modo de abstração e usabilidade das mesmas. O link para os testes e as devidas conclusões encontra-se abaixo:

Testes e Conclusões do método Communicator.AllGather

Foram realizados alguns testes para a funcionaliade do método Alltoall da classe Communicator. Uma das principais conclusões obtidas foi que as funções MPI/C MPIAlltoall e MPIAlltoallv foram encapsulados em um único método, facilitando o modo de abstração e usabilidade das mesmas. O link para os testes e as devidas conclusões encontra-se abaixo:

Testes e Conclusões do método Communicator.Alltoall

Funcionamento do Alltoall para o caso da funcionalidade MPI_Alltoallv pode ser observada na figura abaixo. Todas as funções MPI/C destinada a tamanhos de vetores diferentes podem ser baseadas no mesmo estilo.

Foram realizados alguns testes para a funcionaliade do método Reduce da classe Communicator. Uma das principais conclusões obtidas foi que este método funciona tanto para operações pré-definidas como para operações definidas pelo usuário (que sejam associativas). Além disso, ele funciona também para "reduzir objetos" e não apenas para tipos primitivos.

Testes e Conclusões do método Communicator.Reduce

Foram realizados alguns testes para a funcionaliade do método Allreduce da classe Communicator. Uma das principais conclusões obtidas foi que este método funciona tanto para operações pré-definidas como para operações definidas pelo usuário (que sejam associativas). Além disso, ele funciona também para "reduzir objetos" e não apenas para tipos primitivos. O "broadcast" da redução para todos os processos foi realizada com sucesso.

Testes e Conclusões do método Communicator.Allreduce

Foram realizados alguns testes para a funcionaliade do método ReduceScatter da classe Communicator. Uma das principais conclusões obtidas para o método ReduceScatter é que ele realiza de forma satisfatória a divisão de diferentes quantidades de elementos do "vetor reduzido" entre os diferentes processos MPI.

Testes e Conclusões do método Communicator.ReduceScatter

Foram realizados testes em cima da funcionalidade do método Scan da classe Intracommunicator. Uma das principais conclusões obtidas para este método é que objetos quaisquer e tipos primitivos de dados podem ser usados na função satisfatoriamente. Além disso, pode-se utilizar funções pré-definidas pelo usuário para o processo de redução.

Testes e Conclusões do método Intracommunicator.Scan

Dado início em 1º de maio, estamos construindo um relatório que compara as classes MPI para C++ e para C#.
Após esse relátorio ser concluido estaremos aptos a contribuir com novas funcionalidades para o MPI.NET.

Percebeu-se que uma função existente na norma MPI, a MPI_Bsend, não foi implementada pela solução MPI.NET. Assim sendo, projetou-se uma solução para a utilização de buffers pelo usuário. A implementação está sendo desenvolvida.

Diversos algoritmos estão sendo criados para que sejam realizados benchmarks para comparações entre o desempenho do C/C#, o MPI/C e o MPI.NET, o MPI/sockets, etc...
Atualmente estão sendo rodados algoritmos seqüências da Fatoração LU e da Multiplicação de Matrizes em uma máquina dual core para verificar as diferenças de desempenho entre o C e o C#.

Próximas tarefas: 2, 5, 6, 7.

Updated Wiki: Project Status

faafonso — Tue, 24 Mar 2009 19:35:55 GMT

First part of the project

2009/03/24

The MPI_Comm_Spawn and MPI_Comm_get_parent primitives are implemented (see the releases).

2009/01/02

The MPI_Comm_Spawn primitive implementation started.

2009/02/20

The MPI_Comm_Spawn primitive implementation worked, so now I'm focusing on improve the implementation and make it's interface looks nice. The preliminary implementation can be found on the Releases.

2008/11/25 Whe are now entering the second part of our project.

We have some defined goals to the second part of our project that will be done along 2009.

We are gonna finish our performances tests that we started doing at november 2008.
We will provide dynamic task creation functions to the MPI.NET library.
We wanna make the MPI.NET library capable to run over heterogeneous environments.
We will implement a dynamic fluids aplication over the MPI.NET library.
We are still defining some more goals to the next year ...