MLPerf Client 1.0 representa uma ferramenta abrangente para avaliar o desempenho de sistemas de inteligência artificial

O MLPerf Client 1.0 foi lançado recentemente, apresentando melhorias notáveis em comparação com a versão 0.6. A atualização também inclui uma interface gráfica intuitiva, o que deve aumentar o interesse de usuários menos experientes.

Novidades adicionais abrangem uma variedade maior de modelos de Inteligência Artificial, suporte a otimização de hardware em diversos dispositivos de diferentes fabricantes e a avaliação de uma gama mais extensa de interações potenciais dos usuários com modelos de linguagem de grande porte.

O MLPerf Client 1.0 agora avalia o desempenho utilizando os modelos Llama 2 7B Chat e Llama 3.1 8B Instruct da Meta, além do Phi 3.5 Mini Instruct da Microsoft.

Leia também:

Microsoft disponibiliza o Copilot Mode para o Edge em fase experimental

Líder supremo do Irã planeja transição de poder, temendo atentado por Estados Unidos ou Israel

A empresa Builder.ai, focada em IA, alegadamente enganou a Microsoft com declarações falsas sobre capacidades de automação

Também fornece suporte para o modelo experimental Phi 4 Reasoning 14B, como um exemplo de desempenho com um modelo de linguagem de última geração, que possui um conjunto maior de parâmetros e recursos mais avançados em comparação com as versões anteriores.

O software também oferece uma variedade maior de tipos de prompts. Agora, ele avalia o desempenho para análise de código, como os desenvolvedores frequentemente solicitam atualmente.

Também pode avaliar o desempenho de sumarização de conteúdo utilizando grandes janelas de contexto de 4.000 ou 8.000 tokens como um teste.

Para obter o download, acesse a página do MLPerf Client 1.0 no GitHub. A ferramenta é desenvolvida pelo consórcio MLCommons e seu grupo de trabalho MLPerf Client mantêm um benchmark de cliente criado em colaboração com os principais fornecedores de hardware e software.

Requisitos de equipamento.

Diferentes modelos e tamanhos de contexto fornecem aos testadores de hardware um conjunto de cargas de trabalho mais escalável e completo em diversos dispositivos.

Algumas das cargas de trabalho desta versão necessitam de uma GPU com 16 GB de VRAM para serem executadas. Isso favorece o uso de hardware de última geração, além de gráficos integrados e NPUs. As plataformas de hardware e software de IA do cliente são eficientes, e existem várias formas de otimizar o desempenho de cargas de trabalho de IA localmente. O MLPerf Client 1.0 abrange mais desses caminhos de aceleração em diversos hardwares, especialmente para dispositivos Qualcomm e Apple.

Nova interface gráfica

O MLPerf Client 1.0 agora oferece uma interface gráfica de usuário. A novidade possibilita aos usuários compreender a totalidade dos benchmarks que podem ser executados em seu hardware e selecionar-los com facilidade.

A nova versão também fornece monitoramento em tempo real dos vários recursos de hardware de um sistema. Isso possibilita observar prontamente se o caminho de execução selecionado está utilizando a GPU ou NPU desejada.

As versões anteriores do MLPerf Client eram ferramentas apenas de linha de comando. Esta novidade de interface de usuário deve aumentar o interesse do benchmark tanto para usuários iniciantes.

Também deve simplificar a tarefa para testadores experientes de hardware que necessitam coletar e comparar resultados em diferentes configurações de hardware e software.

A inteligência artificial está em rápido crescimento.

O crescimento da IA é evidente. A NVIDIA se destaca como uma das empresas com maior lucratividade nesse cenário. A Intel, por outro lado, reconheceu o erro e enfrenta resultados financeiros negativos, incluindo demissões e reestruturação.

Diferentemente das mudanças prévias no campo da computação, a maioria das tecnologias interage com as versões mais recentes de modelos de IA na nuvem. Serviços de destaque como ChatGPT, Claude e Gemini continuam sendo baseados na nuvem.

Devido a fatores como privacidade, pesquisa e controle, modelos de IA executados localmente ainda despertam interesse. É fundamental poder avaliar de maneira precisa e imparcial o desempenho da IA em sistemas com GPUs e NPUs. A IA do cliente permanece um campo relevante à medida que fabricantes de hardware e software buscam definir as cargas de trabalho mais apropriadas para execução local e os melhores recursos computacionais para executá-las.

Fonte por: Adrenaline