O Instituto de Pesquisa da Agência de Notícias Xinhua divulgou um relatório sobre modelos domésticos de grande escala: Xunfei Xinghuo No. 1, Baidu Wenxin No. 2

Autor: Bu Shuqing

Desde que o ChatGPT desencadeou um aumento no investimento em inteligência artificial, modelos domésticos de grande escala surgiram como cogumelos. Desde o início de julho, havia mais de 80 modelos de inteligência artificial de grande escala com uma escala de parâmetros de mais de 1 bilhão em China. Sob esta nova tendência, como devem ser selecionados os modelos nacionais de grande escala? Qual modelo grande é o mais poderoso?

Em 12 de agosto, o Centro de Pesquisa de Desenvolvimento Empresarial da China do Instituto de Pesquisa da Agência de Notícias Xinhua lançou o “Relatório de Experiência de Modelo Grande de Inteligência Artificial 2.0” (doravante denominado “Relatório”), que é a empresa doméstica mais popular, como como Baidu Wenxin Yiyan e Ali Tongyi Qianwen. Aplicações gerais de modelos grandes são avaliadas.

Um total de 500 perguntas aleatórias foram projetadas para esta avaliação, comparando com o nível humano que recebeu educação superior, enfatizando o valor real para a indústria e a vida e estritamente de acordo com os quatro índices básicos de habilidade, índice de QI, índice de QE e ferramenta índice de eficiência A dimensão da avaliação é ponderada para garantir o rigor de todo o processo de avaliação.

O resultado final foi um pouco surpreendente. ** Xunfei Xinghuo ficou em primeiro lugar nesta avaliação com uma pontuação total de 1013 pontos e ficou em primeiro lugar nas duas dimensões do índice de QI e índice de eficiência da ferramenta entre as quatro dimensões de avaliação; Baidu Wenxin Yiyan classificou segundo e terceiro respectivamente com SenseTime. **

De acordo com o “Relatório”, Xunfei Xinghuo tem sete capacidades principais, a saber, geração de texto, compreensão de linguagem, pergunta e resposta de conhecimento, raciocínio lógico, habilidade matemática, habilidade de codificação e habilidade multimodal. Possuir conhecimento de vários domínios e capacidade de compreensão do idioma e ser capaz de entender e executar tarefas com base no diálogo natural.

** Na parte de habilidade básica, a diferença entre humanos e IA não é significativa. **O desempenho de Baidu Wenxin é o mais atraente entre os modelos; SenseTime, Zhipu AI hatGLM, 360 Smart Brain tiveram bom desempenho, Xunfei Xinghuo, Ali Tongyi Qianwen, Lanzhou Technology Mchat, Kunlun Wanwei Tiangong tiveram bom desempenho Ainda bem.

Em termos de avaliação de QI,** os humanos ainda têm uma clara vantagem e as pontuações são as mais altas. **Entre todos os modelos avaliados, Xunfei Xinghuo e Zhipu A-ChatGLM ficaram em primeiro lugar; Baidu Wenxin Yiyan e Kunlun Wanwei Tiangong tiveram um bom desempenho.

**A lacuna entre IA e humanos é mais pronunciada quando se trata de inteligência emocional. O “Relatório” afirmou que não foram observados sinais óbvios da capacidade da IA de perceber emoções. Apesar disso, SenseTime mostrou um alto QE que superou seus pares, ficando em primeiro lugar com uma pontuação de 346, Baidu Wenxin Yiyan e Lanzhou Technology · Mchat ficaram em segundo e terceiro lugar, respectivamente.

Finalmente, em termos de melhoria da eficiência do trabalho, o “Relatório” acredita que a IA fornece forte suporte para humanos, e a velocidade de processamento da IA excede em muito a dos humanos. No entanto, apesar das vantagens da alta velocidade e alta eficiência da IA, a inteligência e a imaginação humanas ainda desempenham um papel insubstituível em algumas tarefas complexas e inovadoras. Os resultados da avaliação mostram que Xunfei Xinghuo ficou em primeiro lugar com uma pontuação de 350 e está muito à frente, enquanto Baidu Wenxin Yiyan e Shangtang Shangdi ficaram em segundo e terceiro lugar, respectivamente.

O “Relatório” acredita que, em comparação com junho de 2023, os atuais modelos de produtos em grande escala na China fizeram progressos significativos. No entanto, em comparação com humanos altamente educados, ainda existe um certo grau de diferença entre os grandes modelos em termos de QI e QE. Embora em campos diferentes, IA e humanos mostrem vantagens e desvantagens diferentes, mas no geral, o desenvolvimento de modelos de IA em grande escala trouxe importantes impactos positivos na qualidade e eficiência do trabalho e da vida humana, e os modelos em grande escala estão se acelerando no Live e entrar na indústria.