DeepSeek, un modèle de langage open source, puissant et abordable.

[EnZ0]

Intéressant de voir l'enthousiasme autour de DeepSeek-V3, mais il faut effectivement nuancer certains points qui n'ont pas été évoqués. Je ne l'ai pas encore testé (bientôt, mais je manque de temps), aussi, je livre mon avis sans tests mais d'après ma réflexion et les premiers retours de tests que j'ai pu lire ou entendre de part et d'autre.

Côté performances, le modèle montre des résultats impressionnants sur les benchmarks, rivalisant même avec GPT-4 et Claude 3.5 Sonnet sur certaines tâches, particulièrement en mathématiques et en raisonnement. Cependant, des tests plus poussés révèlent des faiblesses, notamment sur l'évaluation "Misguided Attention" où il n'obtient que 22% de réussite, suggérant des problèmes de surapprentissage.

Un point crucial concerne la confidentialité des données, qui inquiète plus d'un, comme beaucoup de produit Chinois. Il est impossible de s'inscrire avec une adresse email professionnelle et d'obtenir des factures, ce qui pose question pour une utilisation en entreprise. De plus, en Chine, une identification avec le nom réel est requise pour l'utilisation...

L'architecture MoE (Mixture of Experts) permet certes des coûts réduits, mais elle peut aussi impacter les performances sur certaines tâches spécifiques. Le modèle présente parfois des comportements étranges, comme l'insertion de texte en chinois dans des générations en français.

C'est un excellent cas d'étude sur les compromis entre performance, coût et sécurité dans le développement d'IA. Ça illustre parfaitement les enjeux actuels du secteur.