DeepSeek, un modèle de langage open source, puissant et abordable.

[Marco]

DeepSeek est une entreprise chinoise fondée en 2023 qui a mis au point un modèle de langage avancé, DeepSeek-V3. Ce modèle se distingue par ses performances remarquables et un coût d’entraînement extrêmement faible en comparaison avec les géants américains comme OpenAI. Avec 671 milliards de paramètres, DeepSeek-V3 n’aurait coûté que 5,58 millions de dollars à développer, là où la version 3 de ChatGPT, avec seulement 175 milliards de paramètres, aurait nécessité plusieurs centaines de millions de dollars.
Le fait que DeepSeek soit open source et donc accessible à tous constitue un atout majeur pour la croissance et l’amélioration continue de ce modèle. Couplé à son coût d’entraînement drastiquement réduit, il pourrait devenir une alternative sérieuse aux technologies propriétaires déjà sur le marché, comme ChatGPT ou Llama. Ce qui rend DeepSeek encore plus intéressant, c’est l’optimisation de son architecture, qui permet de réduire non seulement les coûts, mais aussi le temps d’entraînement et la consommation énergétique, sans compromettre les performances.

Selon plusieurs benchmarks, DeepSeek-V3 surpasse même certains modèles de référence dans des domaines variés, prouvant qu’une IA peut être à la fois puissante et économique.

sources: https://www.frandroid.com/culture-tech/i...ec-chatgpt
https://www.actuia.com/actualite/deepsee...de-pointe/

[Juanito]

DeepSeek-V3 semble marquer un vrai tournant dans le domaine de l'IA, et montre qu'il est possible de développer des modèles performants avec des coûts d'entraînement réduits. Le fait que DeepSeek soit open source est particulièrement encourageant, car cela ouvre la voie à une collaboration mondiale pour améliorer et diversifier son utilisation. Reste maintenant à voir comment il se comportera sur le long terme et face à des défis complexes!

[EnZ0]

Intéressant de voir l'enthousiasme autour de DeepSeek-V3, mais il faut effectivement nuancer certains points qui n'ont pas été évoqués. Je ne l'ai pas encore testé (bientôt, mais je manque de temps), aussi, je livre mon avis sans tests mais d'après ma réflexion et les premiers retours de tests que j'ai pu lire ou entendre de part et d'autre.

Côté performances, le modèle montre des résultats impressionnants sur les benchmarks, rivalisant même avec GPT-4 et Claude 3.5 Sonnet sur certaines tâches, particulièrement en mathématiques et en raisonnement. Cependant, des tests plus poussés révèlent des faiblesses, notamment sur l'évaluation "Misguided Attention" où il n'obtient que 22% de réussite, suggérant des problèmes de surapprentissage.

Un point crucial concerne la confidentialité des données, qui inquiète plus d'un, comme beaucoup de produit Chinois. Il est impossible de s'inscrire avec une adresse email professionnelle et d'obtenir des factures, ce qui pose question pour une utilisation en entreprise. De plus, en Chine, une identification avec le nom réel est requise pour l'utilisation...

L'architecture MoE (Mixture of Experts) permet certes des coûts réduits, mais elle peut aussi impacter les performances sur certaines tâches spécifiques. Le modèle présente parfois des comportements étranges, comme l'insertion de texte en chinois dans des générations en français.

C'est un excellent cas d'étude sur les compromis entre performance, coût et sécurité dans le développement d'IA. Ça illustre parfaitement les enjeux actuels du secteur.