2026-01-12 08:28:13

Les benchmarks consistent en réalité à transformer des valeurs en code.

Toutes nos attentes et nos peurs concernant l'IA ont été insérées dans ces outils capables de donner une note — qu'est-ce que le progrès, ce qui doit être craint, ce qui doit être optimisé, et il faut finir par faire semblant que ces choses peuvent être quantifiées avec précision. Le problème, c'est que certaines choses ne peuvent tout simplement pas l'être. Derrière les indicateurs sélectionnés, il y a souvent les hypothèses du concepteur lui-même. Ce que vous choisissez comme critère, c'est comme si vous définissiez à quoi l'IA doit ressembler. En revanche, ce qui n'est pas choisi pourrait être ce qui est le plus important.

Voir l'original

Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.

13 J'aime

Récompense
13
10
Reposter
Partager

Commentaire

0/400

Hash_Bandit

· Il y a 10h

Les benchmarks ne sont que les croyances de quelqu'un transformées en équations, pour être honnête. Je regarde ça depuis les débuts et c'est littéralement le même manuel—choisir des métriques qui semblent objectives, faire semblant qu'elles capturent tout ce qui compte, puis faire semblant d'être surpris lorsque les angles morts vous rattrapent. Les choses non quantifiées gagnent toujours à la fin, toujours.

Voir l'originalRépondre0

Rekt_Recovery

· Il y a 16h

nah this hits different tho... ça me rappelle quand je me suis fait liquider en poursuivant une métrique qui semblait bonne sur le papier. il s'avère que optimiser pour le mauvais signal est la façon dont tu exploses. 🚨

Voir l'originalRépondre0

SignatureLiquidator

· 01-12 10:06

Les indicateurs, c'est comme un leurre, on voit ce qu'on choisit de voir, ce qui est invisible est le plus effrayant

Voir l'originalRépondre0

EternalMiner

· 01-12 08:58

Ce n'est pas faux, les indicateurs, c'est du pouvoir.

Voir l'originalRépondre0

PanicSeller

· 01-12 08:54

La référence, c'est un jeu de pouvoir et de discours de pouvoir. Celui qui fixe les indicateurs gagne.

Voir l'originalRépondre0

GateUser-7b078580

· 01-12 08:52

Les données montrent que ce système de notation n'est pas raisonnable en soi, mais qui a décidé des indicateurs sélectionnés ? Les mineurs en mangent trop, tout comme pour les tests de référence.

Voir l'originalRépondre0

ChainBrain

· 01-12 08:45

Putain, c'est pour ça que ces classements sont tous à chier

Voir l'originalRépondre0

MetaMisery

· 01-12 08:35

C'est la vérité, celui qui fixe les indicateurs détient le pouvoir de parole.

Voir l'originalRépondre0

TokenTherapist

· 01-12 08:30

嗯…Le benchmark consiste à coder la vision de qui, c’est là le vrai problème, non ? --- Vraiment, ce qui n’a pas été inclus dans les indicateurs, ce sont ceux qui font vraiment peur. --- Donc, en gros, les concepteurs jouent à un jeu de pouvoir avec des chiffres. --- La quantification en soi est une forme de filtrage, c’est une affirmation trop extrême haha. --- Une fois que les indicateurs sont fixés, ils deviennent une prophétie auto-réalisatrice. --- À chaque fois que je regarde un benchmark, je me demande : qui a dit que ces choses devaient être mesurées ? --- Le plus absurde, c’est de faire semblant que la quantification précise peut résoudre les problèmes de valeurs.

Voir l'originalRépondre0

TopBuyerBottomSeller