2026-01-18 12:26:43

Lorsque les modèles génèrent des sorties plausibles mais factuellement incorrectes, cela soulève une question fondamentale : les pénalités RLHF peuvent-elles réellement supplanter les structures interprétatives essentielles que nous essayons de préserver ? La véritable énigme ici pourrait être de savoir si nous poursuivons les mauvais objectifs d'optimisation. Voici donc l'angle pratique : les fonctions de perte qui maintiennent l'intégrité de la structure sont-elles réellement réalisables dans le paradigme d'entraînement actuel, ou rencontrons-nous des contraintes strictes que nous n'avons pas encore pleinement reconnues ? Il est utile de réfléchir à la mécanique avant de poursuivre une montée en charge.

Voir l'original

Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.

7 J'aime

Récompense
7
4
Reposter
Partager

Commentaire

0/400

TokenAlchemist

· Il y a 13h

non, ce n'est que le problème classique "nous avons construit le système de travers" déguisé en mathématiques sophistiquées. RLHF lutte fondamentalement contre ce que le modèle a réellement appris—comme essayer d'extraire de l'alpha d'une surface d'arbitrage cassée. Le vrai vecteur d'inefficacité ici est de faire semblant que les fonctions de perte peuvent compenser la paresse architecturale. nous optimisons les mauvais transitions d'état fr

Voir l'originalRépondre0

VitalikFanboy42

· Il y a 13h

Honnêtement, la méthode RLHF ne peut pas résoudre le problème fondamental. Peut-être que dès le départ, nous avons commencé à optimiser les mauvaises choses.

Voir l'originalRépondre0

CompoundPersonality

· Il y a 13h

rlhf, cette méthode, c'est vraiment comme appuyer sur la calebasse pour faire remonter la gourde. On voulait résoudre le problème des hallucinations, mais on a fini par supprimer certaines capacités du modèle, ce qui donne une sensation de confusion entre le but et la manière.

Voir l'originalRépondre0

MerkleTreeHugger

· Il y a 13h

rlhf, cette approche ressemble vraiment à la réparation d'une maison pleine de failles, de plus en plus compliquée à chaque fois. Le problème ne réside pas dans la fonction de pénalité, mais dans le fait que nous avons inversé quelque chose.

Voir l'originalRépondre0