步骤越多，幻觉越多 - 幻觉逐步积累，甚至并不比朴素搜索RAG优 #32

Activity

1. choyakawa commented on Jul 31, 2024

   

   choyakawa

   on Jul 31, 2024

   Author

   More actions

   perplexity - 非Pro - 5个来源

   

   perplexity - Pro - 8个来源就认为sufficient

   
2. choyakawa commented on Jul 31, 2024

   

   choyakawa

   on Jul 31, 2024

   Author

   More actions

   ChatGPT：
   
3. choyakawa commented on Jul 31, 2024

   

   choyakawa

   on Jul 31, 2024

   Author

   More actions

   

   然后我看这个评估。该不会是，我的这个问题样例不是预期的吧...那么这种直接查询式的问题都没法处理，为什么可以在更复杂的，比如对比、分析的任务上更好呢？

   如果可以，希望能分享一下一些好的案例。

   👍React with 👍1Reacted by Jarred Block
4. Harold-lkk commented on Aug 1, 2024

   

   Harold-lkk

   on Aug 1, 2024

   Last edited by Harold-lkk

   Member

   More actions

   感谢关注和发现的问题，同时提出了几个很棒的建议！👍
   这里我先简单的说明一下我们工作的一些出发点：

   • 现有的比如 perplexity - 非Pro 或 ChatGPT Web 的做法比较简单，一般是对原始问题中的某些实体或者直接对原始问题进行网页搜索，选取 Top 几个的网页作为上下文，然后直接给出回复，因此我们这边针对的更多的就是不是依赖一次搜索就能拿到结果的，或者希望从各个网页信息里拿到更丰富的结果的情况，比如一些多实体的问题或者一些有依赖性的问题，我们能够对问题做一些细粒度拆分，然后能够根据返回情况，动态做一个规划。
   • 透明度高， 现在大家都是商业作品都是闭源的，具体的实现方式不可知，只能通过一些猜测，我们希望能够把所有的流程透明清晰的展示出来，这样才知道整个系统的可用性，可信度

   对于第一点这种动态灵活获取大量的网页确实带来一些问题

   • 对模型幻觉要求会更高，确实存在幻觉累计效应，如果之前做的不够好，后续模型没有感知到的情况下，确实会存在更多幻觉
   • 对模型总结要求会更高，因为信息量也变得很大，在给出大量的信息情况下，怎么才能给出正确的答案
   • 推理能力也有一些要求，怎么做到合理的规划，怎么根据当前获取的信息，继续规划后续的动作
   • 信息的不对称，多个智能体之间怎么尽可能获取自己想要的信息，避免因信息的缺失导致任务的失败
   • 上下文爆炸，因为网页太多，很快就能到达上下文的上限
   • 工程上的优化，因为涉及多个智能体，大量的网页怎么做到速度的优化

   我们针对这些提供了一些初步的解决方式：

   • 多智能体系统的设计，分成两个大部分规划+Searcher, 职能单一
   • 信息流通，有依赖的节点，子节点是可以知道父节点信息的
   • 工程加速，我们同层的节点实际是并行执行的，只是在前端渲染上看着是有序执行

   针对提出的问题
   1.存在重复或相似步骤被反复执行：这个对于同层节点因为是并行执行，本身是想获取更多维度的信息，保证回复的丰富性，Search 节点之间不存在其他同级节点感知
   2. 缺少验证环节：这个是一个很好的点，没有实现的原因是因为现在资源消耗也比较大，每个节点都做验证，资源消耗应该会翻倍
   3. 节点没有权重的概念：这个提出了一个很好的点， perplexity - 非Pro 或 ChatGPT Web在搜索时实际就依赖搜索引擎对几个网页做了排序，我们现在Search 节点信息怎么做这个排序比较难以实现，这个欢迎社区和大家的创新性想法

   👍React with 👍24Reacted by loveSnowBest, datalee, Billy, RangiLyu, Yu Jun, harold, Yu Liu, Laurie, Li Zhang, zephan and 14 more

   🎉React with 🎉1Reacted by zrqohbug
5. Harold-lkk

   self-assigned this

   on Aug 1, 2024
6. mading0817 commented on Aug 3, 2024

   

   mading0817

   on Aug 3, 2024

   Last edited by mading0817

   More actions

   Hi,

   产品的思路很好, 我会长期关注, 建议创建一个X的账号发布更新动态. 我认为基于您的产品思路, 随着大模型能力的推进, 你们会有更好的效果出现. 但我刚才测了一下, 目前来看现阶段无法使用.

   我搜索的问题是一个特定领域的专业问题:
   UE5 C++ 我的一个碰撞检测事件会在client的OnCapsuleOverlap被调用多次, 原因是每次调用时, OverlappedComponent, OtherActor, OtherComp的内存地址都是一致的, 但OtherBodyIndex会有所不同. 比如火球的Capsule撞上enemy的mesh就会出现这种情况. 解释一下这个原因, 以及如何解决这个碰撞检测事件只被出发一次? search in English , answer in Chinese

   您返回的搜索结果对比pplx-pro和Felo-free有如下问题:

   1. 没有提取出来问题的核心要素. 忽略了OtherBodyIndex导致的潜在原因.
   2. 好像没有按照prompt搜索大量英文文献.
      这就导致后面工程优化再好, 最后的结果都不准确. 有些问题搜索英文资料非常重要, 因为中文的不全, 或质量偏低.

   👍React with 👍1Reacted by liukuikun
7. Harold-lkk commented on Aug 5, 2024

   

   Harold-lkk

   on Aug 5, 2024

   Member

   More actions

   Hi,

   产品的思路很好, 我会长期关注, 建议创建一个X的账号发布更新动态. 我认为基于您的产品思路, 随着大模型能力的推进, 你们会有更好的效果出现. 但我刚才测了一下, 目前来看现阶段无法使用.

   我搜索的问题是一个特定领域的专业问题: UE5 C++ 我的一个碰撞检测事件会在client的OnCapsuleOverlap被调用多次, 原因是每次调用时, OverlappedComponent, OtherActor, OtherComp的内存地址都是一致的, 但OtherBodyIndex会有所不同. 比如火球的Capsule撞上enemy的mesh就会出现这种情况. 解释一下这个原因, 以及如何解决这个碰撞检测事件只被出发一次? search in English , answer in Chinese

   您返回的搜索结果对比pplx-pro和Felo-free有如下问题:

   1. 没有提取出来问题的核心要素. 忽略了OtherBodyIndex导致的潜在原因.
   2. 好像没有按照prompt搜索大量英文文献.
      这就导致后面工程优化再好, 最后的结果都不准确. 有些问题搜索英文资料非常重要, 因为中文的不全, 或质量偏低.

   十分感谢关注！！

   1. 没有提取出来问题的核心要素. 这个是一个十分十分困难，但是大家都在攻克的事情，就是怎么像人一样拆解问题，可能会受限于模型的知识体量以及推理能力，知识体量保证能见到一些问题虽然不知道怎么做，但是了解一些基本信息，推理能力就是从基本信息到最终回复的路径。两者都十分关键。
   2. MindSearch 现在搜索的地区是中国，因此搜索英文是受限制的，以及 Demo 中用的prompt 也是中文的因此在英文表现上会很受限制，如果想要英文更好的体验，欢迎自己本地搭建，有任何问题欢迎提出！
8. InternLM

   locked and limited conversation to collaborators on Aug 5, 2024
9. Harold-lkk

   converted this issue into a discussion #86 on Aug 5, 2024