Yuanguo's Blog
0%

发表于 阅读次数: Valine:

多分类 (7.2)

$$
\begin{aligned}
& \boldsymbol{w}_k = \boldsymbol{\Sigma}^{-1} \boldsymbol{\mu}_k, \
& b_k = -\frac{1}{2} \boldsymbol{\mu}_k^\top \boldsymbol{\Sigma}^{-1} \boldsymbol{\mu}_k + \ln \pi_k.
\end{aligned}
$$

发表于 阅读次数: Valine:

名词

  • HCA： 在Infiniband/RoCE规范中，将RDMA网卡称为HCA，全称为Host Channel Adapter。HCA有它的GUID(Global Unique Identifier)；
  • Port：物理端口；一个HCA可以有多个Port；每个Port也有它各自的GUID (单Port的HCA，HCA和Port的GUID可能相同)；GUID是烧录在硬件上的；
  • GUID：GUID 是一个 64 位的全球唯一标识符，用于标识一个 Node（节点，即HCA） 或一个 Port（端口）。由设备制造商在生产时烧录到硬件中。
  • LID： 由子网管理器（Subnet Manager, SM），通常是网络交换机上的一个软件（如 NVIDIA 的 opensm）自动分配的， 16 位的短整数，用于在一个子网内唯一地标识一个端口。RoCEv2 运行在 IP/UDP 网络之上。在纯粹的 RoCEv2 部署中，通信主要使用 IP 地址和 MAC 地址，LID 的角色被大大削弱了。然而，管理层面仍然严重依赖 LID。例如，你用来查询网卡状态的工具（如 ibstat, perfquery）仍然使用 LID 来识别设备，因为底层的 InfiniBand 管理架构被保留了。
  • GID： GID 在 RoCEv2 的环境中至关重要；GID 是 RoCEv2 的寻址基石。因为 RoCEv2 将 RDMA 数据包封装在 UDP/IPv6 数据包中（尽管底层网络可以是 IPv4），所以它需要一个兼容 IP 的地址来路由流量，这就是 GID。一个 GID 通常看起来就像一个 IPv6 地址。事实上，它正是由两部分组成：1. 64位子网前缀,通常来自于连接 RoCE 交换机的路由器所宣告的IPv6子网前缀；2. 64位接口标识符，通常由端口的GUID派生而来。根据IEEE EUI-64标准，会将Port GUID的中间插入0xfffe来生成。一个RDMA端口可以有多个GID，每个GID对应一个不同的IP地址或网络路径。这些GID被分配在一个索引从0开始的表中。例如：
    gid0：通常是链路本地地址（fe80::/10 开头），用于子网内的通信；gid1：通常是全局单播地址（2001:db8::/64 等开头），用于路由通信。（看起来就和一个Ethernet端口可以配置多个IP地址一样）。可以使用ibv_devinfo -v查看：
    1
    2
    3
    4
    GID[  0]:   fe80:0000:0000:0000:526b:4bff:fe0f:aeec, RoCE v1
    GID[  1]:   fe80::526b:4bff:fe0f:aeec, RoCE v2
    GID[  2]:   0000:0000:0000:0000:0000:ffff:700d:6b9a, RoCE v1
    GID[  3]:   ::ffff:112.13.107.154, RoCE v2

工具

rdma-core.x86_64
/usr/bin/ibdev2netdev
/usr/sbin/rdma-ndd

iproute.x86_64
/usr/sbin/rdma

libibverbs-utils.x86_64
/usr/bin/ibv_asyncwatch
/usr/bin/ibv_devices
/usr/bin/ibv_devinfo
/usr/bin/ibv_rc_pingpong
/usr/bin/ibv_srq_pingpong
/usr/bin/ibv_uc_pingpong
/usr/bin/ibv_ud_pingpong
/usr/bin/ibv_xsrq_pingpong
/usr/bin/rxe_cfg

infiniband-diags.x86_64
/usr/sbin/check_lft_balance.pl
/usr/sbin/dump_fts
/usr/sbin/dump_lfts.sh
/usr/sbin/dump_mfts.sh
/usr/sbin/ibaddr
/usr/sbin/ibcacheedit
/usr/sbin/ibccconfig
/usr/sbin/ibccquery
/usr/sbin/ibfindnodesusing.pl
/usr/sbin/ibhosts
/usr/sbin/ibidsverify.pl
/usr/sbin/iblinkinfo
/usr/sbin/ibnetdiscover
/usr/sbin/ibnodes
/usr/sbin/ibping
/usr/sbin/ibportstate
/usr/sbin/ibqueryerrors
/usr/sbin/ibroute
/usr/sbin/ibrouters
/usr/sbin/ibstat
/usr/sbin/ibstatus
/usr/sbin/ibswitches
/usr/sbin/ibsysstat
/usr/sbin/ibtracert
/usr/sbin/perfquery
/usr/sbin/saquery
/usr/sbin/sminfo
/usr/sbin/smpdump
/usr/sbin/smpquery
/usr/sbin/vendstat

counters

ll /sys/class/infiniband/mlx5_bond_0/ports/1/counters/
excessive_buffer_overrun_errors
link_downed
link_error_recovery
local_link_integrity_errors
multicast_rcv_packets
multicast_xmit_packets
port_rcv_constraint_errors
port_rcv_data
port_rcv_errors
port_rcv_packets
port_rcv_remote_physical_errors
port_rcv_switch_relay_errors
port_xmit_constraint_errors
port_xmit_data
port_xmit_discards
port_xmit_packets
port_xmit_wait
symbol_error
unicast_rcv_packets
unicast_xmit_packets
VL15_dropped

发表于 更新于 所属分类 阅读次数: Valine:

机器学习主要分为监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）、强化学习（Reinforcement Learning）以及半监督学习（Semi-supervised Learning）等范式。

监督学习主要包括两大类基础任务：回归（Regression）和分类（Classification）。回归用于预测连续值（输出为实数），分类则用于预测离散类别标签（输出为有限集合中的某个类别）。此外，结构化学习（Structured Learning）是一类更复杂的监督学习任务，其输出是具有内部结构的对象（如序列、树等），可视为分类或回归的高维扩展。

在分类任务中，模型可分为生成式模型（Generative Models）和判别式模型（Discriminative Models）。生成式模型通过对联合分布 P(x,y) 建模来实现分类，典型方法包括高斯判别分析（GDA）及其两种常见形式——假设协方差矩阵共享的线性判别分析（LDA）和允许协方差矩阵独立的二次判别分析（QDA），以及朴素贝叶斯等。判别式模型则直接建模条件分布 P(y∣x)，代表方法有逻辑回归（Logistic Regression）、支持向量机（SVM）等。

本文将简要介绍逻辑回归 Logistic Regression。

阅读全文 »

发表于 更新于 所属分类 阅读次数: Valine:

机器学习主要分为监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）、强化学习（Reinforcement Learning）以及半监督学习（Semi-supervised Learning）等范式。

监督学习主要包括两大类基础任务：回归（Regression）和分类（Classification）。回归用于预测连续值（输出为实数），分类则用于预测离散类别标签（输出为有限集合中的某个类别）。此外，结构化学习（Structured Learning）是一类更复杂的监督学习任务，其输出是具有内部结构的对象（如序列、树等），可视为分类或回归的高维扩展。

在分类任务中，模型可分为生成式模型（Generative Models）和判别式模型（Discriminative Models）。生成式模型通过对联合分布 P(x,y) 建模来实现分类，典型方法包括高斯判别分析（GDA）及其两种常见形式——假设协方差矩阵共享的线性判别分析（LDA）和允许协方差矩阵独立的二次判别分析（QDA），以及朴素贝叶斯等。判别式模型则直接建模条件分布 P(y∣x)，代表方法有逻辑回归（Logistic Regression）、支持向量机（SVM）等。

本文将简要介绍高斯判别分析（GDA）的基本思想与形式。

阅读全文 »

发表于 更新于 所属分类 阅读次数: Valine:

机器学习主要分为监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）、强化学习（Reinforcement Learning）以及半监督学习（Semi-supervised Learning）等范式。

监督学习主要包括两大类基础任务：回归（Regression）和分类（Classification）。回归用于预测连续值（输出为实数），分类则用于预测离散类别标签（输出为有限集合中的某个类别）。此外，结构化学习（Structured Learning）是一类更复杂的监督学习任务，其输出是具有内部结构的对象（如序列、树等），可视为分类或回归的高维扩展。

在分类任务中，模型可分为生成式模型（Generative Models）和判别式模型（Discriminative Models）。生成式模型通过对联合分布 P(x,y) 建模来实现分类，典型方法包括高斯判别分析（GDA）及其两种常见形式——假设协方差矩阵共享的线性判别分析（LDA）和允许协方差矩阵独立的二次判别分析（QDA），以及朴素贝叶斯等。判别式模型则直接建模条件分布 P(y∣x)，代表方法有逻辑回归（Logistic Regression）、支持向量机（SVM）等。

本文介绍回归认为的基础。

阅读全文 »

发表于 更新于 所属分类 阅读次数: Valine:

本文旨在说明agent如何工作（各个组件LLM, Orchestrator/dify, tool等都做了什么），其中有一些设计上的不合理，例如多轮简单的请求其实可以合并、让LLM做汇总计算容易出错，暂忽略。

阅读全文 »

发表于 更新于 所属分类 阅读次数: Valine:

初识Persistent Memory，记录相关概念，编程模型，及一些初步测试。

阅读全文 »