1.Permutation Invariance and EquivariancePermutation Invariance
Permutation Invariance是排列不变性，是指函数的输出与输入元素的顺序无关。
举个例子，假设一个集合{1,2,3,4}，{4,3,2,1}和{1,3,2,4}也是集合A的一种形式，满足Permutation Invariance的函数对这些顺序不同的输入应该保持相同的输出。
f(\{1,2,3,4\}) = 1.0 f(\{4,3,2,1\}) = 1.0 f(\{1,3,2,4\}) = 1.0 Permutation EquivariancePermutation Equivariance是排列恒等性，是指映射函数不改变变换前后相应元素的对应关系。
函数的输出顺序与输入顺序保持一致，来源:https://zhuanlan.zhihu.com/p/368357090
2.DeepSetsDeepSets(https://proceedings.neurips.cc/paper/2017/file/f22e4747da1aa27e363d86d40ff442fe-Paper.pdf，古老的2017年论文)中讨论了机器学习中如何实现无序集合的排列不变性和等变性。
Invariant model假设F(x)是定义在无序集合x上的映射函数，如果F可以拆解成
\rho(\sum_{x \in X} \Phi(x))的形式，F就是满足排列不变的函数。
其中
\rho和
\Phi是神经网络结构，每一个实体
x_m都被转化成
\Phi(x_m)，然后将这些表达累加起来，送到
\rho网络，最后输出结果。
来源:https://www.cnblogs.com/wangchangshuo/p/13853491.html
DeepSets实现排列不变的关键是求和每个元素的表示然后应用到非线性变化
\rho中。
Equivariant modelf_{\Theta}: R^M -> R^M具备排列恒等的充要条件是：all the offdiagonal elements of
\Thetaare tied together and all the diagonal elements are equal as well。即:
\Theta=\lambda I + \gamma(11^T)其中，
\lambda,\gamma \in R，
1=[1,1,...]^T \in R^M，
I \in R^{MxM}是单位矩阵。
\Theta是Inputs Ix和Sum of Input Values的加权和。
来源:https://zhuanlan.zhihu.com/p/368357090
其它的变种:
f(x) = \sigma(\lambda Ix + \gamma \text{maxpool}(x)1) 参考材料1.https://www.cnblogs.com/wangchangshuo/p/13853491.html 2.https://zhuanlan.zhihu.com/p/368357090 3.https://blog.csdn.net/yuanmiyu6522/article/details/124723611
