diff --git a/README.md b/README.md index ac6b2c9..c0baa5b 100644 --- a/README.md +++ b/README.md @@ -1,2 +1,25 @@ # mouse_control -一种基于神经网络来模拟人手移动鼠标的方法 +一种基于神经网络来模拟人手移动鼠标的方法 +## 简介 +本项目源于该死的轨迹检测。经过初步验证,本项目是有效的。 + +上图为真人轨迹移动得到的散点图。这里我们用10个点来拟合轨迹。 +可以看到,人手的移动其实和pid,以及其他的曲线是有一定区别的。 +因此,我们选用神经网络来拟合真人鼠标移动轨迹。 +该神经网络其实很简单,只有三个全连接层。 +输入为目标距离当前位置的dx,dy。 +输出为10个点用来模拟真人的轨迹。 +## 收集鼠标轨迹 +首先运行collect_data.py。运行后,我们会看到这样一个界面。 + +我们需要点击红球,就会开始记录鼠标轨迹,点击蓝球,结束记录。这样我们就成功收集到一条鼠标轨迹的数据。 +重复这样,每收集100次程序会退出。我们一共要收集约300条数据。 +这样,我们就收集好了数据。 +## 划分数据集(可选) +我们将mouse_data.csv用vscode打开,选择一些数据剪切到mouse_data_test.csv中。 +## 训练模型 +运行train.py,程序就会开始训练模型。最终我们能看到控制台打印出的一条test数据。是一个dx,dy拟合出的十个点。 +## 验证 +我们将刚刚得到的十个点放到show.py中,观察散点图,发现其轨迹类似于本人鼠标移动轨迹。 +## todo +使用onnxruntime在c++上进行推理