AntV数据可视化
Background最近做数据可视化的时候用到AntV的S2, G2和L7这三个框架,基于的是typescript+react,这里是一些使用过程中的情况记录。虽然官方文档看起来比较简陋,但是讲的还是非常详细,用起来效果也是很好的。
L7官网在这里,开源大规模地理空间数据可视分析引擎,所以出来的图应该都带着地图背景的。地图的引擎可以有多种选择,比如:
高德地图(得注册开发者账号),详细见这里
MapBox(需要MapBox Access Tokens),这里有个官方示例
其他暂时没研究
Summary
给出个.html示例,直接单文件打开就能运行
1234567891011121314151617181920212223242526272829303132333435363738394041424344454647<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>L7</titl ...
ubuntu22.04配置VPN
MotionProtongji采用MotionPro作为校内VPN系统:https://nic.tongji.edu.cn/9718/list.htm
具体地,只需要跟着官网的步骤走即可,这里记录一些可能遇到的问题。
截止2023-12-18,没有支持到Ubuntu22.04的MotionPro,只有在https://client.arraynetworks.com.cn:8080/zh/troubleshooting上有一个支持到Ubuntu20.04版本,实测是可以用的
安装好之后,双击打开发现没有反应,由于没有输出信息,我们并不知道是什么原因导致了闪退
这时候我们打开命令行,输入软件名MotionPro,但是报错,如下
1234567$ MotionProThis application failed to start because it could not find or load the Qt platform plugin "wayland".Available platform plugins are: eglfs, linuxfb, min ...
一次前端笔试记录
一次前端笔试前端笔试,题型:10个单选20分,5个多选20分,2个编程60分。(忘了挺多题了)
选择(单选and多选)
输出是什么(原型链和super)
1234567891011121314151617class cls { constructor() { this.num1 = 117; }}class son extends cls { constructor() { // 必须在this之前调用 super(); this.num2 = 935; super.num3 = 130; }}let obj = new son();console.log(obj.num1); // 117console.log(obj.num2); // 935console.log(obj.num3); // 130
以下来自:https://developer.mozilla.org/zh-CN/docs/Web/JavaScript/Reference/Operators ...
常见操作记录
linux收集一些linux的命令
菜鸟教程:https://www.runoob.com/linux/linux-command-manual.html
命令行打开文件管理器1nautilus .
创建用户并设置ssh密钥连接
在root下操作,su后输入密码
使用useradd命令添加,-m使得自动创建用户主目录
1useradd -m YOUR_USERNAME
设置密码
1passwd YOUR_USERNAME
关闭密码登陆
修改配置文件
1vi /etc/ssh/sshd_config
新增一行
1PasswordAuthentication no
重启服务
1systemctl restart sshd.service
配置ssh登陆
本机生成密钥对,将生成的公钥添加到服务器的~/.ssh/authorized_keys,没有该文件则直接创建,若有多个公钥则换行处理。
查看磁盘空间
查看目录大小,超过指定层数的目录后不予显示
1du -h --max-depth 1
查看磁盘总大小和已用大小
1df -h
查看文件夹 ...
论文代码复现(Event-VPR)
Background记录一下我第一次复现论文的过程中,遇到的各种问题和整体的步骤。这篇文章主要作为我自己的记录,并温习关于深度学习相关的知识点,一年后回看这些其实是个科研人的基本能力了,但是看到这些东西笔者还是挺怀念的,作为一个纯科研小白入门的第一篇从零复现的论文。
应该会涉及到如下知识点:
一部分论文的解读(一丢丢)
dataset和dataloader怎么实现
model怎么实现,数据如何在forward之间传递的
loss函数有哪些,如何计算损失
如何使用optim优化参数
如何使用tensorboard记录训练过程
关于event-camera和visual-place-recognition(vpr)。这是复现的论文,主要用的MVSEC数据集。
我并没有完全按照原论文的做法,比如并没有使用EST Voxel Grid Representation层,而是直接用了个函数(即event-stream转voxel-grid的过程是写死的,而非可学习的),计算triplet-loss的时候也只用了最简单的方法。如果有人不幸看到这篇文章,并恰好也在做相关研究准备复现,请谨慎甄别。
...
人工智能浅学
前言寒假在家无聊,发现自己对人工智能这块儿实在是没有太多的接触,因此找了几天集中入了个门,这里记录一些自己的快速入门路线,主要涉及神经网络这块儿的内容。
一些很好的参考资料
花书,动手学深度学习,链接https://zh-v2.d2l.ai,里面可以下载到代码和ipynb的文件,这里面有个d2l的python包,我这里一直导入错误。然后我直接把d2l源码拿出来放到目录里导入,因为这玩意儿一共也就四个文件,分别对应pytorch、tensorflow等包,我用的pytorch,所以直接把d2l中关于pytorch的一个包拿出来即可使用。
花书想啃完还是比较困难的,适合日以继日坚持地看,像我这种想速成一下基础的,还是放弃了。感觉比起一个人单独看,也可以看些教学视频一起跟进,效果会比较好,比如李沐这种,b站也都有链接。
吴恩达老师的深度学习视频,b站有很多,我看的是这一版https://www.bilibili.com/video/BV16r4y1Y7jv,配套的笔记在https://github.com/fengdu78/deeplearning_ai_books上,本来是有作业题的,但 ...
express+ts搭建nodejs简单后端
前言上学期数据仓库捣鼓了一下python的flask后端,对nodejs的后端也产生了兴趣,打算研究一下nodejs的后端。
前置条件默认情况下,安装好node和yarn即可,我们使用yarn进行包管理,若没有安装yarn,可以使用npm安装:
1$ npm install yarn -g
查看yarn版本:
12$ yarn -v1.22.19
初始化node使用yarn初始化:
123$ mkdir your-project-name$ cd your-project-name$ yarn init -y
然后你的目录里就多了一个package.json文件,它在描述了该项目所需要的包。
初始化git创建.gitignore文件,添加node_modules和dist等不需要版本管理的文件or目录,然后运行命令:
1git init
安装一些包
安装express,这是一个nodejs下的后端框架
1$ yarn add express
安装typescript,将框架语言转换为ts
1$ yarn add -D typescript @types/node @typ ...
前端测试框架浅试
前端测试框架浅试最近在对前端做Unit Test,用到一些测试框架,这里做一些简单的记录。
主要做的事情是针对一个React-hook和一些组件进行了测试,使用的是vitest,并且把原来的一些jest的测试迁移到了vitest上,并且删掉了jest的依赖。
vitest & jest
jest: https://jestjs.io/zh-Hans/
vitest: https://cn.vitest.dev/
vitest比较轻量级,基于vite驱动,如果使用了vite,vitest是个很好的选择。
vitest的速度比jest快很多,但是生态比起jest略逊一筹。
vitest和jest的api都是兼容的,vitest的文档目前还比较简单,如果对某些api有疑问,可以参考jest。
describe和it
12345678import { describe, expect, it } from 'vitest';describe('describe1', () => { describ ...
Ubuntu使用Docker安装Mysql
一个自由的MySQL用来平时测试各种东西还是很方便的,好几次在parallels desktop上的Ubuntu装都失败了,这次用别的虚拟机试了一下就成了,感觉很可能是虚拟机镜像的问题。
一个新的Ubuntu虚拟机,先安装docker,参考https://developer.aliyun.com/article/1323800,https://docs.docker.com/engine/install/ubuntu/#install-using-the-repository
12345678910111213141516171819202122# apt预备sudo apt updatesudo apt upgrade# 卸载旧的sudo apt-get remove docker docker-engine docker.io containerd runc# 证书sudo apt-get install ca-certificates curl gnupg lsb-releasecurl -fsSL http://mirrors.aliyun.com/docker-ce/li ...
数据仓库数据库部署
最近有一门课需要使用到python的flask框架,并对mysql关系型数据库、neo4j图数据库和hadoop分布式数据库进行查询,在这里作一些记录和总结。
mysql
安装mysql
自从大二用了docker在服务器上安装软件后,变得一发不可收拾(docker实在是太舒服了)。我们的mysql部署也采用docker,mysql的镜像十分之多,找个star量高的pull一下,然后安装到服务器上即可,十分简单。
导入数据
比较麻烦的是将数据导入到mysql,我们使用JetBrain的datagrip进行远程连接,然后导入数据。在上一篇blog描述了爬虫+数据处理的过程,最后得到的是csv文件格式的数据。因此这里也是将csv导入到mysql之中,具体的操作可以参考我项目的组长Baokker,导入成功之后,就可以直接导出.sql脚本进行数据迁移啦。
mysql安全
我们显然不能把数据都放在root账号,mysql支持账号和ip绑定,只允许该账号在指定的某个ip登录。虽然这样很安全,但是这样并不方便我们开发的时候进行debug。由于我们开发初期设置了123456这样的简单密码,导致被 ...