Gxyrious's Blog

本学期选了分布式系统这门课，作业是搭建一个MapReduce的框架来实现WordCount这个简单Demo，因此需要进行Hadoop环境的配置；这个在我2年前上数据仓库的时候小组里也配置过，但当时不是我负责，这次重新把流程走通一遍；当时是使用Spark+Hive+Hadoop三件套用来对数据仓库进行SQL的查询，参考当时负责人的博客。 构建镜像123# docker安装不多赘述# 拉取ubuntudocker pull ubuntu:latest 去官网下载jdk1.8，即jdk-8u281-linux-x64.tar.gz，并在目录同级构建一个Dockerfile文件，内容如下 123456FROM ubuntu:latestMAINTAINER duanmuADD jdk-8u281-linux-x64.tar.gz /usr/local/ENV JAVA_HOME /usr/local/jdk1.8.0_281ENV CLASSPATH $JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarENV PATH $PATH:$JAVA_HOME ...

这个操作在大约2年前做商务智能的时候成功用过，但最近想要一个自由的Mysql用，好几次在parallels desktop上的Ubuntu装都失败了，这次用别的虚拟机试了一下就成了，感觉很可能是虚拟机镜像的问题。 一个新的Ubuntu虚拟机，先安装docker，参考https://developer.aliyun.com/article/1323800 123456789101112131415161718# apt预备sudo apt updatesudo apt upgrade# 卸载旧的sudo apt-get remove docker docker-engine docker.io containerd runc# 证书sudo apt-get install ca-certificates curl gnupg lsb-releasecurl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -# 换源sudo add-apt-repository "de ...

当macos空间不足，我们往往想把各种东西放在外接硬盘中，例如虚拟机、游戏等等，如果在系统中安装了docker，其镜像和容器往往也会占据较大的空间，因此将docker放置在外接硬盘中是一件非常nice的事情。采用的核心思想是找到文件系统中存储数据的目录，然后使用软链接的方式将其存放在外接硬盘之中。 首先需要安装docker，这里直接使用brew install docker，如果是安装docker desktop的话会包含“运行时”，但是此时是没有的，直接运行docker pull xxx会报错 12$ docker pull redisCannot connect to the Docker daemon at unix:///Users/xxx/.orbstack/run/docker.sock. Is the docker daemon running? 这里不使用docker desktop for mac，它的资源开销过大，我们使用OrbStack作为macos的运行环境，按照官方文档所述安装即可：brew install orbstack 直接打开OrbStack后 ...

写在前头感谢同济春雨社团，让我有机会前往江西省南昌市遂川县XX乡的一个小学，开展为期两周的支教夏令营，这是我第一次参加支教活动。非常感谢队伍里的每一个人，以及遇到的每个孩子，你们让这个暑假充满了意义。 流水账的记录8月3日下午到达XX小学，参观了学校整理了行李，这天是周六；周日策划了开营仪式、排了做饭表、课表、作息时间等等，也是这天晚上我生病了，吐了5 6回。我们将孩子们分成2个班级，分别是四年级和五年级，在开营仪式结束后分别召开了班会课，在班会课上进行了“谁是卧底”的破冰游戏，让同学们和老师互相认识。接着就是正式上课，第一节课我们敖老师上了趣味数学我陪课，不知道孩子们听得咋样，我听的津津有味hhh，不用做题的数学还有很有趣的。 这天最后一节课是我的羽毛球课，我的设想是先讲解羽毛球的规则，再教学基本的发球和高远球，然后让他们打打比赛；但是拍子数量非常少，球也没几个，并且孩子们的羽毛球基础实在有点太差，按规则根本打不起来，我反思是我的设想太过理想化了，其实上得不是很顺利。后面直接让他们自由活动打羽毛球了，看的出来他们非常喜欢自由活动，第二天好几个孩子问我什么时候再上体育课，和我小学 ...

Abstract我们的行程安排参考了xhs上某一篇北疆大环线的地图： 针对该行程大纲，我们进行灵活的调整，最后计划表如下： 天数 安排 -2,-1 Z40次动车，39小时 0 乌鲁木齐休整，闲逛 1 乌鲁木齐 => 天山天池 => 阿勒泰 2 阿勒泰 => 禾木 3 禾木 => 喀纳斯 4 喀纳斯 => 乌尔禾 5 乌尔禾 => 魔鬼城 => 赛里木湖 6 赛里木湖 => 特克斯 7 特克斯 => 琼库什台 8 琼库什台 => 蜜蜂小镇 9 蜜蜂小镇 => 百里画廊 => 独库公路 => 乌鲁木齐 10 各回各家 Before Start 硬卧 第一次坐硬卧，Z40的硬卧还挺难抢；我睡中铺，底下有小孩买了硬座来睡大人的卧铺非常吵，我拿AirPods当耳塞的效果还不错。 租车 租了辆7座商务车（别克GL8），差点没放进6 ...

Abstract 6.17：上海浦东机场飞版纳嘎洒机场，取自驾车 6.18：版纳原始森林+曼听公园+总佛寺 6.19：版纳傣族园+中科院植物园 6.20：版纳飞丽江，逛丽江古城 6.21：在玉龙雪山看日照金山，云杉坪+蓝月谷 6.22：从丽江古镇前往去束河古镇 6.23：丽江自驾去昆明，看了海埂大坝和公园1903 西双版纳坐的春秋航空到版纳，飞到一半广播说会提前到（先给我们点好处），然后开始推销免税产品；结果晚了20多分钟，不过晚点的主要原因应该是下大雨，飞机在云层上方盘旋了很久。 一下航班空气明显潮湿不少，果不其然第一天晚上鼻子非常难受，好在睡了一觉基本就没啥了。我们租的车是送车上门的，所以直接在机场取，本来没买保险，在工作人员的推荐下还是买了个半保。我觉得短租可以买一下，比如2-3天，但是时间比较久的话（10天左右），不太有必要买。后续的情况就是在玉龙雪山停车的时候小撞了一下车头保险杠… 我们住在星光夜市附近，那边在修路…不过也不是太影响。 原始森林 前两个片区主要是表演，放飞的孔雀很出片，还有民族乐器表演和竹竿夹脚舞之类，我们没怎么去看。 坐观光车到终点后就是 ...

序有时候会写一些爬虫代码和脚本，手机端的抓包也越来越重要和有用。Charles可以给手机配置抓包，我之前试验过“羊了个羊”的抓包，这篇文章把整个过程重现一遍。 Charles安装 MacOS下：brew install charles 打开后这个有试用期30天，点击左上角Help有个Register的选项，通过这个网站生成对应的Registered Name和License Key，目前可用 证书配置 如图，点击安装证书 弹出来钥匙串访问，搜索Charles，右键显示简介，然后打开信任扩展栏，选择“始终信任” 回到Charles，钩上macOS proxy，也可以在proxy setting中选择enable on launch。 然后重启电脑，就可以抓到包了，不过这种貌似只能网页，微信qq的聊天信息抓不到，待研究 iOS端 首先应该是要电脑和手机在同一局域网，有三种可能 家庭的小局域网是可以的 学校这种局域网貌似不太行 手机开热点貌似也可以 接着在Charles的help中找到”Local IP Address“，如下 在手机端的wif ...

Background记录一下我第一次复现论文的过程中，遇到的各种问题和整体的步骤。这篇文章主要作为我自己的记录，并温习关于深度学习相关的知识点，一年后回看这些其实是个科研人的基本能力了，但是看到这些东西笔者还是挺怀念的，作为一个纯科研小白入门的第一篇从零复现的论文。 应该会涉及到如下知识点： 一部分论文的解读（一丢丢） dataset和dataloader怎么实现 model怎么实现，数据如何在forward之间传递的 loss函数有哪些，如何计算损失 如何使用optim优化参数 如何使用tensorboard记录训练过程 关于event-camera和visual-place-recognition(vpr)。这是复现的论文，主要用的MVSEC数据集。 我并没有完全按照原论文的做法，比如并没有使用EST Voxel Grid Representation层，而是直接用了个函数（即event-stream转voxel-grid的过程是写死的，而非可学习的），计算triplet-loss的时候也只用了最简单的方法。如果有人不幸看到这篇文章，并恰好也在做相关研究准备复现，请谨慎甄别。 ...

如标题所示，sqlserver的备份文件是由.mdf, .ndf和.ldf组成 MDF：主要数据文件，primary data file 主要数据文件包含数据库的启动信息，并指向数据库中的其他文件。用户数据和对象可存储在此文件中，也可以存储在次要数据文件中。每个数据库有一个主要数据文件。 NDF：次要数据文件，Secondary data files 次要数据文件是可选的，由用户定义并存储用户数据。通过将每个文件放在不同的磁盘驱动器上，次要文件可用于将数据分散到多个磁盘上。另外，如果数据库超过了单个 Windows 文件的最大大小，可以使用次要数据文件，这样数据库就能继续增长。 LDF：事务日志，Log data files 事务日志文件保存用于恢复数据库的日志信息。每个数据库必须至少有一个日志文件。 为了方便，下面使用mdf作为这三种文件的统称 在windows上想读取mdf文件非常简单，装个ssms，甚至sqlserver都直接帮你装好了，用系统用户登陆，直接右键数据库，添加就行。 但如果想在linux服务器上如此操作，则需要手动安装sqlserver然后导入。参考 ...

Background最近做数据可视化的时候用到AntV的S2, G2和L7这三个框架，基于的是typescript+react，这里是一些使用过程中的情况记录。虽然官方文档看起来比较简陋，但是讲的还是非常详细，用起来效果也是很好的。 L7官网在这里，开源大规模地理空间数据可视分析引擎，所以出来的图应该都带着地图背景的。地图的引擎可以有多种选择，比如： 高德地图（得注册开发者账号），详细见这里 MapBox（需要MapBox Access Tokens），这里有个官方示例 其他暂时没研究 Summary 给出个.html示例，直接单文件打开就能运行 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>L7</titl ...