hadoop之debug

字数统计: 260字   |   阅读时长: 1分钟

1、hadoop dfsadmin -safemode leave离开安全模式后，eclipse之就可以删除文件了；

2、hadoop文件夹下的文件权限不能随便改变，如sudo chmod -R a+rw hadoop/ 可能会导致datanode启动不了；

阅读全文 >>

展开全文 >>

hexo本地测试github博客

字数统计: 61字   |   阅读时长: 1分钟

执行如下命令

1
2
3
4
5
6
7
8
9
10
git clone https://github.com/damotiansheng/damotiansheng.github.io.source.git
cd damotiansheng.github.io.source/
cp _config.yml _config.yml.bak
npm install hexo --save
npm install hexo-server --save
hexo init .  //会覆盖_config.yml
cp _config.yml.bak _config.yml
hexo clean
hexo g
hexo server

验证

访问http://localhost:4000/查看效果即可

展开全文 >>

fastdfs之storage主流程

字数统计: 2.4k字   |   阅读时长: 14分钟

主要工作

相关文章
1）思想：与tracker主流程一样，采用主线程监听得到fd,dispatch子线程（默认4个工作线程）进行处理；
2）创建的线程数：会创建与tracker server数量相等的report thread,用于向tracker server发送相关信息，会创建4个工作线程用于处理任务，会创建一个调度线程，用于执行一些定期任务，如：log_sync_func，fdfs_binlog_sync_func等，还会创建一些IO读写线程，用于读写目录，默认一个目录有一个读线程和一个写线程，线程函数都为dio_thread_entrance函数；
3）主要处理过程：主线程往管道写入得到的连接的相关信息（其实是写入一个fast_task_info地址），工作线程会调用storage_recv_notify_read函数得到该地址，然后依据不同的状态进行不同的处理，具体见storage_recv_notify_read函数；

阅读全文 >>

展开全文 >>

fastdfs之超时事件的处理

字数统计: 1.1k字   |   阅读时长: 5分钟

思想

fastdfs有这样的一个需求，设置一个超时时间，时间到了，自动调用某个函数，其实现的思想有点像Timing wheel的思想，构造一个60（默认）个格子的循环队列，插入超时事件时，插入到(该事件超时时间-循环队列基准时间)%60的对应格子上去，每个格子是一个双向链表，接着采用epoll IO复用函数，1秒后，epoll超时返回，然后依据循环队列中的当前时间，遍历该循环队列，直到循环队列中的当前时间等于当前系统时间，遍历时，判断事件是否超时，将所有已经超时的事件提取出来（从循环队列中删除），构造成链表，接着遍历该链表，依次调用超时事件的回调函数，达到超时事件的处理；
Timing wheel1
Timing wheel2

阅读全文 >>

展开全文 >>

本站总访问量次 | 载入天数...载入时分秒...

tag:

    缺失模块。
    1、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    2、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: true
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

L, Huster、Postgraduate, Little By Little,Step By Step from October 13, 2016