Click http://coffee.excitinglab.com/ For your happy coffee time…

In the your git project repository, command below

After you do, you can take the file “archive.tar.gz”. It might have source code only for “master” branch.

출판사 편집인으로 있는 친구의 짧은 물음으로 생각해보게 된 텍스트 파일을 간단하게 합치는 방법을 공유합니다.

이슈

출판을 위해 연재한 소설이 각 회차별로 약 500여개의 텍스트 파일로 되어 있어 편집과 검수가 쉽도록 한 파일로 합치고자함.

해결방법

  1. 특정 폴더에 합치고자 하는 텍스트 파일들을 모아 놓는다.
  2. CMD를 열어 해당 폴더에서 type *.txt > merged.txt와 같이 입력한다.
  3. merged.txt를 열어 보면 합치기 끝!

Data model, Operation, Schema Design, Rowkey Design, Co-processor

Overview

  • HBase는 NoSQL의 한 종류이다.
  • HBase는 분산 Database 이다.
  • HBase는 사실 “Data Base” 보다는 “Data Store”이다. (RDBMS의 Feature인 culumns, secondary indexies, triggers, and advanced query languages 등 많은 부분이 부족하기 때문)
  • HBase는 선형적이고 모듈화된 scaling 위해 많은 기능을 제공한다.
  • Strongly consistent reads/writes: HBase는 “eventually consistent” DataStore가 아니다. 이는 매우 빠른 counter aggregation이 가능하게 한다.
  • Aut …

여러분은 신나는 일을 하며 사시나요?

한 번 뿐인 인생을 살면서 하고 싶은 것보다는 해야하는 것에 매달려 살게되는 것 같습니다. 나만의 일보다는 먹고 살기 위해 돈을 벌기 위해 남이 원하는 일을 하며 살다보면, 스트레스도 받고 무료한 삶을 살게 됩니다.

나만의 공부를 하든 나만의 취미를 만들든 우리는 우리를 위한 우리에 의한 우리 만의 신나는 일이 필요합니다.

“신나는 아이디어”를 공유하고 각자 혹은 함께 “신나는 티끌프로젝트”를 만들고 “신나는 글재료”를 가지고 이렇게 글도 써가며 조금씩 자신의 인생에 신나는 일을 쌓아가는 것을 목표로 “신나는연구소”를 만들어 가고 있습니다.

신나는연구소

“신나는연구소”는 이런 분들이 모입니다.

  1. 자신의 인생이 신나는 일로 가득하길 바라는 분
  2. 새로운 아이디어를 이야기하고 만들어 가는 것 …
Comparison of Batch processing and Realtime Processing — Murry Jeong

그림을 보시면서 간단하게 Batch processing과 Realtime processing의 차이를 비교해 보겠습니다. 조금 더 이해를 돋기 위해 트레일러와 컨베이어 벨트로 나타내 보았는데 개념이 쉽게 이해가 가시나요?

Realtime은 한번에 처리하는 데이터의 크기가 작아지는 대신 그로인해 Query의 속도가 상대적으로 빠르고 계속적으로 최신의 데이터를 포함하여 바로바로 결과를 얻을 수 있는 장점이 있습니다. 그래서 Realtime은 선 처리, 후 저장을 하는 것이고 Batch는 선 저장, 후 처리하는 것이죠.

Mechanism 그림을 보시면, Realtime에서는 수집된 Data를 저장하기 전에 Query가 가능한 상태로 바로 처리하고, 그 후에 저장하게 됩니다.

배치는 한번에 큰 데이터를 돌려 결과를 얻기 쉽지만 Query할 때 처리를 시작하기 때문에 결과를 얻기까지의 시간이 지연될 수 있습니다.

물론, 엄밀히 말해 Realtime도 Micro-batch라고 볼 수 있습니다. 단순히 단위를 작게 나누어 미리 자주 처리하는 것 뿐인 거죠.

Reference
http://www.dbguide.net/knowledge.db?cmd=specialist_view&boardUid=180895&boardConfigUid=108&boardStep=0&categoryUid=

Firm-mod-kit(FMK)란?

오픈소스로 공개된 소프트웨어로써 Firmware Modification Kit이 정식 명칭이며, 이 Kit은 Linux기반의 펌웨어 이미지를 다시 빌드하거나 추출하는 유틸리티들과 스크립트들을 모아 놓은 소프트웨어입니다.

이 소프트웨어는 Google Code에서 호스팅되고 있으며, https://code.google.com/archive/p/firmware-mod-kit/ 로 접속하면 자세한 내용과 소스 등 을 확인할 수 있습니다.

Firm-mod-kit 설치하기

Code snippet: https://gist.github.com/comchangs/d2b06a80f29c3ca167bd1f6c92b3dd5b

  1. 실행에 필요한 패키지들인 build-essential, zlib1g-dev, liblzma-dev, python-magic를 apt-get을 이용해 설치합니다.
  2. wget을 통헤 firm-mod-kit을 다운받습니다.
  3. tar를 이용해 압축을 해제합니다.
  4. fmk_099라는 디렉토리에 압축이 풀리게 되므로 그 디렉토리에서 실행하면 됩니다.
  1. It seems like wrong path of IDA directory so, you need to download the correct version of idapython(https://giathub.com/idapython) for your IDA. It will resolve this issue.

    IDA 디렉토리 내에 있는 Python 라이브러리가 맞지 않는 상태로 https://giathub.com/idapython 에서 IDA의 버전과 플랫폼에 맞추어 다운 받은 후 IDA 디렉토리 안에 덮어쓰기 하여 쓰면 에러가 없어진다.
  2. Run and install the file “python-installer” in IDA directory

    IDA 디렉토리 내에 있는 python2.7.6.exe를 실행하여 설치한다.

Tip. If you are using Python environment that you installed, I guess it makes some issues with the environment variable of Python. So I recommend to remove installed Python on your computer.

별도로 Python을 설치할 경우 다른 에러가 추가로 발생하므로 설치 하지 않을 것을 권장 (만약 설치 해야하는 경우라면 환경변수 문제로 추정되어 확인 필요.)

Introduction

JMeter can be used to simulate a heavy load on a server, group of servers, network or object to test its strength or to analyze overall performance under different load types. We can use it to make a graphical analysis of performance or to test server/script/object behavior under heavy concurrent load.

What can we do with JMeter?

Ability to load and performance/stress test many different server/protocol types:

  • Web — HTTP, HTTPS (Java, NodeJS, PHP, ASP.NET, …)
  • SOAP / REST Webservices
  • FTP
  • Database via JDBC
  • LDAP
  • Message-oriented middleware (MOM) via JMS
  • Mail — SMTP(S), POP3(S) and IMAP(S)
  • Native commands or…

실패 그러나 또 다른 시작을 기약하며…

Medium에 올리는 첫 번째 글로 2015년부터 약 1년간 페이스북 그룹을 기반으로 데이터 분석 분야에서 Big Data, Visualization, Machine Learning 이라는 큰 세가지 주제를 가지고, 관련한 다양한 분양의 분들(Marketer, Front-end Developer, Data analyst, Data Engineer, Researcher, Professor 등)과 다양한 백그라운드를 가지신 분들과 함께 토론하며 새로운 정보를 공유해나가고자 “데이터분석 토론모임 비빔밥 — Bivimbob”을 만들어 활동했던 경험을 적어보려 합니다.

“비빔밥” - https …

Murry Jeong (정문창)

#틈만나면여행 #창업가를꿈꾸는개발자 #컴퓨터공학의탈을쓴산업공학도 #데이터를품은개발자

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store