New FAMILUG

The PyMiers

Saturday 7 November 2020

Kiến trúc Docker, phỏng vấn, best practice

Bài này không giới thiệu về docker, "lúc nào rảnh" chắc sẽ có bài đó.

Bài này nói về kiến trúc của docker, các công nghệ liên quan phía dưới mà docker sử dụng - thường có tác dụng lớn khi 1) chém gió lên mặt 2) phỏng vấn.

Ngoài ra có kèm theo một số best-practice khi build docker image để có size nhỏ/build nhanh hơn.

Photo by Andy Li on Unsplash

Kiến trúc của Docker

Docker là một phần mềm viết bằng Golang, theo kiến trúc client-server.

Nghe hình thức thì vậy, mô hình này nham nhảm khắp nơi khi dùng các database: mysql sẽ có mysqld và mysql client (cli, GUI) ... redis có redis-server và redis-cli...

Docker có dockerd và docker-cli.

Friday 6 November 2020

bash, shopt và =, **

bash là UNIX shell được dùng nhiều nhất hành tinh này. bash có ở khắp mọi hệ điều hành Linux based, hay kể cả OSX/MacOS cho tới tháng 10 năm 2019 (khi Apple quyết định thay zsh làm shell mặc định trên MacOS)

Sự thay đổi này của Apple khiến cho bạn nếu vẫn "chày cối" dùng bash sẽ gặp phải một số bất lợi nhất định (tất nhiên là khắc phục được). Trên MacOS, phiên bản của bash có sẵn rất cũ, vẫn là bash 3.X. Trong khi Ubuntu 18.04 đã dùng 4.4, còn Ubuntu 20.04 thì dùng hẳn bash 5.0. 

 

Photo by Clement Chai on Unsplash

Chuyện này hoàn toàn không phải vấn đề nếu người dùng macOS chủ động cài phiên bản bash mới nhất bằng brew. Cho đến một ngày có người hỏi: câu lệnh ls nào trên bash để liệt kê ra tất cả file .pyc trong tất cả các thư mục con hiện tại?
Việc này hoàn toàn làm được với `find . -name '*.pyc' -type f`, nhưng với ls thì??? 

Sunday 1 November 2020

Không cần jq nếu đã có python/ruby

jq trở thành công cụ "làm tất cả" với các sysadmin. Trong khi jq được dùng để "query JSON" - truy cập dữ liệu trong 1 đoạn JSON thì nó cũng được dùng để kiểm tra syntax của 1 đoạn JSON.

JQ là gì

$ whatis jq

jq (1)               - Command-line JSON processor
 

Photo by Thanh Soledas on Unsplash
 

Nhưng nếu máy đã có python/ruby, hay các ngôn ngữ trang bị sẵn stdlib JSON, sẽ không cần phải cài gì thêm cả:

File bad.json ví dụ, thử dùng mắt thường tìm xem nó sai ở đâu:

{
  "name": "@exercism/typescript",
  "description": "Exercism exercises in Typescript.",
  "private": true,
  "repository": {
    "type": "git",
    "url": "https://github.com/exercism/typescript"
  },
  "devDependencies": {
  },
}

Saturday 31 October 2020

grep không hỗ trợ \d và 3 mode regex trong grep

grep là công cụ thiết yếu của sysadmin, tác dụng cơ bản là tìm một mẫu string trong 1 file text. 

Cái tên grep bắt nguồn từ câu lệnh g/re/p của chương trình ed

> Its name comes from the ed command g/re/p (globally search for a regular expression and print matching lines)

Biết thêm một chút regex sẽ tăng thêm sức mạnh. Ví dụ in ra shell của các user trên máy:

$ grep -o '/bin/.*sh' /etc/passwd

/bin/bash
/bin/sh

Photo by Percy Pham on Unsplash

Một "pattern" phổ biến là tìm số, nếu đã từng lập trình dùng regex, thì \d không còn lạ gì để tìm số - code Python ngay trên CLI:

$ echo '123ab45' | python3 -c '
> import re, sys
> print(re.findall("\d+", sys.stdin.read()))'
['123', '45']

Nhưng thật bất ngờ, grep trên Ubuntu 18.04 không hỗ trợ pattern này:

$ echo '123ab45' | grep -o '\d+'

# không in ra gì 

Monday 25 May 2020

[CLI/Python] find prune path - cắt giảm bài toán tìm kiếm 10 lần

`find` là câu lệnh dùng để tìm file dựa theo tên, vốn không kém tiếng "khó dùng", nhưng vẫn được dùng, do nó được cài sẵn ở mọi hệ điều hành Unixoid (Unix/Linux).


find - huyền thoại

Một lệnh find đơn giản để tìm các file .py trong thư mục /usr

$ time -p find /usr/ -name '*.py' | wc -l
11013
real 0,39
user 0,15
sys 0,24

11013 file này gồm file từ nhiều thư mục khác nhau.

$ time -p find /usr/ -name '*.py' | cut -f-3 -d '/' | sort | uniq -c | sort -nr | head
   9286 /usr/lib
   1644 /usr/share
     78 /usr/src
      5 /usr/local
real 0,39
user 0,17
sys 0,24

Tuesday 14 April 2020

Kỹ năng phỏng vấn

Phỏng vấn là hai từ mang yếu tố quyết định, nhưng ít khi được nhắc đến. Nó thường bị xem như sự may mắn, hay do "giỏi", hay quan hệ tốt ... Bài viết này giải đáp các thắc mắc thầm kín khi đi phỏng vấn xin việc, đặc biệt dành cho những người kiếm công việc lập trình đầu tiên.

Phỏng vấn là gì?

Khi muốn đi làm, một lập trình viên sẽ liên hệ với một công ty để "xin việc" nhằm có một công việc, được trả lương tại công ty đó, ở đây ví dụ là PAMA corp.
PAMA corp sẽ cử một hoặc một nhóm người thực hiện việc "kiểm tra đầu vào". Sau quá trình kiểm tra, nếu phía PAMA corp đồng ý, phía lập trình viên đồng ý, sẽ ký một hợp đồng lao động, rồi lập trình viên đi làm, và được trả lương.


Nộp "đơn xin việc" thế nào?

Thông thường, tức không phải các trường hợp ngoại lệ như bị "săn" đón đi làm, hay có quan hệ được "giới thiệu" vào làm, thì:
  • lập trình viên sẽ lên các trang tuyển dụng/tìm việc (như PyJobs)/trang chủ của công ty cụ thể để tìm công việc mong muốn,
  • hoặc các "head hunter" chuyên đi săn ứng viên hay HR (human resource - nhân sự) của các công ty chủ động liên hệ, mời (or gạ) nộp hồ sơ phỏng vấn. Chú ý đây là một nghề hái ra tiền, nên đừng shock nếu được mời chào đon đả.

Quy trình phỏng vấn ra sao?

Thông thường sẽ có:

Wednesday 8 April 2020

Luyện Linux command line với wargames Overthewire.org bandit

Các CLI (chương trình giao diện dòng lệnh) trên *NIX-OS vốn rất nhiều, mỗi câu lệnh cũng hàng đống các option khác nhau, khi tìm hiểu khó mà kiếm được "bài tập" để làm, luyện, hầu hết biết được đều do "kinh nghiệm từng trải" có được khi cần sử dụng mà ra.

Trang web overthewire.org là 1 trang "wargames" để luyện chơi CaptureTheFlag (CTF) - một trò chơi ưa thích/phổ biến của giới hacker.

Image by Gerd Altmann from Pixabay
Trong các wargame trang này cung cấp, có mục bandit, vốn là phần dễ nhất, rất thích hợp làm bài tập luyện command line.
Mỗi bài đều có hướng dẫn cần dùng câu lệnh gì (option cụ thể phải tự đọc manpage hay search mà tìm hiểu).


Qua mỗi bài sẽ làm nhiệm vụ tìm ra password dể SSH vào bài sau.

Yêu cầu duy nhất là biết SSH vào server. Ví dụ với bài 'bandit0', gõ:

Saturday 4 April 2020

disown, reptyr, nohup, tmux, screen - chạy job ở background

Khi chạy các câu lệnh command line, đặc biệt khi đang SSH vào server, ta thường nảy ra nhu cầu: cho câu lệnh tiếp tục chạy nhưng không cần phải kết nối vào server, hay tắt terminal đi.

Cách làm truyền thống là dùng lệnh `nohup` (no hang up) khi gọi câu lệnh. Câu lệnh sẽ tiếp tục chạy dù tắt terminal hay thoát khỏi server. Cú pháp:
nohup câu_lệnh_như_bình_thường

Vấn đề ở chỗ: dùng nohup yêu cầu ta phải tính trước chuyện này, phải gõ nohup trước câu lệnh cần chạy, nếu nhỡ quên nohup mà đang chạy dở chừng thì làm sao?

disown là giải pháp
tmux/screen là giải pháp gián tiếp.

disown là gì?

Wednesday 5 February 2020

Grep, SilverSearcher (ag), RipGrep (rg) và file ẩn

Trên *NIX, một file được gọi là file ẩn (hidden file) khi tên của nó bắt đầu với dấu chấm (.).

Các file phổ biến thường gặp là các file để cấu hình các phần mềm, ví dụ: .vimrc .bashrc .gitignore .gitlabci,yml ...

Image by OpenClipart-Vectors from Pixabay

Khi muốn tìm một từ khóa bất kỳ trong các file ở thư mục hiện tại, ta có thể dùng grep:

grep -Rin noi_dung .  # dấu chấm đại diện cho thư mục hiện tại

$ mkdir testdir; echo pika > testdir/.filepassword
$ cd testdir/
$ grep -Rin pika .
./.filepassword:1:pika

Một nhược điểm của grep so với các chương trình "hiện đại" hơn như SilverSearcher (ag) hay RipGrep (rg) là

Monday 3 February 2020

Cài Unbound làm caching DNS resolver trên máy ảo OpenBSD 6.6

 DNS Server (recursive name server)


Người dùng máy tính đặc biệt ở Việt Nam đã từng biết đổi DNS để vào Facebook những ngày mạng còn "chậm".

Những con số như 8.8.8.8 (Google DNS), 208.67.222.222 (OpenDNS) hay 1.1.1.1 (Cloudflare DNS) không còn lạ gì.
Những địa chỉ IP này có chạy 1 DNS server làm nhiệm vụ trả lời IP tương ứng của các domain được hỏi.

Ví dụ facebook.com có (những) IP là gì?
$ nslookup facebook.com 8.8.8.8
Server:        8.8.8.8
Address:    8.8.8.8#53

Non-authoritative answer:
Name:    facebook.com
Address: 31.13.95.36
Name:    facebook.com
Address: 2a03:2880:f102:83:face:b00c:0:25de

authoritative name server vs recursive resolver

Chương trình chạy ở 8.8.8.8 sẽ tìm địa chỉ IP tương ứng với domain facebook.com như bạn đã yêu cầu. Đây là một dịch vụ "trung gian", nó sẽ đi hỏi các "root nameservers" (.com, .org...) để tìm câu trả lời, bản thân nó không có câu trả lời.
Việc đi hỏi chỗ khác để lấy câu trả lời gọi là "recursive query", bởi chỗ khác cũng có thể không có câu trả lời và phải đi hỏi tiếp cấp cao hơn. Chương trình thực hiện tính năng tìm kiếm "hộ" này gọi là Recursive resolver. Khác với chương trình có câu trả lời TRỰC TIẾP cho 1 domain cụ thể - gọi là authoritative name server.

Ưu điểm của các dịch vụ này

- Tính sẵn sàng cao, ít khi bị sập (đều do những "ông lớn" internet vận hành)
- Có thể nhanh hơn, ví dụ với Google DNS 8.8.8.8, khi được truy cập, một server của Google nằm gần bạn nhất sẽ trả lời. (Phía dưới số 8.8.8.8 không phải là 1 máy ở đâu đó, mà là rất nhiều máy, và nó chọn cái nào gần bạn nhất)

NHƯỢC ĐIỂM

- Privacy (sự riêng tư): mọi câu hỏi của bạn, dịch vụ DNS đều biết. Tức là bạn vào website nào, thì Google (cho 8.8.8.8), hay Cloudflare (1.1.1.1), ... đều biết cả. Nghe có vẻ không to tát, nhưng hãy nghĩ xem, chỉ cần biết các trang web bạn vào ngày hôm nay, cũng phần LỚN biết bạn đang làm gì (youtube, facebook, hay các trang web top truy cập của Việt Nam)

Unbound

Sunday 2 February 2020

Vagrant - vẫn là công cụ quản lý máy ảo tuyệt vời ở năm 2020

- What???
- Yeah!!!

Vagrant không phải mới, không phải lạ, ra đời cỡ 10 năm trước hay hơn.

Vagrant là gì


/ˈveɪɡr(ə)nt/ A person without a settled home or regular work who wanders from place to place and lives by begging.


Vagrant là công cụ để quản lý (tạo/bật/tắt) máy ảo, chạy ngon lành trên các hệ điều hành phổ biến.
Vagrant là công cụ không thể thiếu của developer thời trước khi có Docker.

Bạn có thể tạo một máy ảo nhanh nhất trong bao nhiêu phút?

- Tải file ISO , vd Ubuntu
- Cài Virtualbox, hay KVM hay VMWare
- Cài máy ảo, format ổ đĩa, next next next ..., tùy vào từng hệ điều hành sẽ phải thao tác khác nhau.

Hoặc đơn giản với vagrant:

- Cài KVM hay Virtualbox hay VMWare
- Chạy lệnh: vagrant init
- Sửa file Vagrantfile vừa được tạo, thay box "base" bằng box mong muốn, ví dụ  "generic/ubuntu1804" (tìm các "box" trên https://vagrantcloud.com/search)
- Chạy lệnh: vagrant up
- Vagrant sẽ tải "box" về máy trong lần đầu sử dụng box này (các lần sau vẫn dùng box generic/ubuntu1804 sẽ không cần tải lại ở các lần sau), sau đó máy sẽ bật lên trong vòng ~< 1 phút, không cần cài đặt
- SSH bằng lệnh: vagrant ssh

Các câu lệnh vagrant cần thiết

Tuesday 7 January 2020

Service Discovery với Consul - từ con tới sồ

### Consul là gì


https://www.consul.io/
Cách đọc: /ˈkänsəl/ /ˈkɑnsəl/ - không phải con sun

```
$ apt-cache search consul | grep ^consul
consul - tool for service discovery, monitoring and configuration
```
Consul là một phần mềm còn khá mới (bản 1.0 từ 2017
https://github.com/hashicorp/consul/tree/v1.0.0), được ra đời ban đầu như một
giải  pháp cho "Service Discovery", kèm KeyValue storage. Sau này phát triển
thêm nhiều tính năng khác như Service Mesh.




 

#### Service Discovery là gì

Friday 3 January 2020

Gỡ các phần mềm cài sẵn trên điện thoại SamSung Galaxy - với Ubuntu

Nếu lỡ có mua một máy điện thoại SamSung, bạn sẽ chịu một cảm giác cực kỳ khó chịu khi máy có cài "giúp sẵn" một đống phần mềm mà thậm chí không có lựa chọn để gỡ (uninstall) trên máy:
- Facebook: yup, không phải ai cùng muốn cài facebook trên điện thoại cả.
- MS Office
- MS LinkedIn
- SamSung Bixby 

thậm chí có cả Zalo hay Lazada mà mình chưa từng dám bấm vào, cũng không có option để gỡ đi.


Không có sẵn không có nghĩa là không thể, và ta lại phải thò tay vào chọc.

Trên Ubuntu 18.04, cài adb (Android Debug Bridge) - một phần mềm không thể thiếu của lập trình viên Android, và cài rất dễ dàng qua apt-get:

$ sudo apt-get install -y android-tools-adb android-tools-fastboot

Cài xong sẽ gõ được lệnh adb: