Kiseon[GCP] Argo로 Workflow 만들기사실 Production 레벨로 가지 않으면, ML개발에 Workflow를 사용할 일은 많지 않다. 대부분 샘플데이터로 전처리 한후 그 데이터를 공유해서 각자 모델을 개발하게 되는데, Production Level에서는 계속 새로운 데이터가…Dec 31, 2019Dec 31, 2019
Kiseon[GCP] 터미널에서 kubectl 사용하기GKE에서 Kubernetes 클러스터를 생성했다면, Cloud Shell에서 바로 Kubectl을 이용해 Kubernetes 환경에 접근할 수 있다. 하지만, Cloud Shell 환경은 설치된 라이브러리나 소프트웨어가 향후에 사라질 수 있기…Dec 31, 2019Dec 31, 2019
Kiseon[GCP] Apache Beam 사용하기대량의 데이터를 전처리하는 건 많은 시간이 소요된다. Cloud 상에서 가용한 자원들을 동적으로 할당해서 좀 더 빠르게 해줄 수 있으면 좋은데, 병렬처리라는 게 또 공부하려면 만만찮아서인지 GCP에는 Cloud Dataflow라는 서비스가 이를…Dec 3, 20191Dec 3, 20191
Kiseon[AWS] DataSync로 데이터 이전하기흔하지는 않지만 프로젝트가 통합되거나 다른 Region으로 옮긴다고 했을 때, 데이터를 같이 이동하지 않으면 Outbound로 인해 네트워크 요금이 지속 발생할 수 있다. AWS에서는 이런 경우를 위해 DataSync라는 안정성 있는 이전 서비스를…Dec 2, 2019Dec 2, 2019
Kiseon[GCP] Flask로 TF 2.0 MNIST 모델 서빙하기우선 TensorFlow 2.0을 설치하자. 머신에 직접 설치하거나 도커를 다운받아 사용, 혹은 구글 colab을 활용( https://www.tensorflow.org/install)하면 되는데, TensorFlow에서 권장하는대로 머신에…Nov 14, 2019Nov 14, 2019
Kiseon[GCP] Putty Setup 하기Google Cloud Platform의 Cloud Shell을 사용하다 보면, 특정 Package를 설치할 때 잘 되지 않는 경우가 있는데, Debian 리눅스를 기본 OS로 사용하기 때문인 것으로 보인다. 아마 다른 설치 방법도 있을텐데…Oct 8, 2019Oct 8, 2019