전체 글

개요오늘도 그렇듯 python이랑 gdal을 쓰면서 일을 하고 있었습니다.제가 구현하려는 기능 중에 '생성된 geotiff 파일의 extent가 좌표계의 유효 범위를 넘어가면 geotiff를 유효 범위에 맞춰 자르기' 가 있었는데요,평소와 같이 아~ GeoTransform을 이용해서 계산하면 되겠지? 하고 안일하게 생각하다가 생각과 다른 결과물을 얻었습니다.왜일까요?오늘 이렇게 쉬워보이는 주제를 들고 왔는데 무심코 쓰다 보면 저처럼 당황하실 수 있습니다.오늘 다룰 주제는 ApplyGeoTransform입니다.개념gdal에서 다루는 GeoTransform의 개념은 다음과 같습니다. gdal geotransform 문서여기를 보면 이렇게 나옵니다.GT(0) x-coordinate of the upper-le..

오늘의 우당탕탕은 FastAPI를 활용해서 데이터 전처리 서버를 구현하는 일이다.여태 계속 jupyter의 도움을 빌리다가 데이터 전처리 자동화 하고 싶어서fastapi로 자동화를 돕는 api 서버를 만들고 있다.큰 숲과 작은 나무를 동시에 보면서 설계대로 조립 중.발단fastapi에서 모듈 간 공통으로 쓰이는 전역변수는 어떻게 관리해야 하는지 고민.env 말고 다른 방법으로 관리할 수는 없는 걸까? => config.py를 어떻게 지속가능한 방법으로 사용할 수 있을까?다시 돌아봐야 할 내용api 구현 시 다른 서버에서 데이터 받아서 '뭔가 변경점이 생긴다면' POST를 생각하자 -> GET이랑 자꾸 헷갈림api에서 라우터와 미들웨어의 차이는?api 서버 설계 시 라우터, 모듈, 데이터 모델 간의 유기성..

해당 카테고리에는 조각글로 그날 그날 작게나마 알게 된 이야기들을 적을 예정입니다.개인 노션에 적는 방법이 있겠지만 기록 채널을 하나로 통일하고 싶어서 새로운 카테고리를 열었습니다.오늘의 주제 : Webpack으로 코드 번들링 시, css가 문제다!문제 상황과 배경배경여태 webpack이 번들링팩임을 잠시 망각하고 webpack에서 제공하는 webpack-dev-server를 사용해서 프론트엔드 프로그램을 개발하고 있었음Python으로 이루어진 코드를 불러와서 쓰고 싶어서 FastAPI를 사용하기로 결정node.js에서 express.js를 쓰고 Python에서는 uvicorn.py를 써서 서버 구성을 할 예정원래 npm, webpack.config.js와 package.json에 의존하던 빈약한 구조를..

개요이 포스팅의 원문이 되는 글은 사실 3년 전에 쓰여졌습니다. 당시에는 원래 쓰던 언어도 바꾸고(C++ -> Python) 일하는 환경도 바꾸고 다루는 데이터도 바뀌는 등 큰 변화를 겪고 있었어요. 근 1년 간은 Raster를 집중적으로 다뤘습니다만 원래는 Vector를 중점적으로 다뤘습니다. 그 때의 추억도 소환할 겸, 복기도 하고, 다시 공부하는 느낌으로 포스팅을 쓰게 되었습니다.오늘 포스팅은 좀 어려운 내용들을 다룹니다. 여러분들은 포스팅을 보면서 아래의 표정을 짓게 될 겁니다.네, 이해합니다. 석사 과정 당시에 공부한 내용들이 이 포스팅을 통해 빛을 발하는군요.(+) 2024.08.05 기준 원문을 기반으로 작성한 글입니다. 추후 python 코드로 좀 더 쉽게 이해할 수 있게 예시를 덧붙이겠습..

GIS 엔지니어로 수많은 좌표계를 다루지만, 보통은 Mercator projection이 기반인 좌표계를 주로 다룹니다.그런데 말입니다,어느날 혜성과도 같이 이 GEOS projection이라는 녀석이 절 찾아왔습니다.악몽의 시작이었죠.1년은 시달린 것 같습니다.얘는 이전에 썼던 글인 GeoTransform과 GeoReference에서georeference를 처리하는 방법에 추가로 필요한 요소가 있습니다.그리고 얼마 전에 제가 드디어 방법을 찾았습니다.오늘 글의 숨은 주제는 정답이 없는 문제를 푸는 과정이기도 합니다.작은 실마리 찾기다른 사례를 보면서 역엔지니어링하기메뉴얼이 부족한 경우 배경 지식을 활용해서 값들을 계산해서 구하기역엔지니어링한 경우와 내 해결방법을 교차 검증하기개요포스팅의 목적GEOS p..

GIS 데이터를 다루다 보면 이 두 단어는 상당히 많이 보실 겁니다.특히 제일 머리 아플 때는 이미지 좌표계와 공간 좌표계 간 원점 위치의 차이일 겁니다. 오늘은 이 헷갈리는 점을 짚고 넘어가려 합니다.개요포스팅의 목적gdal의 geotransform의 개념과 구성 요소를 알아보자gdal에서는 어던 좌표계 체계를 채택하고 있는지 알아보자이미지를 georeference하려면 어떻게 해야할까? 이미지 좌표계와 공간 좌표계 간의 차이에 주의하자.개념이미지 좌표계? 공간 좌표계?이미지 좌표계위 그림은 우리가 알고리즘 문제를 풀 때 많이 접하는 배열의 형태입니다. 가로(width)를 column, 세로(height)를 row로 대응합니다.원점은 좌상단부터 시작합니다.이미지 좌표계에서도 위와 같은 형태로 배열을 취..

python으로 공간 데이터 시각화를 하는 방법은 두 가지가 있습니다.matplotlibplotly과학자들은 matplotlib으로 그래프를 그리는 것이 익숙합니다.공간 데이터 시각화에도 matplotlib 기반으로 많이 접근합니다.plotly는 지도를 그려놓고 그 위에서 공간 데이터를 시각화합니다.오늘 할 이야기는 matplotlib을 기반으로 공간 데이터를 시각화하는 얘기, 그 중에서도 Basemap을 사용하는 방법에 대해 알아보고자 합니다.왜 Basemap이냐?matplotlib기반 공간 정보 시각화 방법에는 cartopy와 basemap이 있습니다.이때까지는 cartopy를 많이 썼습니다.제가 matplotlib 기반으로 그래프는 많이 그려봤지만 cartopy는 그 명성은 익히 들었지만 거의 사용..

2022년도 회고를 보아하니까 그 때랑 지금의 나랑 또 다르다는 생각이 들어서 신기했다. 그리고 작년 회고는 2021년도와 2022년도를 같이 묶어서 했기 때문에 시간이 이렇게 흘렀고 내 움직임은 대략적으로 이렇더라~ 라서 이번에는 키워드를 바탕으로 적어보겠다. 2023년도의 키워드 탈출과 이사, 처음 가는 길, 시각화, 커뮤니티 탈출과 이사 원래 이 키워드에는 '이사'만 있었다. 그런데 '탈출'을 아니 적을 수 없겠더라. 먼저 조직 개편과 팀 이동 2번의 이사가 있었다. 조직 개편을 하면서 탈출을 했고 팀 이동을 통해 이사를 했다. 탈출 탈출에 대해서 말하기 조심스럽지만 키워드로 넣은 이유가 있다. 2022년도에서 '좋은 엔지니어가 되기 위해서 고려해야 하는 점&#3..

오늘의 교재와 키워드 교재 운영체제(공룡책) : 1,2장 가상 면접 사례로 배우는 대규모 시스템 설계 기초 : 1장 사용자 수에 따른 규모 확장성키워드캐시, 메모리, 커널, NoSQL, 로드밸런서, 데이터베이스 다중화, 메세지큐, 고가용성 스터디 내용 운영체제 레지스터와 캐시와 램의 차이? 레지스터 : flip-flop(1bit)의 집합. 데이터와 명령어 저장. 최대 처리 용량은 CPU의 처리 용량을 따라간다. 캐시 : CPU 내부에 존재하는 저장공간. 명령어를 저장하는 공간과 데이터를 저장하는 공간 둘로 구분. 또는 레벨별로 구분(L1,L2...) 램 : CPU 외부에 존재하는 메모리, 버퍼의 역할(느린 저장장치를 보조), 여기까지가 주기억장치이고 휘발성. 커널의 정의 시스템의 모든 것을 제어한다. 특..

목적 배경 공간 정보 데이터는 맞는데, 그렇다고 이를 바로 지도에 표출하려니 데이터가 다른 분야에서 다루는 데이터라서 공간 정보 데이터의 형식에 맞춰줘야 할때 기상 데이터들은 공간에서 일어나는 현상을 다룬 데이터라 위치 정보들이 있지만, 우리가 생각하는 EPSG:4326 혹은 EPSG:3857 같은 GIS 계에서 흔히 쓰는 좌표계를 쓰지 않는다 lambert conformal coordinate 각 픽셀마다 좌표 정보가 있다지만, 다음의 두 가지 형식으로 저장된다 픽셀 마다 좌표 정보가 있다. 각 픽셀들은 lcc 좌표계 내에서 등간격으로 존재하고 표기는 위경도로 표기된다 상대적인 범위 내에 격자 형식으로 좌표를 기술할 수도 있다. 아래 그림은 기상청에서 쓰는 격자 좌표계를 기술한 문서의 일부 기상 데이터..