Seyedsaman (Sam) Emami·2 days agoAn introduction to multiprocessing in PythonIn the following tutorial, I talk about Multiprocessing in Python. By using Multiprocessing, you can break the task between processors of the network. Moreover, the accumulated computational time will reduce. | kaggle | GitHub | Buy a coffee | Parallel computing One approach to parallelize in Python is to use the pooling…Python2 min read
Khawlajlassi·May 8Code ProfilingThe main aspect while writing any code, especially when deploying, is that it should consume the lowest computational time and cost. Recently, it was assigned to me to improve the performance of a piece of code. To do it I have discovered a new concept which is profiling. Today I…Python4 min read
Pranav Harsha·Apr 17Profiling — React ApplicationsIn modern day web applications where they are becoming more and more front end heavy, it is always important to measure the performance and keep track of it from the development phase itself. For React applications we have Profiler API which helps us in finding the performance of the application…React5 min read
FUJITA Tomonoriinnttlabs·Apr 13RustとBPFでプロファイラを実装しよう!プロファイリングは枯れた技術ですが、BPFで実装するのであれば、学ぶべき新技術という気がしてきますよね!実際、Pixie、Parcaなど、BPFを使った第三世代プロファイラの開発が進んでいます(世代数は雰囲気)。しかし、Rustの実装は見つからなかったので、RustとBPFで実装してみました。 CPUプロファイリングの基本 CPUプロファイリングの典型的な目的は、頻繁に実行される関数を見つけることです。プロファイラは、定期的に、対象のプロセスやスレッドで、実行されている関数を記録します。 10000: main(); find_item(); calc(); 5000: main(); parse_binary(); scan(); 2000: main(); verify(); calc(); 上記の例では、1行目に、calc関数が10,000回記録されています。プロファイラは、実行されていたcalc関数だけでなく、main関数がfind_item関数を、find_item関数がcalc関数を呼び出したという、呼び出された関数の順序を記録します。そのおかげで、3行目も、calc関数が記録されていますが、find_item関数がcalc関数を一番多く呼び出していることが分かり、find_item関数の実行回数の削減など、最適化のヒントが得られます。Linux6 min read
Nick SorrosinMantisNLP·Apr 13Making an optimisation algorithm 10k times faster 🏎How we made our multilabel classification threshold optimizer converge in minutes instead of days — Multilabel classification is a common task in machine learning and Natural Language Processing (NLP). We approach it by training a model that can apply one or more labels to each new example that it sees. …Machine Learning7 min read
KhalidinMighty Bear Games·Mar 29Profiling Memory and Reducing Memory Usage using Addressable AssetsMemory usage is always a concern for games that are very graphic-heavy. For Disney Melee Mania, the lowest-end devices that were supported were the iPadMini 4 and iPhone 7. Both of them had 2GB of RAM, which can be easily exceeded given the asset fidelity and amount of content that…Memory Management7 min read
Wei KanginJavarevisited·Mar 27VisualVM: All-in-One Java Troubleshooting ToolVisualVM, my best friend when it comes to troubleshooting my Java applications. My project was facing a few problems related to memory issues recently, and I have the opportunity to work on them to fix them. …Java4 min read
Chris Bailey·Mar 19Use pprof to view go program stack tracesSimple instructions for using pprof to view the stack traces of currently running goroutines. So it appears your go program is hung, and you aren’t sure where/exactly what it’s doing that is hung. Maybe it’s hung, maybe it’s just running slowly? You can use pprof to help you figure this…Go3 min read
FUJITA Tomonoriinnttlabs·Mar 17Rustでも継続的プロファイリングしよう!「本番環境で実行中のアプリケーションをプロファイリング」 継続的インテグレーション、継続的デリバリ、継続的デプロイ、継続的テストなど、「継続的な何か」の導入数が多いほど、おしゃれな会社であることをアピールできそうです。 今回は、Rustで実装されたアプリケーションの継続的プロファイリングを検討してみました。 業界標準データフォーマット 継続的プロファイリングに関して、複数の商用サービス(Google Cloud Profiler、Datadog Continuous Profilerなど)やOSS(profefe、Pyroscopeなど)が存在しますが、その多くが、Googleが開発したpprofというプロファイリングデータの可視化・分析ツールのデータフォーマットを利用しています。それらのプロダクトは、対象のアプリケーションが、定期的にプロファイルデータを取得し、pprofのデータフォーマットをサーバに送信します。Rust5 min read
Christophe Nasarre·Mar 14Value types and exceptions in .NET profilingHere comes the end of the series about .NET profiling APIs. This final episode describes how to get fields of a value type instance and how to deal with exceptions. Getting fields of a value type instance The case of a value type is very similar to a reference type except that the address you receive points…Profiling4 min read