৬১

Re: AmiBroker DSE, CSE ইমপোর্ট টুল

দেশে এ্যামীব্রোকার ব্যবহার করে এ্যাক্টিভলী ট্রেড করছে এরকম ট্রেডার (সিএসই, ডিএসই মিলিয়ে) আনুমানিক কত হবে?

নাসিম ভাইয়ের ভিপিএস-এর রিয়েলটাইম ফীড আইডিয়াটা ভালো লেগেছিলো। একটা আইডিয়া মাথায় ঘুরছে কয়েকদিন ধরে, শেয়ার করি:

আমরা যদি এ ধরণের একটি সার্ভিস সিরিয়াসলী চালু করতে পারি তাহলে কেমন হয়? এই সার্ভার থেকে ইন্ট্রাডে ফীড পাওয়া যাবে, এছাড়া হিস্টোরিকাল ডেটাও যোগ করা যেতে পারে। EOD-ও থাকবে।

তবে এটা মেইনটেইন করতে ভালো খরচ পড়বে। যা বুঝতেছি, রিয়েলটাইম ফীড করতে গেলে সিপিইউর উপর প্রচুর প্রেশার পড়বে। শেয়ার্ড হোস্টিং একদম হিসাবের বাইরে (প্রথম মাসেই হয়তো হোস্টিং কোম্পানী থেকে এ্যাকাউন্ট সাসপেন্ড করে দিবে) ভিপিএস দিয়েও হবে কিনা সন্দেহ, পুরো ডেডিকেটেড সার্ভারই লাগতে পারে। এছাড়া বিরাট ব্যান্ডউইথও লাগবে। আবার হিস্টোরিকাল ডেটা যদি সিকিউর রাখতে হয় তাইলে আবার ব্যাকআপের ব্যবস্থাও করতে হবে (এইটার জন্য ছোটোখাটো একটা ভিপিএস হইলেই চলবে)।

সাইটের সাথে একটা ডেস্কটপ মিডলওয়্যার ক্লায়েন্ট থাকবে যেটা এই ওয়েবসাইট থেকে এ্যামীব্রোকারে RT এং অন্যান্য ডেটা অটো-ইম্পোর্ট করবে (অথবা সরাসরি এ্যামীব্রোকারের জন্য প্লাগইন-ও বানানো যায়)

এই সার্ভিস যদি মাসিক পেইড সাবস্ক্রিপশন হিসাবে চালু করা হয় তাইলে কেমন হয়? রেসপন্স কেমন পাওয়া যাবে? আইডিয়াটা কেমন? ইন্ডিয়াতে যা বুঝতেছি, ওদের ঐখানে এই রকম পেইড সার্ভিস বেশ কয়েকটা আছে।

Calm... like a bomb.

৬২ সর্বশেষ সম্পাদনা করেছেন invarbrass (২৩-০২-২০১০ ১৭:১৪)

Re: AmiBroker DSE, CSE ইমপোর্ট টুল

সারিম লিখেছেন:

JDOM দিয়ে কি latest_share_price_all.php ফেচ করা যাবে?

আরেকটা বিষয়। dsebd.org তে java.net থেকে এক্সেস করলে রেসপন্স টাইম বেশি হচ্ছে কিন্তু গুগল ক্রোম দিয়ে ব্রাউজ করলে আবার তারাতারি হচ্ছে। এর কারন কি বলতে পারেন?

JDOM যা মনে হচ্ছে এটা শুধু XML সাপোর্ট করে। কিন্তু latest_share_price_all.php তো এইচটিএমএল - তাও আবার ব্রোকেন এইচটিএমএল। এইটা JDOM পার্স করতে পারবে কিনা কে জানে? ট্রাই করে দেখতে পারেন।

java.net-এর ব্যাপারে শিওর না। তবে ক্রোমে ডিএনএস ক্যাশ করে রাখে, তাই সরাসরি আইপি-তে কানেক্ট করতে পারে। আপনার জাভাকোড মনে হয় প্রত্যেকবারই কানেক্ট করার আগে ডিএনএস রিজল্ভ করার চেষ্টা করছে - তাই বেশি সময় লাগে।

আপনি dnsmasq ইনস্টল করেন:

apt-get install dnsmasq

/etc/resolv.conf ফাইলে নিজের নেইমসার্ভার যোগ করেন (একদম প্রথম লাইনে):

nameserver 127.0.0.1

গ্রামীণ/সিটিসেলে এই কাজটা প্রতিবার ম্যানুয়ালী করতে হয় - নেট-এ কানেক্ট হইলেই /etc/resolv.conf রিসেট করে ফেলে লিনাক্স। ডিএসএল কানেক্সন থাকলে সমস্যা নাই।

এছাড়া /etc/dnsmasq.conf-ও কনফিগার করতে হবে। আমার ডিএনেসমাস্ক কনফিগারেশন এই থ্রেডে পাবেন: http://forum.projanmo.com/topic14918.html
এটা ইনস্টল করলে আশা করি খুব তাড়াতাড়ি কানেক্ট হবে। (তবে অনেকে যেভাবে মনে করে ক্যাশিং নেমসার্ভার ব্যবহার করলেই ম্যাজিকের মত ব্রাউজিং স্পীড বেড়ে যাবে তা না - শুধু ইনিশিয়াল কানেক্সনের সময়টা একটু কম লাগবে এই যা। স্পীড আগে যা ছিলো তাই থাকবে।)

java.util.Scanner বেশ কাজের জিনিস মনে হচ্ছে। এইটা .net-এ কনভার্ট করা গেলে বেশ কাজে আসতো... JDK সোর্স কোড ডাউনলোড করতেছি।  big_smile

Calm... like a bomb.

৬৩

Re: AmiBroker DSE, CSE ইমপোর্ট টুল

invarbrass লিখেছেন:

দেশে এ্যামীব্রোকার ব্যবহার করে এ্যাক্টিভলী ট্রেড করছে এরকম ট্রেডার (সিএসই, ডিএসই মিলিয়ে) আনুমানিক কত হবে?

নাসিম ভাইয়ের ভিপিএস-এর রিয়েলটাইম ফীড আইডিয়াটা ভালো লেগেছিলো। একটা আইডিয়া মাথায় ঘুরছে কয়েকদিন ধরে, শেয়ার করি:

আমরা যদি এ ধরণের একটি সার্ভিস সিরিয়াসলী চালু করতে পারি তাহলে কেমন হয়? এই সার্ভার থেকে ইন্ট্রাডে ফীড পাওয়া যাবে, এছাড়া হিস্টোরিকাল ডেটাও যোগ করা যেতে পারে। EOD-ও থাকবে।

তবে এটা মেইনটেইন করতে ভালো খরচ পড়বে। যা বুঝতেছি, রিয়েলটাইম ফীড করতে গেলে সিপিইউর উপর প্রচুর প্রেশার পড়বে। শেয়ার্ড হোস্টিং একদম হিসাবের বাইরে (প্রথম মাসেই হয়তো হোস্টিং কোম্পানী থেকে এ্যাকাউন্ট সাসপেন্ড করে দিবে) ভিপিএস দিয়েও হবে কিনা সন্দেহ, পুরো ডেডিকেটেড সার্ভারই লাগতে পারে। এছাড়া বিরাট ব্যান্ডউইথও লাগবে। আবার হিস্টোরিকাল ডেটা যদি সিকিউর রাখতে হয় তাইলে আবার ব্যাকআপের ব্যবস্থাও করতে হবে (এইটার জন্য ছোটোখাটো একটা ভিপিএস হইলেই চলবে)।

সাইটের সাথে একটা ডেস্কটপ মিডলওয়্যার ক্লায়েন্ট থাকবে যেটা এই ওয়েবসাইট থেকে এ্যামীব্রোকারে RT এং অন্যান্য ডেটা অটো-ইম্পোর্ট করবে (অথবা সরাসরি এ্যামীব্রোকারের জন্য প্লাগইন-ও বানানো যায়)

এই সার্ভিস যদি মাসিক পেইড সাবস্ক্রিপশন হিসাবে চালু করা হয় তাইলে কেমন হয়? রেসপন্স কেমন পাওয়া যাবে? আইডিয়াটা কেমন? ইন্ডিয়াতে যা বুঝতেছি, ওদের ঐখানে এই রকম পেইড সার্ভিস বেশ কয়েকটা আছে।

প্রথমত আপনাকে ডাটার জন্য SEC r সাথে চুক্তি করতে হবে ডাটা নেওয়ার জন্য। আমরা ট্রেড করি T+3 তার মানে ডে ট্রেডিং নেই। তাই কতো লোক জয়েন করবে বলা মুসকিল।

মোটামুটি ২০০-৩০০ লোক তো করে বেশী ও  হতে পারে। অমিব্রোকার আপনলাইনে গেলে ক্রাক কপি কাজ করে না। তার মানে অরিজিনাল অমিব্রোকার ও কিনতে হবে।

এতোদিন মানুষ ফ্রি ই এইসব টুল পেয়ে আসছে । আমি কোয়ালিটি সার্ভিসের জন্য খরচ করতে রাজি আছি, হয়তো আরো অনেকেই আছে।

৬৪

Re: AmiBroker DSE, CSE ইমপোর্ট টুল

@ইনভারবাস
JDK এর সোর্স কোড না openJDK ?
স্ক্যানার যে কাজের জিনিস সেটা তো আগেই আমি একটা টপিকে বলেছিলাম big_smile big_smile

আপনার এই টিক্সের ফলে আমার পিসিতে ফাস্ট হবে কিন্তু তাতে তো লাভ নাই। crying crying

সারিম'এর ওয়েবসাইট

লেখাটি CC by-nc-sa 3.0 এর অধীনে প্রকাশিত

৬৫ সর্বশেষ সম্পাদনা করেছেন invarbrass (২৩-০২-২০১০ ১৮:৫২)

Re: AmiBroker DSE, CSE ইমপোর্ট টুল

sohoj লিখেছেন:

প্রথমত আপনাকে ডাটার জন্য SEC r সাথে চুক্তি করতে হবে ডাটা নেওয়ার জন্য। আমরা ট্রেড করি T+3 তার মানে ডে ট্রেডিং নেই। তাই কতো লোক জয়েন করবে বলা মুসকিল।

মোটামুটি ২০০-৩০০ লোক তো করে বেশী ও  হতে পারে। অমিব্রোকার আপনলাইনে গেলে ক্রাক কপি কাজ করে না। তার মানে অরিজিনাল অমিব্রোকার ও কিনতে হবে।

এতোদিন মানুষ ফ্রি ই এইসব টুল পেয়ে আসছে । আমি কোয়ালিটি সার্ভিসের জন্য খরচ করতে রাজি আছি, হয়তো আরো অনেকেই আছে।

ধুর, তাইলে কাম নাই। কিছুদিন আগেই এক সরকারী অফিসে সাধারণ ১০ মিনিটের একটা কাজের জন্য ৪ দিন ধরে ঘুরতে হইছিলো, প্রত্যেকদিন গেলে বলে অমুক দরখাস্ত লাগবে কালকে আসেন, আজকে ছার আসেন নাই, কালকে সকালে ১১ টার আগে আসেন, আবার ছার থাকলেও উনি ব্যস্ত আছেন, অপেক্ষা করেন, অপেক্ষা করার পরে আজকে তো অফিস টাইম শেষ হইতে বেশি বাকি নাই, কালকে আসেন....  angry আগামী ১০ বছর কোনো সরকারী প্রতিষ্ঠানে পদধূলি দেওয়ার আপাতত: খায়েশ নাই।

তবে ডিএসই-র সাথে রেজিস্টার্ড ব্রোকারেজ ফার্ম তো অনেক আছে - এদের কারো কাছ থেকে রিয়েলটাইম ডেটাফীড নেবার ব্যবস্থা করা যায় না? রিয়েলটাইম দেয় এইরকম কিছু ফার্মের এ্যাড্রেস থাকলে শেয়ার করেন (আমি অলরেডী একটাতে এ্যাকাউন্ট করে ফেলেছি - তবে রিয়েলটাইম কিনা বুঝতেছি না। আগামীকাল ট্রেডিং আওয়ারে আবার ঢুকে দেখবো)।

T+3 কেন বলছেন? আমার ঘড়িতে সময় এখন ১৮:২২, আর ডিএসইর latest_share_price_scroll_l.php-তে লাস্ট আপডেট দেখাচ্ছে ১৭:০৮, আর ব্রোকারেজ ফার্মের লাস্ট আপডেট ১৭:২২ - এটা তো T+1 মনে হচ্ছে?  thinking(আগামীকাল অফিসটাইমে আবার ট্রাই করে দেখতে হবে)

হ্যাঁ, নেটে দেখলাম এ্যামিকোট চালাইতে গেলে নাকি শশী শেঠী বাবুর শঠে শাঠ্যং হয়ে যায়!  lol তবে ab-কে অনলাইনে নেওয়ার দরকার নাই - আমরা এখন যেটা ডেভেলপ করছি ঐটা দিয়েও মনে হয় রিয়েলটাইম ইমপোর্ট করা যাবে।

Calm... like a bomb.

৬৬ সর্বশেষ সম্পাদনা করেছেন invarbrass (২৩-০২-২০১০ ১৮:৩৮)

Re: AmiBroker DSE, CSE ইমপোর্ট টুল

সারিম লিখেছেন:

@ইনভারবাস
JDK এর সোর্স কোড না openJDK ?
স্ক্যানার যে কাজের জিনিস সেটা তো আগেই আমি একটা টপিকে বলেছিলাম big_smile big_smile

আপনার এই টিক্সের ফলে আমার পিসিতে ফাস্ট হবে কিন্তু তাতে তো লাভ নাই। crying crying

দুইটাই - জেডিকে ৫-এর লিংক

তবে এইটার সাইয ১৪০+ মেগা দেখে বাদ দিয়ে ওপেনজেডিকে ডাউনলোড করে ফেললাম - এইটা ৯০ মেগার মত। scanner.java দেখলাম - প্রায় ১০০ কিবা সাইয (ডিপেনডেন্সীগুলা বাদ দিয়েই)  crying

কেন লাভ হবে না? একটু মাথা খাটালেই টেকনিক বের করতে পারবেন।

প্রথম বার ডিএনএস রিজল্ভ করেন - যে আইপি গুলা পাবেন সেগুলা প্রোগ্রামের মেমরীতে ক্যাশ করে রাখেন। জাভা.নেট দিয়ে যখন কানেক্ট করবেন তখন আর্ল-এ dsebd.org না দিয়ে সরাসরি ক্যাশ করা আইপি এ্যাড্রেস ব্যবহার করেন। যেমন:
http://www.dsebd.org/latest_share_price_scroll_l.php <- এটা না দিয়ে
http://আইপি.এ্যাড্রেস/latest_share_price_scroll_l.php <- এই ভাবে

আমার আসলে জাভা নিয়ে খুব একটা আইডিয়া নাই - তাই কোড দিতে পারতেছিনা। তবে ডেলফী/পিএইচপি/পাইথনে একই সাইট বারবার এ্যাক্সেস করতে হইলে এইভাবে করি।

Calm... like a bomb.

৬৭

Re: AmiBroker DSE, CSE ইমপোর্ট টুল

ডেটার জন্য এস ই সি -র সাথে চুক্তি করা লাগবে কেন? আমরা তো ওদের সাইট থেকে নেব, এবং নিচ্ছি।

ইনভারব্রাস ভাই যে আইডিয়ার কথা বললেন সেটা ইতিমধ্যে আমরা ভেবেছি এবং এ ব্যপারে সারিম ভাইও জানেন, মামুন ভাই ও সারিম ভাইয়ের মধ্যে ইমেইলে আলাপ হয়েছে। এটা সম্ভব,  তবে টাকা খরচ করা লাগবে।

শশী সেঠীর সাথে এমিকোটের সমস্যা আছে। আমরা যে পথে কাজ করব সেটাও  ইনটারনেটের মাধ্যমে হবে, কিন্তু এই পথে সেই সমস্যাটা হবে কিনা এখনো জানি না। উল্লেখ্য, আমরা কুইকপপ ইউজ করি কোনো সমস্যা ছাড়াই, যদিও সেখানে নেট কানেকশন লাগে। সুতরাং আমার ধারনা, সমস্যা হবেনা। শুধু এমিকোট ইউজ করলে 'ক্র্যাক ভার্শন' ক্র্যাক করে। এমিব্রোকার অথরিটি বোধ হয় শুধু এই লাইনটাই চেক করে থাকে।

লেখাটি CC by-nc-nd 3. এর অধীনে প্রকাশিত

৬৮

Re: AmiBroker DSE, CSE ইমপোর্ট টুল

একটা হোস্টং নিয়ে ক্রন জব হিসাবে ৫ মিনিট পর পর আপডেট করা যায়।
তবে ঝামেলা বেশী।

আর আপনারা আরকাইভ করতে rar এর মত কমার্সিয়াল প্রোডাক্ট ব্যবহার করেছেন কেন?
ফ্রি 7zip ব্যবহার করলেই পারেন।

সারিম'এর ওয়েবসাইট

লেখাটি CC by-nc-sa 3.0 এর অধীনে প্রকাশিত

৬৯ সর্বশেষ সম্পাদনা করেছেন invarbrass (২৩-০২-২০১০ ১৯:২৮)

Re: AmiBroker DSE, CSE ইমপোর্ট টুল

একটু আগে যে ব্রোকারেজ হাউজের ওয়েবসাইটে (সংগত কারণেই নাম উল্লেখ করতেছি না) রেজিস্টার করেছিলাম, ওদের সাইটের কোড একটু ঘাঁটাঘাঁটি করতেছিলাম কিছুক্ষণ ধরে।

সামান্য একটু উনিশবিশ করার পরেই দেখি:

Notice: DB ERROR: SELECT * FROM technical WHERE users_id= and market_id=1
You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'and market_id=1' at line 1
in C:\hosting\webhost4life\member\< সাইটের "ফড়িছয়" গোপন রাখা হইলো wink >\phps\dbase.inc.php on line 40

এরর মেসেজ দেখে স্পষ্ট বোঝা যাচ্ছে সামান্য একটু চালাকি করলেই (SQL injection) ওদের পুরা সাইটের ডেটাবেইজ ওয়াইপ করে দেওয়া সম্ভব! অথবা আরো চালাক হইলে শেয়ার প্রাইসগুলো ম্যানিপুলেট করা যাবে।

দেশে তো প্রফেশনাল পিএইচপি ডেভেলপারের অভাব নাই। কিন্তু ফাইনান্শিয়াল সেক্টরের মত গুরুত্বপূর্ণ জায়গায় এরা কেন যে এ্যামেচার (তাও আবার যেই সেই এ্যামেচার না, একেবারে ভোদাই লেভেলের এ্যামেচার) দিয়ে কাজ করায়?

ডিএসইর সাইটেও যদি এইরকম বিশাল সিকিউরিটি হোল থেকে থাকে তাইলে তো কাম সারছে - কিছু লোক রাতারাতি "রাজু বন গয়া ক্রোড়পতি" হয়ে যাইতে পারবে!  lol

যাকগে, আমি এই লাইনের মানুষ না। অন্য সাইট খুঁজি গিয়া... এই ধরণের সাইটের উপর ভরসা করা যায়না  angry

আর এমনিতেও এই সাইটটাতে রিয়েলটাইম ফীড নাই মনে হইতেছে। পেইজের হেডিং-এ অবশ্য "রিয়েল টাইম" শব্দটা লিখে রাখছে, পেইজের তলায়ও বিরাট ওয়াজ নসিহত করছে রিয়েলটাইমের ফযিলত সম্পর্কে - কিন্তু আপডেট টাইম দেখাইতেছে T+1। (নাকি এরা এখনো গত বছরের ডিএসটি নিয়ে পড়ে পড়ে ঘুমাইতেছে কে জানে?)

Calm... like a bomb.

৭০

Re: AmiBroker DSE, CSE ইমপোর্ট টুল

মাজহার লিখেছেন:

ডেটার জন্য এস ই সি -র সাথে চুক্তি করা লাগবে কেন? আমরা তো ওদের সাইট থেকে নেব, এবং নিচ্ছি।

Stockbangladesh Portfolio section use Direct data from tesa for that they have a did with Sec.So during trading they provide the fastest data than dse site.So if we want to continue a paid service then we need data with minimum delay.

এবার মনে হয় জিনিষটা clear করতে পারলাম

৭১

Re: AmiBroker DSE, CSE ইমপোর্ট টুল

নাসিম ভাইয়ের এক্সেল শীটটা দেখছি - কিন্তু CPVL আর NVL-এর ব্যাপার ঠিক বুঝলাম না।
উনার স্প্রেডশীটে এই ফর্মূলা ব্যবহার করছেন:

NVL = Volume - CPVL

এই কলামগুলো ঠিক কি বোঝাচ্ছে?

Calm... like a bomb.

৭২

Re: AmiBroker DSE, CSE ইমপোর্ট টুল

@invarbass
ধন্যবাদ আপনাকে  ।

invarbrass লিখেছেন:

প্রথম বার ডিএনএস রিজল্ভ করেন - যে আইপি গুলা পাবেন সেগুলা প্রোগ্রামের মেমরীতে ক্যাশ করে রাখেন। জাভা.নেট দিয়ে যখন কানেক্ট করবেন তখন আর্ল-এ dsebd.org না দিয়ে সরাসরি ক্যাশ করা আইপি এ্যাড্রেস ব্যবহার করেন। যেমন:
http://www.dsebd.org/latest_share_price_scroll_l.php <- এটা না দিয়ে
http://আইপি.এ্যাড্রেস/latest_share_price_scroll_l.php <- এই ভাবে

ভাই এটা তো সহজেই করা যায়।
System.out.println (java.net.InetAddress.getByName("www.dsebd.org"));

এটা দিলে আউটপুট দিচ্ছে 202.84.39.38
কিন্তু ঔই http://202.84.39.38/latest_share_price_scroll_l.php
দিলে তো কোন পেজ আসে না। :'(

সারিম'এর ওয়েবসাইট

লেখাটি CC by-nc-sa 3.0 এর অধীনে প্রকাশিত

৭৩

Re: AmiBroker DSE, CSE ইমপোর্ট টুল

sohoj লিখেছেন:
মাজহার লিখেছেন:

ডেটার জন্য এস ই সি -র সাথে চুক্তি করা লাগবে কেন? আমরা তো ওদের সাইট থেকে নেব, এবং নিচ্ছি।

Stockbangladesh Portfolio section use Direct data from tesa for that they have a did with Sec.So during trading they provide the fastest data than dse site.So if we want to continue a paid service then we need data with minimum delay.

এবার মনে হয় জিনিষটা clear করতে পারলাম

হুমম, ডিএসই-র এই ডকুমেন্ট থেকে কিছু তথ্য পেলাম: http://dse.com.bd/dse_automation.php

ডিএসই-র ব্যাকঅফিস সাপোর্ট বেশ সলিড বলে মনে হচ্ছে।

যাকগে, প্রাথমিকভাবে আমাদের ডাইরেক্ট TESA এ্যাক্সেস না পেলেও চলবে। (আমরা এমনিতেও ডিএসইবিডির ওয়েবপেইজ থেকে ডেটা কালেক্ট করছি) তার বদলে, কোনো TESA সাবস্ক্রাইবার ব্রোকারেজ হাউজের ওয়েবসাইট স্ক্যান করেও হয়তো এটা করা যেতে পারে।

তবে রিলায়েবল এবং স্টেবল সার্ভিস দিতে চাইলে অবশ্যই TESA-র মত ডেটা চ্যানেল দরকার হবে - এখন যতগুলো সফটওয়্যার আছে (DDU, DSNAP, এক্সেল) সবগুলোই ডিএসই-র ওয়েবপেইজ থেকে ডেটা কালেক্ট করছে। এটা যে error-prone প্রসেস শুধু তাই না, ডেটার পিউরিটিও নষ্ট হবার সম্ভাবনা আছে।

কিছু বিদেশী ফাইনান্শিয়াল কোড ঘাটঁলাম - সবগুলোই high precision ডেটা নিয়ে কাজ করছে (high precision মানে দশমিকের পরে অনেকগুলো সংখ্যা, যেমন 1234.0123456789) ডিএসই-র হিস্টোরিকাল ডেটায় দশমিকের পরে দুইয়ের বেশি ডিজিট আছে এমন কোনো ফিগার পেলাম না। হতে পারে ট্রেডিং-এর জন্য ২ ডিজিটের বেশি প্রেসিশন দরকার নাই। আবার এমনও হতে পারে যে এ্যাকচুয়াল ফিগারটা হাই-প্রেসিশন (দশমিকের পরে অনেকগুলো ডিজিট), কিন্তু ডিএসই-র ওয়েবসাইটে ২ ডিজিটে রাউন্ডিং করে দেখাচ্ছে? এই ক্ষেত্রে তো কিছু ডেটা লস হয়ে যাচ্ছে।

Calm... like a bomb.

৭৪ সর্বশেষ সম্পাদনা করেছেন invarbrass (২৩-০২-২০১০ ২০:৫১)

Re: AmiBroker DSE, CSE ইমপোর্ট টুল

সারিম লিখেছেন:

ভাই এটা তো সহজেই করা যায়।
System.out.println (java.net.InetAddress.getByName("www.dsebd.org"));

এটা দিলে আউটপুট দিচ্ছে 202.84.39.38
কিন্তু ঔই http://202.84.39.38/latest_share_price_scroll_l.php
দিলে তো কোন পেজ আসে না। :'(

আপনার জাভা ক্লায়েন্টের HTTP header-এ কি Host: ফীল্ডটা উল্লেখ করছেন? না করলে অবশ্যই এই লাইনটা explicitly যোগ করতে হবে:

Host: www.dsebd.org

ওদের সার্ভারে ভার্চুয়াল হোস্টিং করছে - হেডারের মধ্যে হোস্ট উল্লেখ করা না থাকলে কোন পেইজ কোন ডোমেইনের মধ্যে পড়ে তা খুঁজে পাবে না ওয়েব সার্ভার।

Calm... like a bomb.

৭৫

Re: AmiBroker DSE, CSE ইমপোর্ট টুল

http://www.dsebd.org/latest_share_price_scroll_l.php থেকে ডাটা csv তে এক্সপোর্ট করার স্ক্র্যাপার এখানে বানালাম:
http://dsecse.latest.nsmgr8.appspot.com/
। এটা শুধু সিএসভি ফরম্যাটে ডাটা ডাউনলোড করার জন্য, আর কিছু নয়। উল্লেখ্য, এখানে VOLUME = 0 ডাটাসমূহ বাদ দেয়া হয়েছে। এখানে এক মিনিট পরপর ডাটা আপডেট হবে। অবশ্য আমি জানি না, মূল সাইটে কতক্ষণ পরপর ডাটা আপডেট হয়। এই সাইটে কোন প্রকার ডাটা সংরক্ষণ করা হয় নাই। তবে সংরক্ষণ করার পরিকল্পনা আছে, যদি না আইনগত কোন বাধা না থাকে।

সাইটের সোর্সকোড পাওয়া যাবে এখানে -
http://github.com/nsmgr8/dsexporter

৭৬

Re: AmiBroker DSE, CSE ইমপোর্ট টুল

স্বপ্নচারী লিখেছেন:

http://www.dsebd.org/latest_share_price_scroll_l.php থেকে ডাটা csv তে এক্সপোর্ট করার স্ক্র্যাপার এখানে বানালাম:
http://dsecse.latest.nsmgr8.appspot.com/
। এটা শুধু সিএসভি ফরম্যাটে ডাটা ডাউনলোড করার জন্য, আর কিছু নয়। উল্লেখ্য, এখানে VOLUME = 0 ডাটাসমূহ বাদ দেয়া হয়েছে। এখানে এক মিনিট পরপর ডাটা আপডেট হবে। অবশ্য আমি জানি না, মূল সাইটে কতক্ষণ পরপর ডাটা আপডেট হয়। এই সাইটে কোন প্রকার ডাটা সংরক্ষণ করা হয় নাই। তবে সংরক্ষণ করার পরিকল্পনা আছে, যদি না আইনগত কোন বাধা না থাকে।

সাইটের সোর্সকোড পাওয়া যাবে এখানে -
http://github.com/nsmgr8/dsexporter

ডেস্কটপ ভার্সন বানানো যায়না। আপনার সি এস ভি তে ডেট নাই কেনো?

৭৭

Re: AmiBroker DSE, CSE ইমপোর্ট টুল

তারিখটা কিভাবে দেয়া হবে, সেটা নিয়ে সন্দিহান। তাই দেয়া হয়নি। এই ডাটাগুলো কতক্ষণ পরপর আপডেট হয় জানি না। ইনভারব্রাস আর সারিমের আউটপুট থেকে দেখা যাচ্ছে শুধু তারিখ দেয়া, কোন সময় নেই। তারমানে কি এটা এক দিন বা ২৪ ঘন্টা পরপর আপডেট হয়?

ডেস্কটপ প্রোগ্রামারদের কাজ সহজ করার জন্য এই সার্ভিস বানানো হয়েছে। ডেস্কটপ প্রোগ্রামাররা যাতে সহজেই ডাটা পায় এখান থেকে। মূলত এটা ঐ কুৎসিত এইচটিএমএল যাতে পার্স করতে না হয়, সেকারণে বানানো হয়েছে। এই সার্ভিস কোনকিছু সম্পর্কে কিছুই জানে না। এটা শুধুমাত্র এইচটিএমএল-কে সিএসভি বানায়।

৭৮ সর্বশেষ সম্পাদনা করেছেন invarbrass (২৩-০২-২০১০ ২৩:৫২)

Re: AmiBroker DSE, CSE ইমপোর্ট টুল

নাসিম ভাইকে ধন্যবাদ এ্যাপএন্জিন এ্যাপ-টার জন্য!  clap

আমি নিজেও প্রথমবার Scrapy+Twisted+Beautiful Soup দিয়ে latest_share_price_all.php পার্স করছিলাম (তবে ঐটা দিতে গেলে হয়তো আবার আয়রনপাইথন রানটাইম সাপ্লাই করা লাগবে... ঠিক শিওর না  thinking) যাকগে, এখন ব্যবহার করছি HAP - বেশ কাজের জিনিস। ডিএসইবিডি-র মত জঘন্য মার্কাপও পার্স করে ফেলতে পারে।

এ্যামীব্রোকারের তারিখের ফরম্যাটটা স্ট্যান্ডার্ড আইএসও: %Y-%m-%d
তবে আইএসও ফরম্যাটের জন্য অলরেডী একটা BIF আছে: date.isoformat()
টাইম-ও স্ট্যান্ডার্ড ফরম্যাটের: %H:%M:%S

তবে মূল সমস্যা হলো লাস্ট আপডেটের প্রকৃত সময় বের করা - শুক্রবার এবং অন্যান্য সরকারী ছুটির দিনে মার্কেট বন্ধ থাকে - এছাড়া সার্ভারে টাইমযোন আর বাংলাদেশের টাইমযোনের পার্থক্যেরও ব্যাপার আছে। কাজেই লোকাল ডেট ব্যবহার করা যাবে না।

আমি আপাতত: http://www.dsebd.org/latest_share_price_scroll_l.php থেকে ডেট নিচ্ছি - এছাড়া ওদের মেইন পেইজেও লাস্ট আপডেট আছে।

সিএসভি আউটপুটে তারিখ এবং সময় দুইটাই যোগ করা যাবে। তবে এক্ষেত্রে এ্যামীব্রোকারে ইনপুট ফরম্যাট একটু কাস্টোমাইজ করতে হবে।

যেমন, ইন্ডিয়ান একটা ইন্ট্রা-ডে সফটওয়্যারের আউটপুট:

3IINFOTEC.NS,2010-02-22,09:01:00,76.30,76.30,75.85,76.20,5337

এ্যামীব্রোকারে ইমপোর্ট করার সময় শুধু ফরম্যাট ফাইলটা স্পেসিফাই করে দিতে হবে (ab-র Formats ফোল্ডারে অসংখ্য স্যাম্পল দেয়া আছ)

Calm... like a bomb.

৭৯

Re: AmiBroker DSE, CSE ইমপোর্ট টুল

@স্বপ্নচারী
অনেক ধন্যবাদ।
আসলে আমিও ভাবছিলাম ওয়েব বেসড প্রসেসিং করার জন্য।
http://www.dsebd.org/latest_share_price_all.php
এটা থেকে পার্স করতে খুব একটা সমস্যা হচ্ছে না। এটার html খুব একটা ভাংগা না।

dse হোম পেজ নিয়েই যত সমস্যা।

আর উবুন্টুতে amibroker এ অটোফিড দেয়ার জন্য আমাদের কাজ করতে হবে।
আমি এই বিষয়ে কাজ শুরুই করেছিলাম এই জন্য। মাজহার ভাই মিন্ট চালাবেন কিন্তু মিন্টে আগের সফট গুলা চলত না।

@invarbass
আপনি amibroker এর সাথে কমিউনিকেশন করছেন কিভাবে ? কমান্ড লাইন এ আরগুমেন্ট দিয়ে না রেজিস্টিতে অক্সেস করে নাকি অন্য কোন প্রোটোকল দিয়ে? ১,২ হলে ওয়াইনে করা যাবে কিন্তু ....................

সারিম'এর ওয়েবসাইট

লেখাটি CC by-nc-sa 3.0 এর অধীনে প্রকাশিত

৮০ সর্বশেষ সম্পাদনা করেছেন invarbrass (২৩-০২-২০১০ ২৩:৫৮)

Re: AmiBroker DSE, CSE ইমপোর্ট টুল

ActiveX অবজেক্ট দিয়ে - তবে এই পদ্ধতি ওয়াইন/ক্রসওভারে কাজ করবে না এ ব্যাপারে মোটামুটি নিশ্চিৎ। (মাযহার ভাই ওয়াইনে DDU, DDD, DSNAP চালাতে পারেন নাই)

DDE টেকনিকও ওয়াইনে কাজ করবে না সম্ভবত:।

DDE, OLE, DCOM এইগুলা আসলে মাইক্রোসফটের প্রোপ্রিয়েটরী, অত্যন্ত জটিল ইন্টারফেস - উইন্ডোজে বিভিন্ন সফটওয়্যারের মধ্যে কমিউনিকেশন করতে এই ইন্টারফেইসগুলো ব্যবহৃত হয়। উইন্ডোজ ছাড়া আর কোথাও নাই। আমি নিজেও এইসব কম বুঝি।

Calm... like a bomb.